MedicalBenchmark
Meta: Llama 3.1 8B Instruct provider

Llama 3.1 8B Instruct

298

#298 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

160.33 pts

Exatidão

39.8%

Corretas / Incorretas

239 / 236

Custo total

$0.06

Desempenho Geral

(vs. média)
Exatidão

39.8%

avg: 80.6%

Pontuação líquida

160.33 pts

avg: 453.30 pts

Acertos

239

avg: 483

Erros

236

avg: 90

Custo total

$0.06

avg: $9.58

Tempo médio de resposta

25.0s

avg: 17.9s

Tokens de saída

784K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

79.1%

avg: 95.4%

Desagregação por Exame

MIR 2024
303
Corretas
74
Incorretas
90
Exatidão
37.0%
Pontuação líquida
44.00
MIR 2025
290
Corretas
79
Incorretas
78
Exatidão
39.5%
Pontuação líquida
53.00
MIR 2026
299
Corretas
86
Incorretas
68
Exatidão
43.0%
Pontuação líquida
63.33