MedicalBenchmark
Meta: Llama 3 8B Instruct provider

Llama 3 8B Instruct

294

#294 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

176.66 pts

Exatidão

44.0%

Corretas / Incorretas

264 / 262

Custo total

$0.03

Desempenho Geral

(vs. média)
Exatidão

44.0%

avg: 80.6%

Pontuação líquida

176.66 pts

avg: 453.30 pts

Acertos

264

avg: 483

Erros

262

avg: 90

Custo total

$0.03

avg: $9.58

Tempo médio de resposta

11.6s

avg: 17.9s

Tokens de saída

390K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

85.5%

avg: 95.4%

Desagregação por Exame

MIR 2024
288
Corretas
93
Incorretas
83
Exatidão
46.5%
Pontuação líquida
65.33
MIR 2025
300
Corretas
72
Incorretas
101
Exatidão
36.0%
Pontuação líquida
38.33
MIR 2026
291
Corretas
99
Incorretas
78
Exatidão
49.5%
Pontuação líquida
73.00