MedicalBenchmark
Meta: Llama 3 70B Instruct provider

Llama 3 70B Instruct

237

#237 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

426.66 pts

Exatidão

78.0%

Corretas / Incorretas

468 / 124

Custo total

$0.31

Desempenho Geral

(vs. média)
Exatidão

78.0%

avg: 80.6%

Pontuação líquida

426.66 pts

avg: 453.30 pts

Acertos

468

avg: 483

Erros

124

avg: 90

Custo total

$0.31

avg: $9.58

Tempo médio de resposta

13.8s

avg: 17.9s

Tokens de saída

217K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

97.9%

avg: 95.4%

Desagregação por Exame

MIR 2024
239
Corretas
158
Incorretas
40
Exatidão
79.0%
Pontuação líquida
144.66
MIR 2025
243
Corretas
147
Incorretas
51
Exatidão
73.5%
Pontuação líquida
130.00
MIR 2026
233
Corretas
163
Incorretas
33
Exatidão
81.5%
Pontuação líquida
152.00