MedicalBenchmark
Meta: Llama 3.1 70B Instruct provider

Llama 3.1 70B Instruct

206

#206 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

467.33 pts

Exatidão

82.8%

Corretas / Incorretas

497 / 89

Custo total

$0.26

Desempenho Geral

(vs. média)
Exatidão

82.8%

avg: 80.6%

Pontuação líquida

467.33 pts

avg: 453.30 pts

Acertos

497

avg: 483

Erros

89

avg: 90

Custo total

$0.26

avg: $9.58

Tempo médio de resposta

10.0s

avg: 17.9s

Tokens de saída

271K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

96.5%

avg: 95.4%

Desagregação por Exame

MIR 2024
203
Corretas
170
Incorretas
28
Exatidão
85.0%
Pontuação líquida
160.66
MIR 2025
204
Corretas
161
Incorretas
33
Exatidão
80.5%
Pontuação líquida
150.00
MIR 2026
214
Corretas
166
Incorretas
28
Exatidão
83.0%
Pontuação líquida
156.66