MedicalBenchmark
AllenAI: Olmo 3 7B Think provider

Olmo 3 7B Think

283

#283 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

244.00 pts

Exatidão

55.2%

Corretas / Incorretas

331 / 261

Custo total

$0.41

Desempenho Geral

(vs. média)
Exatidão

55.2%

avg: 80.6%

Pontuação líquida

244.00 pts

avg: 453.30 pts

Acertos

331

avg: 483

Erros

261

avg: 90

Custo total

$0.41

avg: $9.58

Tempo médio de resposta

15.5s

avg: 17.9s

Tokens de saída

1.9M

avg: 1.3M

Tokens de raciocínio

1.6M

avg: 898K

Confiança média

97.6%

avg: 95.4%

Desagregação por Exame

MIR 2024
282
Corretas
112
Incorretas
84
Exatidão
56.0%
Pontuação líquida
84.00
MIR 2025
287
Corretas
99
Incorretas
98
Exatidão
49.5%
Pontuação líquida
66.33
MIR 2026
283
Corretas
120
Incorretas
79
Exatidão
60.0%
Pontuação líquida
93.66