MedicalBenchmark
AllenAI: Olmo 3 32B Think provider

Olmo 3 32B Think

249

#249 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

399.66 pts

Exatidão

72.8%

Corretas / Incorretas

437 / 112

Custo total

$1.12

Desempenho Geral

(vs. média)
Exatidão

72.8%

avg: 80.6%

Pontuação líquida

399.66 pts

avg: 453.30 pts

Acertos

437

avg: 483

Erros

112

avg: 90

Custo total

$1.12

avg: $9.58

Tempo médio de resposta

46.7s

avg: 17.9s

Tokens de saída

2.1M

avg: 1.3M

Tokens de raciocínio

1.9M

avg: 898K

Confiança média

88.0%

avg: 95.4%

Desagregação por Exame

MIR 2024
244
Corretas
152
Incorretas
36
Exatidão
76.0%
Pontuação líquida
140.00
MIR 2025
247
Corretas
140
Incorretas
42
Exatidão
70.0%
Pontuação líquida
126.00
MIR 2026
253
Corretas
145
Incorretas
34
Exatidão
72.5%
Pontuação líquida
133.66