MedicalBenchmark
AllenAI: Olmo 3.1 32B Instruct provider

Olmo 3.1 32B Instruct

278

#278 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

273.00 pts

Exatidão

58.0%

Corretas / Incorretas

348 / 225

Custo total

$0.34

Desempenho Geral

(vs. média)
Exatidão

58.0%

avg: 80.6%

Pontuação líquida

273.00 pts

avg: 453.30 pts

Acertos

348

avg: 483

Erros

225

avg: 90

Custo total

$0.34

avg: $9.58

Tempo médio de resposta

12.6s

avg: 17.9s

Tokens de saída

453K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

94.4%

avg: 95.4%

Desagregação por Exame

MIR 2024
279
Corretas
116
Incorretas
76
Exatidão
58.0%
Pontuação líquida
90.66
MIR 2025
276
Corretas
107
Incorretas
83
Exatidão
53.5%
Pontuação líquida
79.33
MIR 2026
279
Corretas
125
Incorretas
66
Exatidão
62.5%
Pontuação líquida
103.00