MedicalBenchmark
AllenAI: Olmo 3.1 32B Think provider

Olmo 3.1 32B Think

244

#244 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

412.00 pts

Exatidão

74.0%

Corretas / Incorretas

444 / 96

Custo total

$1.14

Desempenho Geral

(vs. média)
Exatidão

74.0%

avg: 80.6%

Pontuação líquida

412.00 pts

avg: 453.30 pts

Acertos

444

avg: 483

Erros

96

avg: 90

Custo total

$1.14

avg: $9.58

Tempo médio de resposta

46.9s

avg: 17.9s

Tokens de saída

2.2M

avg: 1.3M

Tokens de raciocínio

2.0M

avg: 898K

Confiança média

88.0%

avg: 95.4%

Desagregação por Exame

MIR 2024
245
Corretas
150
Incorretas
30
Exatidão
75.0%
Pontuação líquida
140.00
MIR 2025
246
Corretas
141
Incorretas
40
Exatidão
70.5%
Pontuação líquida
127.66
MIR 2026
241
Corretas
153
Incorretas
26
Exatidão
76.5%
Pontuação líquida
144.33