MedicalBenchmark
AllenAI: Olmo 3 7B Instruct provider

Olmo 3 7B Instruct

309

#309 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

105.66 pts

Exatidão

36.7%

Corretas / Incorretas

220 / 343

Custo total

$0.14

Desempenho Geral

(vs. média)
Exatidão

36.7%

avg: 80.6%

Pontuação líquida

105.66 pts

avg: 453.30 pts

Acertos

220

avg: 483

Erros

343

avg: 90

Custo total

$0.14

avg: $9.58

Tempo médio de resposta

18.2s

avg: 17.9s

Tokens de saída

536K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

85.6%

avg: 95.4%

Desagregação por Exame

MIR 2024
313
Corretas
67
Incorretas
124
Exatidão
33.5%
Pontuação líquida
25.66
MIR 2025
308
Corretas
65
Incorretas
124
Exatidão
32.5%
Pontuação líquida
23.66
MIR 2026
304
Corretas
88
Incorretas
95
Exatidão
44.0%
Pontuação líquida
56.33