MedicalBenchmark
AllenAI: Olmo 3 7B Instruct provider

Olmo 3 7B Instruct

309

#309 de 319 models al ranking general

Rendiment acumulat en 3 exàmens MIR

Puntuació neta

105.66 pts

Certesa

36.7%

Correctes / Incorrectes

220 / 343

Cost total

$0.14

Rendiment General

(vs. mitjana)
Certesa

36.7%

avg: 80.6%

Puntuació neta

105.66 pts

avg: 453.30 pts

Encerts

220

avg: 483

Errors

343

avg: 90

Cost total

$0.14

avg: $9.58

Temps mitjà de resposta

18.2s

avg: 17.9s

Tokens eixints

536K

avg: 1.3M

Tokens de raonament

0

avg: 898K

Confiança mitjana

85.6%

avg: 95.4%

Desglossament per Examen

MIR 2024
313
Correctes
67
Incorrectes
124
Certesa
33.5%
Puntuació neta
25.66
MIR 2025
308
Correctes
65
Incorrectes
124
Certesa
32.5%
Puntuació neta
23.66
MIR 2026
304
Correctes
88
Incorrectes
95
Certesa
44.0%
Puntuació neta
56.33