MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

318

#318 de 319 models al ranking general

Rendiment acumulat en 3 exàmens MIR

Puntuació neta

8.33 pts

Certesa

7.0%

Correctes / Incorrectes

42 / 101

Cost total

$1.98

Rendiment General

(vs. mitjana)
Certesa

7.0%

avg: 80.6%

Puntuació neta

8.33 pts

avg: 453.30 pts

Encerts

42

avg: 483

Errors

101

avg: 90

Cost total

$1.98

avg: $9.58

Temps mitjà de resposta

69.0s

avg: 17.9s

Tokens eixints

1.4M

avg: 1.3M

Tokens de raonament

0

avg: 898K

Confiança mitjana

22.8%

avg: 95.4%

Desglossament per Examen

MIR 2024
320
Correctes
7
Incorrectes
37
Certesa
3.5%
Puntuació neta
0.00
MIR 2025
316
Correctes
17
Incorrectes
41
Certesa
8.5%
Puntuació neta
3.33
MIR 2026
317
Correctes
18
Incorrectes
23
Certesa
9.0%
Puntuació neta
10.33