MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

318

#318 de 319 modelos no ranking xeral

Rendemento acumulado en 3 exames MIR

Puntuación neta

8.33 pts

Certeza

7.0%

Correctas / Incorrectas

42 / 101

Custo total

$1.98

Rendemento Xeral

(vs. media)
Certeza

7.0%

avg: 80.6%

Puntuación neta

8.33 pts

avg: 453.30 pts

Acertos

42

avg: 483

Erros

101

avg: 90

Custo total

$1.98

avg: $9.58

Tempo promedio de resposta

69.0s

avg: 17.9s

Tokens saíntes

1.4M

avg: 1.3M

Tokens de razoamento

0

avg: 898K

Confianza promedia

22.8%

avg: 95.4%

Desagregación por Exame

MIR 2024
320
Correctas
7
Incorrectas
37
Certeza
3.5%
Puntuación neta
0.00
MIR 2025
316
Correctas
17
Incorrectas
41
Certeza
8.5%
Puntuación neta
3.33
MIR 2026
317
Correctas
18
Incorrectas
23
Certeza
9.0%
Puntuación neta
10.33