MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

317

#317 de 319 modelos — MIR 2026

Puntuación neta

10.33 pts

Certeza

9.0%

Correctas / Incorrectas

18 / 23

Coste total

$0.70

Rendimiento General

(vs. media)
Certeza

9.0%

avg: 82.4%

Puntuación neta

10.33 pts

avg: 156.14 pts

Aciertos

18

avg: 165

Fallos

23

avg: 26

Coste total

$0.70

avg: $3.12

Tiempo promedio de respuesta

72.4s

avg: 17.4s

Tokens salientes

497K

avg: 415K

Tokens de razonamiento

0

avg: 295K

Confianza promedio

19.7%

avg: 95.4%

Desglose por Asignatura

Alergología
Aciertos
0
Fallos
0
Vacías
1
Certeza
0.0%
Media
96.9%
Anestesiología y Reanimación
Aciertos
0
Fallos
1
Vacías
6
Certeza
0.0%
Media
71.0%
Cardiología
Aciertos
1
Fallos
4
Vacías
20
Certeza
4.0%
Media
78.4%
Cuidados Paliativos
Aciertos
1
Fallos
1
Vacías
4
Certeza
16.7%
Media
80.8%
Dermatología
Aciertos
1
Fallos
0
Vacías
10
Certeza
9.1%
Media
73.2%
Endocrinología y Nutrición
Aciertos
1
Fallos
0
Vacías
14
Certeza
6.7%
Media
84.7%
Enfermedades Infecciosas
Aciertos
2
Fallos
2
Vacías
10
Certeza
14.3%
Media
79.0%
Epidemiología
Aciertos
1
Fallos
1
Vacías
5
Certeza
14.3%
Media
81.3%
Estadística
Aciertos
1
Fallos
1
Vacías
0
Certeza
50.0%
Media
84.5%
Farmacología
Aciertos
4
Fallos
0
Vacías
7
Certeza
36.4%
Media
79.6%
Gastroenterología
Aciertos
2
Fallos
6
Vacías
22
Certeza
6.7%
Media
80.2%
Genética
Aciertos
2
Fallos
0
Vacías
9
Certeza
18.2%
Media
79.7%
Geriatría
Aciertos
2
Fallos
2
Vacías
9
Certeza
15.4%
Media
83.7%
Ginecología y Obstetricia
Aciertos
1
Fallos
1
Vacías
10
Certeza
8.3%
Media
85.2%
Hematología
Aciertos
0
Fallos
0
Vacías
9
Certeza
0.0%
Media
77.6%
Inmunología
Aciertos
0
Fallos
1
Vacías
5
Certeza
0.0%
Media
91.8%
Medicina Legal y Bioética
Aciertos
2
Fallos
0
Vacías
9
Certeza
18.2%
Media
83.4%
Nefrología
Aciertos
0
Fallos
1
Vacías
9
Certeza
0.0%
Media
85.6%
Neumología
Aciertos
1
Fallos
2
Vacías
13
Certeza
6.3%
Media
83.6%
Neurología
Aciertos
0
Fallos
3
Vacías
10
Certeza
0.0%
Media
89.0%
Oftalmología
Aciertos
0
Fallos
0
Vacías
5
Certeza
0.0%
Media
84.5%
Oncología Médica
Aciertos
4
Fallos
4
Vacías
15
Certeza
17.4%
Media
83.7%
ORL
Aciertos
0
Fallos
3
Vacías
5
Certeza
0.0%
Media
85.0%
Pediatría
Aciertos
2
Fallos
3
Vacías
17
Certeza
9.1%
Media
88.1%
Planificación y Gestión Sanitaria
Aciertos
2
Fallos
0
Vacías
8
Certeza
20.0%
Media
79.4%
Psiquiatría
Aciertos
0
Fallos
0
Vacías
8
Certeza
0.0%
Media
88.4%
Radiología-Urgencias
Aciertos
1
Fallos
2
Vacías
10
Certeza
7.7%
Media
69.4%
Reumatología
Aciertos
2
Fallos
0
Vacías
9
Certeza
18.2%
Media
89.0%
Traumatología
Aciertos
1
Fallos
0
Vacías
10
Certeza
9.1%
Media
66.6%
Urología
Aciertos
2
Fallos
1
Vacías
5
Certeza
25.0%
Media
83.1%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
0
Fallos
0
Vacías
3
Certeza
0.0%
Media
83.4%
Bioestadística
Aciertos
1
Fallos
1
Vacías
0
Certeza
50.0%
Media
84.5%
Diagnóstico
Aciertos
5
Fallos
11
Vacías
65
Certeza
6.2%
Media
83.0%
Epidemiología
Aciertos
1
Fallos
1
Vacías
7
Certeza
11.1%
Media
89.1%
Ética
Aciertos
1
Fallos
0
Vacías
5
Certeza
16.7%
Media
92.2%
Farmacología
Aciertos
3
Fallos
2
Vacías
10
Certeza
20.0%
Media
83.1%
Fisiopatología
Aciertos
1
Fallos
1
Vacías
24
Certeza
3.8%
Media
85.0%
Interpretación
Aciertos
3
Fallos
4
Vacías
30
Certeza
8.1%
Media
73.2%
Legal
Aciertos
2
Fallos
0
Vacías
7
Certeza
22.2%
Media
82.9%
Prevención
Aciertos
2
Fallos
1
Vacías
13
Certeza
12.5%
Media
81.5%
Pronóstico
Aciertos
0
Fallos
2
Vacías
3
Certeza
0.0%
Media
93.2%
Pruebas
Aciertos
4
Fallos
7
Vacías
22
Certeza
12.1%
Media
81.2%
Riesgo
Aciertos
2
Fallos
0
Vacías
13
Certeza
13.3%
Media
85.0%
Tratamiento
Aciertos
5
Fallos
10
Vacías
57
Certeza
6.9%
Media
80.9%
#RespuestaCorrectaEstado
1—A
2BB
3CD
4—D
5—B
6—C
7—B
8—D
9—D
10AA
11CB
12—A
13——Anulada
14CC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25AC
26—A
27—B
28—D
29AA
30—D
31—C
32—C
33DB
34—B
35DC
36—D
37—D
38AA
39—C
40—A
41—D
42—A
43—B
44CB
45AB
46—B
47—D
48—C
49—C
50——Anulada
51—A
52—C
53AC
54—C
55AA
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64——Anulada
65—C
66CC
67—C
68—A
69—B
70—B
71BB
72—B
73—B
74AA
75—C
76—C
77—A
78—D
79—A
80—D
81AC
82—D
83—B
84—A
85DD
86AA
87—B
88DB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97AB
98—A
99—B
100—C
101BC
102—A
103BC
104CC
105—C
106—B
107—C
108—A
109AC
110—C
111—B
112—C
113CC
114—D
115—B
116—D
117—C
118—B
119—A
120—A
121—C
122—B
123AB
124—B
125—C
126—B
127—C
128CB
129—C
130—C
131—B
132—B
133—C
134—B
135—C
136BB
137—D
138—B
139——Anulada
140—D
141—A
142——Anulada
143—A
144—D
145—C
146—C
147—B
148—C
149AB
150—B
151—B
152—C
153CC
154—D
155—B
156—A
157BD
158—B
159—C
160—A
161A—Anulada
162AA
163DC
164DC
165—A
166—A
167AD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179BB
180—C
181—B
182—C
183—D
184—D
185—B
186—D
187—D
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196AA
197AC
198—A
199—B
200—D
201—C
202—A
203—A
204—C
205—B
206BC
207—A
208D—Anulada
209—B
210—C