MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

316

#316 de 319 modelos — MIR 2025

Puntuación neta

3.33 pts

Certeza

8.5%

Correctas / Incorrectas

17 / 41

Coste total

$0.64

Rendimiento General

(vs. media)
Certeza

8.5%

avg: 77.9%

Puntuación neta

3.33 pts

avg: 143.96 pts

Aciertos

17

avg: 156

Fallos

41

avg: 35

Coste total

$0.64

avg: $3.36

Tiempo promedio de respuesta

65.0s

avg: 19.0s

Tokens salientes

446K

avg: 430K

Tokens de razonamiento

0

avg: 306K

Confianza promedio

29.0%

avg: 95.2%

Desglose por Asignatura

Alergología
Aciertos
0
Fallos
1
Vacías
3
Certeza
0.0%
Media
87.9%
Anestesiología y Reanimación
Aciertos
2
Fallos
1
Vacías
3
Certeza
33.3%
Media
82.3%
Cardiología
Aciertos
0
Fallos
3
Vacías
19
Certeza
0.0%
Media
78.6%
Cuidados Paliativos
Aciertos
1
Fallos
0
Vacías
3
Certeza
25.0%
Media
78.6%
Dermatología
Aciertos
2
Fallos
4
Vacías
6
Certeza
16.7%
Media
69.4%
Endocrinología y Nutrición
Aciertos
1
Fallos
3
Vacías
12
Certeza
6.3%
Media
83.5%
Enfermedades Infecciosas
Aciertos
5
Fallos
4
Vacías
18
Certeza
18.5%
Media
74.9%
Epidemiología
Aciertos
1
Fallos
1
Vacías
5
Certeza
14.3%
Media
69.1%
Estadística
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
76.6%
Farmacología
Aciertos
2
Fallos
5
Vacías
10
Certeza
11.8%
Media
74.1%
Gastroenterología
Aciertos
1
Fallos
4
Vacías
16
Certeza
4.8%
Media
74.1%
Genética
Aciertos
0
Fallos
1
Vacías
5
Certeza
0.0%
Media
69.5%
Geriatría
Aciertos
0
Fallos
3
Vacías
8
Certeza
0.0%
Media
77.5%
Ginecología y Obstetricia
Aciertos
1
Fallos
4
Vacías
14
Certeza
5.3%
Media
86.7%
Hematología
Aciertos
2
Fallos
3
Vacías
6
Certeza
18.2%
Media
82.7%
Inmunología
Aciertos
2
Fallos
1
Vacías
6
Certeza
22.2%
Media
83.3%
Medicina Legal y Bioética
Aciertos
2
Fallos
0
Vacías
3
Certeza
40.0%
Media
68.4%
Nefrología
Aciertos
0
Fallos
3
Vacías
11
Certeza
0.0%
Media
84.8%
Neumología
Aciertos
0
Fallos
4
Vacías
10
Certeza
0.0%
Media
80.4%
Neurología
Aciertos
0
Fallos
4
Vacías
16
Certeza
0.0%
Media
77.3%
Oftalmología
Aciertos
0
Fallos
3
Vacías
2
Certeza
0.0%
Media
74.2%
Oncología Médica
Aciertos
4
Fallos
6
Vacías
15
Certeza
16.0%
Media
87.2%
ORL
Aciertos
1
Fallos
1
Vacías
6
Certeza
12.5%
Media
74.8%
Pediatría
Aciertos
2
Fallos
3
Vacías
21
Certeza
7.7%
Media
71.9%
Planificación y Gestión Sanitaria
Aciertos
0
Fallos
0
Vacías
2
Certeza
0.0%
Media
82.6%
Psiquiatría
Aciertos
1
Fallos
1
Vacías
6
Certeza
12.5%
Media
83.0%
Radiología-Urgencias
Aciertos
0
Fallos
3
Vacías
11
Certeza
0.0%
Media
69.4%
Reumatología
Aciertos
1
Fallos
5
Vacías
9
Certeza
6.7%
Media
76.6%
Traumatología
Aciertos
2
Fallos
4
Vacías
12
Certeza
11.1%
Media
79.3%
Urología
Aciertos
0
Fallos
3
Vacías
4
Certeza
0.0%
Media
80.7%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
0
Fallos
1
Vacías
6
Certeza
0.0%
Media
78.6%
Bioestadística
Aciertos
0
Fallos
1
Vacías
3
Certeza
0.0%
Media
79.8%
Diagnóstico
Aciertos
7
Fallos
18
Vacías
63
Certeza
8.0%
Media
79.9%
Epidemiología
Aciertos
1
Fallos
0
Vacías
4
Certeza
20.0%
Media
76.7%
Ética
Aciertos
0
Fallos
0
Vacías
3
Certeza
0.0%
Media
74.1%
Farmacología
Aciertos
1
Fallos
5
Vacías
7
Certeza
7.7%
Media
83.3%
Fisiopatología
Aciertos
2
Fallos
6
Vacías
19
Certeza
7.4%
Media
76.1%
Interpretación
Aciertos
2
Fallos
7
Vacías
33
Certeza
4.8%
Media
70.7%
Legal
Aciertos
2
Fallos
0
Vacías
2
Certeza
50.0%
Media
64.6%
Prevención
Aciertos
2
Fallos
2
Vacías
8
Certeza
16.7%
Media
75.6%
Pronóstico
Aciertos
1
Fallos
1
Vacías
5
Certeza
14.3%
Media
80.8%
Pruebas
Aciertos
1
Fallos
5
Vacías
21
Certeza
3.7%
Media
77.9%
Riesgo
Aciertos
0
Fallos
1
Vacías
4
Certeza
0.0%
Media
85.2%
Tratamiento
Aciertos
6
Fallos
19
Vacías
56
Certeza
7.4%
Media
77.3%
#RespuestaCorrectaEstado
1DB
2DA
3—C
4—B
5—A
6—C
7—C
8AA
9—A
10AD
11—D
12—D
13—B
14—D
15——Anulada
16—B
17—B
18—A
19DC
20—A
21—B
22—D
23—C
24—D
25—C
26——Anulada
27—C
28A—Anulada
29—D
30DB
31—D
32—A
33—D
34—D
35BB
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45BD
46BA
47—A
48AA
49—D
50—B
51—C
52AB
53CD
54—B
55AA
56——Anulada
57—C
58—B
59AD
60AA
61DA
62—D
63—B
64—D
65—A
66—A
67—B
68—B
69—B
70—A
71—D
72AA
73—D
74—C
75—A
76—B
77AB
78—B
79—C
80AC
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88—D
89—B
90—A
91—B
92AC
93DB
94AC
95AA
96—C
97—D
98—C
99—A
100—C
101—B
102—D
103CA
104—C
105—A
106—C
107—B
108—D
109—B
110DC
111DA
112DC
113—B
114—D
115—D
116—C
117—A
118—D
119—C
120—B
121—D
122—C
123—C
124—C
125—D
126AD
127—B
128DD
129—A
130AD
131—D
132—A
133—B
134—C
135DB
136—C
137—A
138—D
139—D
140AB
141AA
142AA
143AB
144—B
145BD
146—C
147AB
148—A
149—A
150—D
151—A
152DA
153DB
154—B
155—B
156CC
157—A
158—C
159AC
160—A
161AA
162C—Anulada
163—D
164BC
165DA
166—B
167—C
168—D
169—B
170—B
171BC
172AA
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180AA
181BB
182—C
183AB
184—B
185BB
186——Anulada
187DC
188AD
189—D
190—A
191—B
192BA
193—C
194AA
195—A
196—A
197AB
198BC
199BD
200—C
201—B
202CA
203—D
204—C
205—B
206—D
207DA
208AC
209—C
210AB