MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

320

#320 de 320 modelos — MIR 2024

Puntuación neta

0.00 pts

Certeza

3.5%

Correctas / Incorrectas

7 / 37

Coste total

$0.65

Rendimiento General

(vs. media)
Certeza

3.5%

avg: 81.3%

Puntuación neta

0.00 pts

avg: 153.08 pts

Aciertos

7

avg: 163

Fallos

37

avg: 29

Coste total

$0.65

avg: $3.09

Tiempo promedio de respuesta

66.2s

avg: 17.7s

Tokens salientes

455K

avg: 414K

Tokens de razonamiento

0

avg: 296K

Confianza promedio

22.9%

avg: 95.7%

Desglose por Asignatura

Alergología
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
90.8%
Anestesiología y Reanimación
Aciertos
0
Fallos
0
Vacías
4
Certeza
0.0%
Media
87.7%
Cardiología
Aciertos
1
Fallos
7
Vacías
13
Certeza
4.8%
Media
80.4%
Cuidados Paliativos
Aciertos
0
Fallos
1
Vacías
3
Certeza
0.0%
Media
88.6%
Dermatología
Aciertos
1
Fallos
2
Vacías
11
Certeza
7.1%
Media
81.0%
Endocrinología y Nutrición
Aciertos
1
Fallos
2
Vacías
16
Certeza
5.3%
Media
85.1%
Enfermedades Infecciosas
Aciertos
0
Fallos
6
Vacías
17
Certeza
0.0%
Media
82.5%
Epidemiología
Aciertos
1
Fallos
1
Vacías
6
Certeza
12.5%
Media
89.7%
Estadística
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
91.6%
Farmacología
Aciertos
1
Fallos
3
Vacías
19
Certeza
4.3%
Media
85.8%
Gastroenterología
Aciertos
1
Fallos
4
Vacías
17
Certeza
4.5%
Media
71.5%
Genética
Aciertos
0
Fallos
1
Vacías
6
Certeza
0.0%
Media
87.1%
Geriatría
Aciertos
0
Fallos
0
Vacías
10
Certeza
0.0%
Media
87.7%
Ginecología y Obstetricia
Aciertos
0
Fallos
2
Vacías
12
Certeza
0.0%
Media
82.0%
Hematología
Aciertos
0
Fallos
2
Vacías
11
Certeza
0.0%
Media
82.4%
Inmunología
Aciertos
0
Fallos
1
Vacías
7
Certeza
0.0%
Media
89.7%
Medicina Legal y Bioética
Aciertos
0
Fallos
1
Vacías
1
Certeza
0.0%
Media
91.8%
Nefrología
Aciertos
0
Fallos
1
Vacías
12
Certeza
0.0%
Media
81.8%
Neumología
Aciertos
1
Fallos
2
Vacías
16
Certeza
5.3%
Media
81.6%
Neurología
Aciertos
2
Fallos
3
Vacías
17
Certeza
9.1%
Media
84.5%
Oftalmología
Aciertos
2
Fallos
0
Vacías
3
Certeza
40.0%
Media
81.3%
Oncología Médica
Aciertos
1
Fallos
5
Vacías
15
Certeza
4.8%
Media
80.9%
ORL
Aciertos
0
Fallos
2
Vacías
5
Certeza
0.0%
Media
75.1%
Pediatría
Aciertos
0
Fallos
4
Vacías
13
Certeza
0.0%
Media
82.9%
Planificación y Gestión Sanitaria
Aciertos
0
Fallos
1
Vacías
1
Certeza
0.0%
Media
75.1%
Psiquiatría
Aciertos
0
Fallos
2
Vacías
8
Certeza
0.0%
Media
90.0%
Radiología-Urgencias
Aciertos
0
Fallos
1
Vacías
13
Certeza
0.0%
Media
66.0%
Reumatología
Aciertos
0
Fallos
2
Vacías
12
Certeza
0.0%
Media
82.4%
Traumatología
Aciertos
0
Fallos
5
Vacías
10
Certeza
0.0%
Media
75.4%
Urología
Aciertos
0
Fallos
1
Vacías
5
Certeza
0.0%
Media
79.0%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
0
Fallos
1
Vacías
5
Certeza
0.0%
Media
81.1%
Bioestadística
Aciertos
0
Fallos
1
Vacías
4
Certeza
0.0%
Media
91.3%
Diagnóstico
Aciertos
3
Fallos
9
Vacías
61
Certeza
4.1%
Media
80.0%
Epidemiología
Aciertos
1
Fallos
2
Vacías
9
Certeza
8.3%
Media
82.1%
Ética
Aciertos
0
Fallos
1
Vacías
0
Certeza
0.0%
Media
94.0%
Farmacología
Aciertos
1
Fallos
2
Vacías
22
Certeza
4.0%
Media
84.7%
Fisiopatología
Aciertos
0
Fallos
9
Vacías
24
Certeza
0.0%
Media
86.1%
Interpretación
Aciertos
1
Fallos
3
Vacías
33
Certeza
2.7%
Media
70.5%
Prevención
Aciertos
1
Fallos
2
Vacías
9
Certeza
8.3%
Media
90.3%
Pronóstico
Aciertos
1
Fallos
0
Vacías
6
Certeza
14.3%
Media
84.6%
Pruebas
Aciertos
0
Fallos
4
Vacías
17
Certeza
0.0%
Media
75.0%
Riesgo
Aciertos
0
Fallos
1
Vacías
12
Certeza
0.0%
Media
84.5%
Tratamiento
Aciertos
4
Fallos
16
Vacías
51
Certeza
5.6%
Media
82.1%
#RespuestaCorrectaEstado
1—B
2—D
3—B
4—C
5—C
6—B
7—D
8—C
9—A
10—D
11—D
12DA
13—C
14—A
15—B
16—A
17DC
18—A
19—B
20—C
21—D
22—B
23AA
24—A
25—C
26CB
27—C
28—A
29DB
30—C
31AD
32BA
33—C
34—B
35—D
36—D
37—A
38—A
39—C
40—B
41—C
42—D
43—A
44—D
45CD
46—B
47—C
48—C
49—B
50—C
51AA
52BD
53—C
54—B
55AC
56—D
57—A
58AA
59—A
60—A
61—A
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71—B
72BD
73DB
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84DC
85—A
86—A
87—B
88—D
89CB
90—A
91AD
92—A
93BC
94—B
95DD
96—B
97—B
98CB
99—A
100CB
101—A
102—D
103—B
104CD
105AB
106—C
107—C
108—B
109—D
110—D
111—B
112—C
113A—Anulada
114—D
115AD
116CA
117—D
118—D
119—A
120—C
121—A
122DB
123—D
124—D
125—B
126—D
127AA
128—B
129BD
130—C
131—C
132—D
133CA
134AC
135CA
136—D
137—A
138—C
139AA
140—C
141—B
142—C
143—A
144—D
145—C
146—C
147AC
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155BD
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163AB
164DB
165—A
166—C
167—A
168—B
169—C
170—A
171BD
172AB
173—A
174—B
175AA
176—C
177—C
178—B
179—C
180——Anulada
181—B
182AD
183—C
184—A
185—C
186—D
187BA
188—C
189CD
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197—A
198AB
199—D
200—A
201—B
202—D
203—B
204—D
205—D
206——Anulada
207—A
208—A
209—B
210AD