MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

291

#291 de 291 modelosMIR 2024

Puntuación neta

0.00 pts

Certeza

3.5%

Correctas / Incorrectas

7 / 35

Coste total

$0.63

Rendimiento General

(vs. media)
Certeza

3.5%

avg: 80.5%

Puntuación neta

0.00 pts

avg: 150.85 pts

Aciertos

7

avg: 161

Fallos

35

avg: 30

Coste total

$0.63

avg: $3.32

Tiempo promedio de respuesta

66.5s

avg: 16.4s

Tokens salientes

444K

avg: 427K

Tokens de razonamiento

0

avg: 310K

Confianza promedio

22.7%

avg: 95.4%

Desglose por Asignatura

Alergología
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
90.5%
Anestesiología y Reanimación
Aciertos
0
Fallos
0
Vacías
4
Certeza
0.0%
Media
87.1%
Cardiología
Aciertos
1
Fallos
6
Vacías
14
Certeza
4.8%
Media
79.7%
Cuidados Paliativos
Aciertos
0
Fallos
1
Vacías
3
Certeza
0.0%
Media
88.2%
Dermatología
Aciertos
1
Fallos
1
Vacías
12
Certeza
7.1%
Media
80.2%
Endocrinología y Nutrición
Aciertos
1
Fallos
2
Vacías
16
Certeza
5.3%
Media
84.2%
Enfermedades Infecciosas
Aciertos
0
Fallos
5
Vacías
18
Certeza
0.0%
Media
81.8%
Epidemiología
Aciertos
1
Fallos
1
Vacías
6
Certeza
12.5%
Media
89.3%
Estadística
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
91.1%
Farmacología
Aciertos
1
Fallos
3
Vacías
19
Certeza
4.3%
Media
85.4%
Gastroenterología
Aciertos
1
Fallos
4
Vacías
17
Certeza
4.5%
Media
70.5%
Genética
Aciertos
0
Fallos
1
Vacías
6
Certeza
0.0%
Media
86.5%
Geriatría
Aciertos
0
Fallos
0
Vacías
10
Certeza
0.0%
Media
86.9%
Ginecología y Obstetricia
Aciertos
0
Fallos
2
Vacías
12
Certeza
0.0%
Media
81.2%
Hematología
Aciertos
0
Fallos
2
Vacías
11
Certeza
0.0%
Media
81.5%
Inmunología
Aciertos
0
Fallos
1
Vacías
7
Certeza
0.0%
Media
89.1%
Medicina Legal y Bioética
Aciertos
0
Fallos
1
Vacías
1
Certeza
0.0%
Media
91.7%
Nefrología
Aciertos
0
Fallos
1
Vacías
12
Certeza
0.0%
Media
80.8%
Neumología
Aciertos
1
Fallos
1
Vacías
17
Certeza
5.3%
Media
80.6%
Neurología
Aciertos
2
Fallos
3
Vacías
17
Certeza
9.1%
Media
83.7%
Oftalmología
Aciertos
2
Fallos
0
Vacías
3
Certeza
40.0%
Media
80.0%
Oncología Médica
Aciertos
1
Fallos
5
Vacías
15
Certeza
4.8%
Media
80.2%
ORL
Aciertos
0
Fallos
2
Vacías
5
Certeza
0.0%
Media
74.4%
Pediatría
Aciertos
0
Fallos
4
Vacías
13
Certeza
0.0%
Media
82.0%
Planificación y Gestión Sanitaria
Aciertos
0
Fallos
1
Vacías
1
Certeza
0.0%
Media
73.2%
Psiquiatría
Aciertos
0
Fallos
2
Vacías
8
Certeza
0.0%
Media
89.5%
Radiología-Urgencias
Aciertos
0
Fallos
1
Vacías
13
Certeza
0.0%
Media
64.9%
Reumatología
Aciertos
0
Fallos
2
Vacías
12
Certeza
0.0%
Media
81.4%
Traumatología
Aciertos
0
Fallos
5
Vacías
10
Certeza
0.0%
Media
74.5%
Urología
Aciertos
0
Fallos
1
Vacías
5
Certeza
0.0%
Media
78.2%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
0
Fallos
1
Vacías
5
Certeza
0.0%
Media
79.8%
Bioestadística
Aciertos
0
Fallos
1
Vacías
4
Certeza
0.0%
Media
90.7%
Diagnóstico
Aciertos
3
Fallos
8
Vacías
62
Certeza
4.1%
Media
79.2%
Epidemiología
Aciertos
1
Fallos
2
Vacías
9
Certeza
8.3%
Media
81.2%
Ética
Aciertos
0
Fallos
1
Vacías
0
Certeza
0.0%
Media
94.5%
Farmacología
Aciertos
1
Fallos
2
Vacías
22
Certeza
4.0%
Media
84.0%
Fisiopatología
Aciertos
0
Fallos
9
Vacías
24
Certeza
0.0%
Media
85.4%
Interpretación
Aciertos
1
Fallos
3
Vacías
33
Certeza
2.7%
Media
69.6%
Prevención
Aciertos
1
Fallos
2
Vacías
9
Certeza
8.3%
Media
89.8%
Pronóstico
Aciertos
1
Fallos
0
Vacías
6
Certeza
14.3%
Media
83.9%
Pruebas
Aciertos
0
Fallos
4
Vacías
17
Certeza
0.0%
Media
73.9%
Riesgo
Aciertos
0
Fallos
1
Vacías
12
Certeza
0.0%
Media
83.6%
Tratamiento
Aciertos
4
Fallos
14
Vacías
53
Certeza
5.6%
Media
81.3%
#RespuestaCorrectaEstado
1B
2D
3B
4C
5C
6B
7D
8C
9A
10D
11D
12DA
13C
14A
15B
16A
17DC
18A
19B
20C
21D
22B
23AA
24A
25C
26CB
27C
28A
29DB
30C
31AD
32BA
33C
34B
35D
36D
37A
38A
39C
40B
41C
42D
43A
44D
45CD
46B
47C
48C
49B
50C
51AA
52BD
53C
54B
55AC
56D
57A
58AA
59A
60A
61A
62D
63AD
64Anulada
65D
66C
67B
68Anulada
69A
70B
71B
72BD
73DB
74C
75B
76A
77D
78C
79B
80A
81C
82C
83B
84DC
85A
86A
87B
88D
89CB
90A
91AD
92A
93BC
94B
95DD
96B
97B
98CB
99A
100CB
101A
102D
103B
104CD
105AB
106C
107C
108B
109D
110D
111B
112C
113AAnulada
114D
115AD
116CA
117D
118D
119A
120C
121A
122B
123D
124D
125B
126D
127AA
128B
129BD
130C
131C
132D
133CA
134AC
135CA
136D
137A
138C
139AA
140C
141B
142C
143A
144D
145C
146C
147AC
148A
149C
150D
151A
152A
153C
154B
155BD
156C
157C
158D
159D
160B
161B
162B
163AB
164DB
165A
166C
167A
168B
169C
170A
171D
172AB
173A
174B
175AA
176C
177C
178B
179C
180Anulada
181B
182AD
183C
184A
185C
186D
187BA
188C
189CD
190D
191B
192B
193C
194C
195C
196B
197A
198AB
199D
200A
201B
202D
203B
204D
205D
206Anulada
207A
208A
209B
210AD