MedicalBenchmark
NousResearch: Hermes 2 Pro - Llama-3 8B provider

Hermes 2 Pro - Llama-3 8B

281

#281 de 291 modelosMIR 2024

Puntuación neta

37.00 pts

Certeza

36.0%

Correctas / Incorrectas

72 / 105

Coste total

$0.03

Rendimiento General

(vs. media)
Certeza

36.0%

avg: 80.5%

Puntuación neta

37.00 pts

avg: 150.85 pts

Aciertos

72

avg: 161

Fallos

105

avg: 30

Coste total

$0.03

avg: $3.32

Tiempo promedio de respuesta

4.0s

avg: 16.4s

Tokens salientes

86K

avg: 427K

Tokens de razonamiento

0

avg: 310K

Confianza promedio

84.1%

avg: 95.4%

Desglose por Asignatura

Alergología
Aciertos
2
Fallos
1
Vacías
0
Certeza
66.7%
Media
90.5%
Anestesiología y Reanimación
Aciertos
2
Fallos
1
Vacías
1
Certeza
50.0%
Media
87.1%
Cardiología
Aciertos
7
Fallos
12
Vacías
2
Certeza
33.3%
Media
79.7%
Cuidados Paliativos
Aciertos
3
Fallos
1
Vacías
0
Certeza
75.0%
Media
88.2%
Dermatología
Aciertos
4
Fallos
8
Vacías
2
Certeza
28.6%
Media
80.2%
Endocrinología y Nutrición
Aciertos
9
Fallos
9
Vacías
1
Certeza
47.4%
Media
84.2%
Enfermedades Infecciosas
Aciertos
10
Fallos
12
Vacías
1
Certeza
43.5%
Media
81.8%
Epidemiología
Aciertos
3
Fallos
3
Vacías
2
Certeza
37.5%
Media
89.3%
Estadística
Aciertos
1
Fallos
1
Vacías
1
Certeza
33.3%
Media
91.1%
Farmacología
Aciertos
7
Fallos
13
Vacías
3
Certeza
30.4%
Media
85.4%
Gastroenterología
Aciertos
5
Fallos
14
Vacías
3
Certeza
22.7%
Media
70.5%
Genética
Aciertos
4
Fallos
3
Vacías
0
Certeza
57.1%
Media
86.5%
Geriatría
Aciertos
4
Fallos
6
Vacías
0
Certeza
40.0%
Media
86.9%
Ginecología y Obstetricia
Aciertos
5
Fallos
5
Vacías
4
Certeza
35.7%
Media
81.2%
Hematología
Aciertos
3
Fallos
10
Vacías
0
Certeza
23.1%
Media
81.5%
Inmunología
Aciertos
6
Fallos
2
Vacías
0
Certeza
75.0%
Media
89.1%
Medicina Legal y Bioética
Aciertos
1
Fallos
1
Vacías
0
Certeza
50.0%
Media
91.7%
Nefrología
Aciertos
2
Fallos
8
Vacías
3
Certeza
15.4%
Media
80.8%
Neumología
Aciertos
12
Fallos
7
Vacías
0
Certeza
63.2%
Media
80.6%
Neurología
Aciertos
11
Fallos
8
Vacías
3
Certeza
50.0%
Media
83.7%
Oftalmología
Aciertos
1
Fallos
4
Vacías
0
Certeza
20.0%
Media
80.0%
Oncología Médica
Aciertos
7
Fallos
13
Vacías
1
Certeza
33.3%
Media
80.2%
ORL
Aciertos
3
Fallos
4
Vacías
0
Certeza
42.9%
Media
74.4%
Pediatría
Aciertos
6
Fallos
8
Vacías
3
Certeza
35.3%
Media
82.0%
Planificación y Gestión Sanitaria
Aciertos
1
Fallos
1
Vacías
0
Certeza
50.0%
Media
73.2%
Psiquiatría
Aciertos
6
Fallos
3
Vacías
1
Certeza
60.0%
Media
89.5%
Radiología-Urgencias
Aciertos
5
Fallos
7
Vacías
2
Certeza
35.7%
Media
64.9%
Reumatología
Aciertos
5
Fallos
7
Vacías
2
Certeza
35.7%
Media
81.4%
Traumatología
Aciertos
2
Fallos
12
Vacías
1
Certeza
13.3%
Media
74.5%
Urología
Aciertos
0
Fallos
5
Vacías
1
Certeza
0.0%
Media
78.2%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
1
Fallos
5
Vacías
0
Certeza
16.7%
Media
79.8%
Bioestadística
Aciertos
3
Fallos
1
Vacías
1
Certeza
60.0%
Media
90.7%
Diagnóstico
Aciertos
25
Fallos
39
Vacías
9
Certeza
34.2%
Media
79.2%
Epidemiología
Aciertos
3
Fallos
7
Vacías
2
Certeza
25.0%
Media
81.2%
Ética
Aciertos
1
Fallos
0
Vacías
0
Certeza
100.0%
Media
94.5%
Farmacología
Aciertos
9
Fallos
15
Vacías
1
Certeza
36.0%
Media
84.0%
Fisiopatología
Aciertos
13
Fallos
16
Vacías
4
Certeza
39.4%
Media
85.4%
Interpretación
Aciertos
11
Fallos
20
Vacías
6
Certeza
29.7%
Media
69.6%
Prevención
Aciertos
7
Fallos
4
Vacías
1
Certeza
58.3%
Media
89.8%
Pronóstico
Aciertos
3
Fallos
3
Vacías
1
Certeza
42.9%
Media
83.9%
Pruebas
Aciertos
6
Fallos
12
Vacías
3
Certeza
28.6%
Media
73.9%
Riesgo
Aciertos
5
Fallos
7
Vacías
1
Certeza
38.5%
Media
83.6%
Tratamiento
Aciertos
29
Fallos
36
Vacías
6
Certeza
40.8%
Media
81.3%
#RespuestaCorrectaEstado
1BB
2CD
3DB
4AC
5CC
6BB
7DD
8CC
9A
10AD
11DD
12BA
13C
14BA
15DB
16CA
17C
18A
19B
20CC
21CD
22CB
23BA
24DA
25DC
26CB
27AC
28A
29AB
30DC
31BD
32CA
33BC
34CB
35DD
36BD
37AA
38AA
39CC
40B
41DC
42BD
43A
44BD
45D
46BB
47CC
48CC
49DB
50BC
51DA
52CD
53C
54DB
55CC
56BD
57DA
58DA
59CA
60DA
61CA
62DD
63CD
64AAnulada
65DD
66AC
67DB
68CAnulada
69AA
70BB
71B
72BD
73DB
74CC
75BB
76DA
77DD
78CC
79B
80AA
81BC
82CC
83BB
84DC
85AA
86CA
87CB
88AD
89BB
90AA
91DD
92AA
93BC
94BB
95BD
96BB
97DB
98CB
99CA
100CB
101CA
102DD
103B
104CD
105DB
106C
107CC
108BB
109BD
110D
111AB
112BC
113Anulada
114DD
115D
116DA
117DD
118DD
119DA
120CC
121AA
122DB
123DD
124DD
125CB
126DD
127AA
128DB
129DD
130DC
131CC
132CD
133A
134BC
135BA
136DD
137DA
138CC
139DA
140CC
141DB
142CC
143DA
144D
145CC
146BC
147DC
148DA
149AC
150D
151AA
152A
153AC
154BB
155BD
156AC
157DC
158DD
159DD
160DB
161BB
162BB
163DB
164DB
165CA
166DC
167AA
168CB
169BC
170BA
171DD
172BB
173DA
174CB
175AA
176DC
177BC
178DB
179C
180DAnulada
181BB
182DD
183AC
184AA
185CC
186BD
187A
188AC
189AD
190AD
191AB
192BB
193BC
194AC
195DC
196DB
197DA
198BB
199D
200BA
201BB
202DD
203BB
204DD
205AD
206DAnulada
207AA
208CA
209B
210AD