MedicalBenchmark
NousResearch: Hermes 2 Pro - Llama-3 8B provider

Hermes 2 Pro - Llama-3 8B

281

#281 de 291 modelsMIR 2024

Puntuació neta

37.00 pts

Certesa

36.0%

Correctes / Incorrectes

72 / 105

Cost total

$0.03

Rendiment General

(vs. mitjana)
Certesa

36.0%

avg: 80.5%

Puntuació neta

37.00 pts

avg: 150.85 pts

Encerts

72

avg: 161

Errors

105

avg: 30

Cost total

$0.03

avg: $3.32

Temps mitjà de resposta

4.0s

avg: 16.4s

Tokens eixints

86K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

84.1%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
2
Errors
1
No contestades
0
Certesa
66.7%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
2
Errors
1
No contestades
1
Certesa
50.0%
Mitjana
87.1%
Cardiologia
Encerts
7
Errors
12
No contestades
2
Certesa
33.3%
Mitjana
79.7%
Cures Pal·liatives
Encerts
3
Errors
1
No contestades
0
Certesa
75.0%
Mitjana
88.2%
Dermatologia
Encerts
4
Errors
8
No contestades
2
Certesa
28.6%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
9
Errors
9
No contestades
1
Certesa
47.4%
Mitjana
84.2%
Epidemiologia
Encerts
3
Errors
3
No contestades
2
Certesa
37.5%
Mitjana
89.3%
Estadística
Encerts
1
Errors
1
No contestades
1
Certesa
33.3%
Mitjana
91.1%
Farmacologia
Encerts
7
Errors
13
No contestades
3
Certesa
30.4%
Mitjana
85.4%
Gastroenterologia
Encerts
5
Errors
14
No contestades
3
Certesa
22.7%
Mitjana
70.5%
Genètica
Encerts
4
Errors
3
No contestades
0
Certesa
57.1%
Mitjana
86.5%
Geriatria
Encerts
4
Errors
6
No contestades
0
Certesa
40.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
5
Errors
5
No contestades
4
Certesa
35.7%
Mitjana
81.2%
Hematologia
Encerts
3
Errors
10
No contestades
0
Certesa
23.1%
Mitjana
81.5%
Immunologia
Encerts
6
Errors
2
No contestades
0
Certesa
75.0%
Mitjana
89.1%
Malalties Infeccioses
Encerts
10
Errors
12
No contestades
1
Certesa
43.5%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
1
Errors
1
No contestades
0
Certesa
50.0%
Mitjana
91.7%
Nefrologia
Encerts
2
Errors
8
No contestades
3
Certesa
15.4%
Mitjana
80.8%
Neurologia
Encerts
11
Errors
8
No contestades
3
Certesa
50.0%
Mitjana
83.7%
Oftalmologia
Encerts
1
Errors
4
No contestades
0
Certesa
20.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
7
Errors
13
No contestades
1
Certesa
33.3%
Mitjana
80.2%
ORL
Encerts
3
Errors
4
No contestades
0
Certesa
42.9%
Mitjana
74.4%
Pediatria
Encerts
6
Errors
8
No contestades
3
Certesa
35.3%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
1
Errors
1
No contestades
0
Certesa
50.0%
Mitjana
73.2%
Pneumologia
Encerts
12
Errors
7
No contestades
0
Certesa
63.2%
Mitjana
80.6%
Psiquiatria
Encerts
6
Errors
3
No contestades
1
Certesa
60.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
5
Errors
7
No contestades
2
Certesa
35.7%
Mitjana
64.9%
Reumatologia
Encerts
5
Errors
7
No contestades
2
Certesa
35.7%
Mitjana
81.4%
Traumatologia
Encerts
2
Errors
12
No contestades
1
Certesa
13.3%
Mitjana
74.5%
Urologia
Encerts
0
Errors
5
No contestades
1
Certesa
0.0%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
1
Errors
5
No contestades
0
Certesa
16.7%
Mitjana
79.8%
Bioestadística
Encerts
3
Errors
1
No contestades
1
Certesa
60.0%
Mitjana
90.7%
Diagnòstic
Encerts
25
Errors
39
No contestades
9
Certesa
34.2%
Mitjana
79.2%
Epidemiologia
Encerts
3
Errors
7
No contestades
2
Certesa
25.0%
Mitjana
81.2%
Ètica
Encerts
1
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
94.5%
Farmacologia
Encerts
9
Errors
15
No contestades
1
Certesa
36.0%
Mitjana
84.0%
Fisiopatologia
Encerts
13
Errors
16
No contestades
4
Certesa
39.4%
Mitjana
85.4%
Interpretació
Encerts
11
Errors
20
No contestades
6
Certesa
29.7%
Mitjana
69.6%
Prevenció
Encerts
7
Errors
4
No contestades
1
Certesa
58.3%
Mitjana
89.8%
Pronòstic
Encerts
3
Errors
3
No contestades
1
Certesa
42.9%
Mitjana
83.9%
Proves
Encerts
6
Errors
12
No contestades
3
Certesa
28.6%
Mitjana
73.9%
Risc
Encerts
5
Errors
7
No contestades
1
Certesa
38.5%
Mitjana
83.6%
Tractament
Encerts
29
Errors
36
No contestades
6
Certesa
40.8%
Mitjana
81.3%
#RespostaCorrectaEstat
1BB
2CD
3DB
4AC
5CC
6BB
7DD
8CC
9A
10AD
11DD
12BA
13C
14BA
15DB
16CA
17C
18A
19B
20CC
21CD
22CB
23BA
24DA
25DC
26CB
27AC
28A
29AB
30DC
31BD
32CA
33BC
34CB
35DD
36BD
37AA
38AA
39CC
40B
41DC
42BD
43A
44BD
45D
46BB
47CC
48CC
49DB
50BC
51DA
52CD
53C
54DB
55CC
56BD
57DA
58DA
59CA
60DA
61CA
62DD
63CD
64AAnul·lada
65DD
66AC
67DB
68CAnul·lada
69AA
70BB
71B
72BD
73DB
74CC
75BB
76DA
77DD
78CC
79B
80AA
81BC
82CC
83BB
84DC
85AA
86CA
87CB
88AD
89BB
90AA
91DD
92AA
93BC
94BB
95BD
96BB
97DB
98CB
99CA
100CB
101CA
102DD
103B
104CD
105DB
106C
107CC
108BB
109BD
110D
111AB
112BC
113Anul·lada
114DD
115D
116DA
117DD
118DD
119DA
120CC
121AA
122DB
123DD
124DD
125CB
126DD
127AA
128DB
129DD
130DC
131CC
132CD
133A
134BC
135BA
136DD
137DA
138CC
139DA
140CC
141DB
142CC
143DA
144D
145CC
146BC
147DC
148DA
149AC
150D
151AA
152A
153AC
154BB
155BD
156AC
157DC
158DD
159DD
160DB
161BB
162BB
163DB
164DB
165CA
166DC
167AA
168CB
169BC
170BA
171DD
172BB
173DA
174CB
175AA
176DC
177BC
178DB
179C
180DAnul·lada
181BB
182DD
183AC
184AA
185CC
186BD
187A
188AC
189AD
190AD
191AB
192BB
193BC
194AC
195DC
196DB
197DA
198BB
199D
200BA
201BB
202DD
203BB
204DD
205AD
206DAnul·lada
207AA
208CA
209B
210AD