MedicalBenchmark
NousResearch: Hermes 2 Pro - Llama-3 8B provider

Hermes 2 Pro - Llama-3 8B

281

#281 de 291 modelosMIR 2024

Pontuação líquida

37.00 pts

Exatidão

36.0%

Corretas / Incorretas

72 / 105

Custo total

$0.03

Desempenho Geral

(vs. média)
Exatidão

36.0%

avg: 80.5%

Pontuação líquida

37.00 pts

avg: 150.85 pts

Acertos

72

avg: 161

Erros

105

avg: 30

Custo total

$0.03

avg: $3.32

Tempo médio de resposta

4.0s

avg: 16.4s

Tokens de saída

86K

avg: 427K

Tokens de raciocínio

0

avg: 310K

Confiança média

84.1%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
2
Erros
1
Sem resposta
0
Exatidão
66.7%
Média
90.5%
Anestesiologia e Reanimação
Acertos
2
Erros
1
Sem resposta
1
Exatidão
50.0%
Média
87.1%
Cardiologia
Acertos
7
Erros
12
Sem resposta
2
Exatidão
33.3%
Média
79.7%
Cuidados Paliativos
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
88.2%
Dermatologia
Acertos
4
Erros
8
Sem resposta
2
Exatidão
28.6%
Média
80.2%
Doenças Infecciosas
Acertos
10
Erros
12
Sem resposta
1
Exatidão
43.5%
Média
81.8%
Endocrinologia e Nutrição
Acertos
9
Erros
9
Sem resposta
1
Exatidão
47.4%
Média
84.2%
Epidemiologia
Acertos
3
Erros
3
Sem resposta
2
Exatidão
37.5%
Média
89.3%
Estatística
Acertos
1
Erros
1
Sem resposta
1
Exatidão
33.3%
Média
91.1%
Farmacologia
Acertos
7
Erros
13
Sem resposta
3
Exatidão
30.4%
Média
85.4%
Gastrenterologia
Acertos
5
Erros
14
Sem resposta
3
Exatidão
22.7%
Média
70.5%
Genética
Acertos
4
Erros
3
Sem resposta
0
Exatidão
57.1%
Média
86.5%
Geriatria
Acertos
4
Erros
6
Sem resposta
0
Exatidão
40.0%
Média
86.9%
Ginecologia e Obstetrícia
Acertos
5
Erros
5
Sem resposta
4
Exatidão
35.7%
Média
81.2%
Hematologia
Acertos
3
Erros
10
Sem resposta
0
Exatidão
23.1%
Média
81.5%
Imunologia
Acertos
6
Erros
2
Sem resposta
0
Exatidão
75.0%
Média
89.1%
Medicina Legal e Bioética
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
91.7%
Nefrologia
Acertos
2
Erros
8
Sem resposta
3
Exatidão
15.4%
Média
80.8%
Neurologia
Acertos
11
Erros
8
Sem resposta
3
Exatidão
50.0%
Média
83.7%
Oftalmologia
Acertos
1
Erros
4
Sem resposta
0
Exatidão
20.0%
Média
80.0%
Oncologia Médica
Acertos
7
Erros
13
Sem resposta
1
Exatidão
33.3%
Média
80.2%
ORL
Acertos
3
Erros
4
Sem resposta
0
Exatidão
42.9%
Média
74.4%
Pediatria
Acertos
6
Erros
8
Sem resposta
3
Exatidão
35.3%
Média
82.0%
Planeamento e Gestão em Saúde
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
73.2%
Pneumologia
Acertos
12
Erros
7
Sem resposta
0
Exatidão
63.2%
Média
80.6%
Psiquiatria
Acertos
6
Erros
3
Sem resposta
1
Exatidão
60.0%
Média
89.5%
Radiologia-Urgências
Acertos
5
Erros
7
Sem resposta
2
Exatidão
35.7%
Média
64.9%
Reumatologia
Acertos
5
Erros
7
Sem resposta
2
Exatidão
35.7%
Média
81.4%
Traumatologia
Acertos
2
Erros
12
Sem resposta
1
Exatidão
13.3%
Média
74.5%
Urologia
Acertos
0
Erros
5
Sem resposta
1
Exatidão
0.0%
Média
78.2%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
1
Erros
5
Sem resposta
0
Exatidão
16.7%
Média
79.8%
Bioestatística
Acertos
3
Erros
1
Sem resposta
1
Exatidão
60.0%
Média
90.7%
Diagnóstico
Acertos
25
Erros
39
Sem resposta
9
Exatidão
34.2%
Média
79.2%
Epidemiologia
Acertos
3
Erros
7
Sem resposta
2
Exatidão
25.0%
Média
81.2%
Ética
Acertos
1
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
94.5%
Exames
Acertos
6
Erros
12
Sem resposta
3
Exatidão
28.6%
Média
73.9%
Farmacologia
Acertos
9
Erros
15
Sem resposta
1
Exatidão
36.0%
Média
84.0%
Fisiopatologia
Acertos
13
Erros
16
Sem resposta
4
Exatidão
39.4%
Média
85.4%
Interpretação
Acertos
11
Erros
20
Sem resposta
6
Exatidão
29.7%
Média
69.6%
Prevenção
Acertos
7
Erros
4
Sem resposta
1
Exatidão
58.3%
Média
89.8%
Prognóstico
Acertos
3
Erros
3
Sem resposta
1
Exatidão
42.9%
Média
83.9%
Risco
Acertos
5
Erros
7
Sem resposta
1
Exatidão
38.5%
Média
83.6%
Tratamento
Acertos
29
Erros
36
Sem resposta
6
Exatidão
40.8%
Média
81.3%
#RespostaCorretaEstado
1BB
2CD
3DB
4AC
5CC
6BB
7DD
8CC
9A
10AD
11DD
12BA
13C
14BA
15DB
16CA
17C
18A
19B
20CC
21CD
22CB
23BA
24DA
25DC
26CB
27AC
28A
29AB
30DC
31BD
32CA
33BC
34CB
35DD
36BD
37AA
38AA
39CC
40B
41DC
42BD
43A
44BD
45D
46BB
47CC
48CC
49DB
50BC
51DA
52CD
53C
54DB
55CC
56BD
57DA
58DA
59CA
60DA
61CA
62DD
63CD
64AAnulada
65DD
66AC
67DB
68CAnulada
69AA
70BB
71B
72BD
73DB
74CC
75BB
76DA
77DD
78CC
79B
80AA
81BC
82CC
83BB
84DC
85AA
86CA
87CB
88AD
89BB
90AA
91DD
92AA
93BC
94BB
95BD
96BB
97DB
98CB
99CA
100CB
101CA
102DD
103B
104CD
105DB
106C
107CC
108BB
109BD
110D
111AB
112BC
113Anulada
114DD
115D
116DA
117DD
118DD
119DA
120CC
121AA
122DB
123DD
124DD
125CB
126DD
127AA
128DB
129DD
130DC
131CC
132CD
133A
134BC
135BA
136DD
137DA
138CC
139DA
140CC
141DB
142CC
143DA
144D
145CC
146BC
147DC
148DA
149AC
150D
151AA
152A
153AC
154BB
155BD
156AC
157DC
158DD
159DD
160DB
161BB
162BB
163DB
164DB
165CA
166DC
167AA
168CB
169BC
170BA
171DD
172BB
173DA
174CB
175AA
176DC
177BC
178DB
179C
180DAnulada
181BB
182DD
183AC
184AA
185CC
186BD
187A
188AC
189AD
190AD
191AB
192BB
193BC
194AC
195DC
196DB
197DA
198BB
199D
200BA
201BB
202DD
203BB
204DD
205AD
206DAnulada
207AA
208CA
209B
210AD