MedicalBenchmark
Meta: Llama 3.1 8B Instruct provider

Llama 3.1 8B Instruct

290

#290 de 319 modelosMIR 2025

Pontuação líquida

53.00 pts

Exatidão

39.5%

Corretas / Incorretas

79 / 78

Custo total

$0.02

Desempenho Geral

(vs. média)
Exatidão

39.5%

avg: 77.9%

Pontuação líquida

53.00 pts

avg: 143.96 pts

Acertos

79

avg: 156

Erros

78

avg: 35

Custo total

$0.02

avg: $3.36

Tempo médio de resposta

20.8s

avg: 19.0s

Tokens de saída

234K

avg: 430K

Tokens de raciocínio

0

avg: 306K

Confiança média

77.5%

avg: 95.2%

Desagregação por Disciplina

Alergologia
Acertos
1
Erros
3
Sem resposta
0
Exatidão
25.0%
Média
87.9%
Anestesiologia e Reanimação
Acertos
1
Erros
5
Sem resposta
0
Exatidão
16.7%
Média
82.3%
Cardiologia
Acertos
8
Erros
8
Sem resposta
6
Exatidão
36.4%
Média
78.6%
Cuidados Paliativos
Acertos
2
Erros
2
Sem resposta
0
Exatidão
50.0%
Média
78.6%
Dermatologia
Acertos
9
Erros
2
Sem resposta
1
Exatidão
75.0%
Média
69.4%
Doenças Infecciosas
Acertos
11
Erros
9
Sem resposta
7
Exatidão
40.7%
Média
74.9%
Endocrinologia e Nutrição
Acertos
6
Erros
8
Sem resposta
2
Exatidão
37.5%
Média
83.5%
Epidemiologia
Acertos
2
Erros
5
Sem resposta
0
Exatidão
28.6%
Média
69.1%
Estatística
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
76.6%
Farmacologia
Acertos
8
Erros
6
Sem resposta
3
Exatidão
47.1%
Média
74.1%
Gastrenterologia
Acertos
7
Erros
9
Sem resposta
5
Exatidão
33.3%
Média
74.1%
Genética
Acertos
0
Erros
3
Sem resposta
3
Exatidão
0.0%
Média
69.5%
Geriatria
Acertos
7
Erros
3
Sem resposta
1
Exatidão
63.6%
Média
77.5%
Ginecologia e Obstetrícia
Acertos
9
Erros
7
Sem resposta
3
Exatidão
47.4%
Média
86.7%
Hematologia
Acertos
5
Erros
2
Sem resposta
4
Exatidão
45.5%
Média
82.7%
Imunologia
Acertos
5
Erros
2
Sem resposta
2
Exatidão
55.6%
Média
83.3%
Medicina Legal e Bioética
Acertos
4
Erros
1
Sem resposta
0
Exatidão
80.0%
Média
68.4%
Nefrologia
Acertos
6
Erros
4
Sem resposta
4
Exatidão
42.9%
Média
84.8%
Neurologia
Acertos
8
Erros
6
Sem resposta
6
Exatidão
40.0%
Média
77.3%
Oftalmologia
Acertos
2
Erros
2
Sem resposta
1
Exatidão
40.0%
Média
74.2%
Oncologia Médica
Acertos
16
Erros
6
Sem resposta
3
Exatidão
64.0%
Média
87.2%
ORL
Acertos
4
Erros
1
Sem resposta
3
Exatidão
50.0%
Média
74.8%
Pediatria
Acertos
14
Erros
5
Sem resposta
7
Exatidão
53.8%
Média
71.9%
Planeamento e Gestão em Saúde
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
82.6%
Pneumologia
Acertos
2
Erros
8
Sem resposta
4
Exatidão
14.3%
Média
80.4%
Psiquiatria
Acertos
5
Erros
3
Sem resposta
0
Exatidão
62.5%
Média
83.0%
Radiologia-Urgências
Acertos
2
Erros
9
Sem resposta
3
Exatidão
14.3%
Média
69.4%
Reumatologia
Acertos
7
Erros
6
Sem resposta
2
Exatidão
46.7%
Média
76.6%
Traumatologia
Acertos
6
Erros
8
Sem resposta
4
Exatidão
33.3%
Média
79.3%
Urologia
Acertos
4
Erros
2
Sem resposta
1
Exatidão
57.1%
Média
80.7%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
3
Erros
3
Sem resposta
1
Exatidão
42.9%
Média
78.6%
Bioestatística
Acertos
2
Erros
2
Sem resposta
0
Exatidão
50.0%
Média
79.8%
Diagnóstico
Acertos
32
Erros
35
Sem resposta
21
Exatidão
36.4%
Média
79.9%
Epidemiologia
Acertos
2
Erros
3
Sem resposta
0
Exatidão
40.0%
Média
76.7%
Ética
Acertos
2
Erros
1
Sem resposta
0
Exatidão
66.7%
Média
74.1%
Exames
Acertos
8
Erros
15
Sem resposta
4
Exatidão
29.6%
Média
77.9%
Farmacologia
Acertos
7
Erros
6
Sem resposta
0
Exatidão
53.8%
Média
83.3%
Fisiopatologia
Acertos
9
Erros
9
Sem resposta
9
Exatidão
33.3%
Média
76.1%
Interpretação
Acertos
10
Erros
18
Sem resposta
14
Exatidão
23.8%
Média
70.7%
Legal
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
64.6%
Prevenção
Acertos
5
Erros
5
Sem resposta
2
Exatidão
41.7%
Média
75.6%
Prognóstico
Acertos
2
Erros
4
Sem resposta
1
Exatidão
28.6%
Média
80.8%
Risco
Acertos
2
Erros
2
Sem resposta
1
Exatidão
40.0%
Média
85.2%
Tratamento
Acertos
37
Erros
29
Sem resposta
15
Exatidão
45.7%
Média
77.3%
#RespostaCorretaEstado
1B
2A
3C
4B
5A
6C
7C
8AA
9CA
10D
11BD
12DD
13AB
14DD
15Anulada
16CB
17B
18A
19CC
20BA
21B
22CD
23AC
24DD
25CC
26CAnulada
27CC
28DAnulada
29CD
30B
31D
32A
33D
34AD
35BB
36DD
37DC
38BC
39DD
40BA
41DD
42CC
43CB
44D
45BD
46AA
47AA
48DA
49DD
50BB
51DC
52CB
53DD
54DB
55AA
56Anulada
57CC
58AB
59DD
60BA
61CA
62DD
63BB
64DD
65A
66A
67BB
68B
69CB
70AA
71DD
72CA
73DD
74DC
75AA
76BB
77BB
78BB
79C
80CC
81CC
82CD
83DB
84DD
85AC
86BC
87BA
88DD
89BB
90DA
91DB
92C
93BB
94DC
95BA
96CC
97AD
98C
99A
100C
101B
102CD
103BA
104CC
105AA
106DC
107BB
108D
109DB
110C
111BA
112CC
113AB
114D
115D
116C
117CA
118CD
119DC
120AB
121CD
122CC
123CC
124CC
125CD
126BD
127AB
128DD
129BA
130D
131D
132CA
133BB
134C
135CB
136CC
137CA
138DD
139DD
140CB
141AA
142AA
143BB
144BB
145BD
146C
147BB
148A
149CA
150D
151AA
152AA
153B
154AB
155BB
156CC
157BA
158DC
159AC
160A
161DA
162Anulada
163DD
164C
165CA
166BB
167AC
168BD
169B
170AB
171BC
172A
173BA
174BB
175BB
176CC
177CC
178BA
179CD
180AA
181BB
182CC
183DB
184BB
185BB
186DAnulada
187CC
188CD
189BD
190BA
191CB
192BA
193AC
194BA
195AA
196AA
197BB
198CC
199DD
200CC
201B
202A
203DD
204BC
205DB
206DD
207AA
208C
209CC
210B