MedicalBenchmark
Meta: Llama 3.1 8B Instruct provider

Llama 3.1 8B Instruct

271

#271 de 290 modelosMIR 2026

Pontuação líquida

63.33 pts

Exatidão

43.0%

Corretas / Incorretas

86 / 68

Custo total

$0.02

Desempenho Geral

(vs. média)
Exatidão

43.0%

avg: 81.6%

Pontuação líquida

63.33 pts

avg: 154.00 pts

Acertos

86

avg: 163

Erros

68

avg: 28

Custo total

$0.02

avg: $3.33

Tempo médio de resposta

29.1s

avg: 16.2s

Tokens de saída

293K

avg: 430K

Tokens de raciocínio

0

avg: 310K

Confiança média

78.6%

avg: 95.1%

Desagregação por Disciplina

Alergologia
Acertos
1
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
96.9%
Anestesiologia e Reanimação
Acertos
2
Erros
5
Sem resposta
0
Exatidão
28.6%
Média
69.6%
Cardiologia
Acertos
7
Erros
9
Sem resposta
9
Exatidão
28.0%
Média
77.3%
Cuidados Paliativos
Acertos
4
Erros
2
Sem resposta
0
Exatidão
66.7%
Média
80.2%
Dermatologia
Acertos
4
Erros
2
Sem resposta
5
Exatidão
36.4%
Média
72.3%
Doenças Infecciosas
Acertos
3
Erros
9
Sem resposta
2
Exatidão
21.4%
Média
77.9%
Endocrinologia e Nutrição
Acertos
6
Erros
5
Sem resposta
4
Exatidão
40.0%
Média
84.0%
Epidemiologia
Acertos
4
Erros
3
Sem resposta
0
Exatidão
57.1%
Média
80.2%
Estatística
Acertos
2
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
83.8%
Farmacologia
Acertos
5
Erros
3
Sem resposta
3
Exatidão
45.5%
Média
78.6%
Gastrenterologia
Acertos
14
Erros
8
Sem resposta
8
Exatidão
46.7%
Média
79.3%
Genética
Acertos
6
Erros
3
Sem resposta
2
Exatidão
54.5%
Média
78.7%
Geriatria
Acertos
3
Erros
6
Sem resposta
4
Exatidão
23.1%
Média
83.0%
Ginecologia e Obstetrícia
Acertos
4
Erros
4
Sem resposta
4
Exatidão
33.3%
Média
84.3%
Hematologia
Acertos
3
Erros
4
Sem resposta
2
Exatidão
33.3%
Média
76.6%
Imunologia
Acertos
5
Erros
0
Sem resposta
1
Exatidão
83.3%
Média
91.4%
Medicina Legal e Bioética
Acertos
6
Erros
3
Sem resposta
2
Exatidão
54.5%
Média
82.9%
Nefrologia
Acertos
5
Erros
3
Sem resposta
2
Exatidão
50.0%
Média
85.1%
Neurologia
Acertos
7
Erros
4
Sem resposta
2
Exatidão
53.8%
Média
88.6%
Oftalmologia
Acertos
2
Erros
2
Sem resposta
1
Exatidão
40.0%
Média
83.7%
Oncologia Médica
Acertos
10
Erros
5
Sem resposta
8
Exatidão
43.5%
Média
83.0%
ORL
Acertos
4
Erros
3
Sem resposta
1
Exatidão
50.0%
Média
84.7%
Pediatria
Acertos
11
Erros
6
Sem resposta
5
Exatidão
50.0%
Média
87.6%
Planeamento e Gestão em Saúde
Acertos
4
Erros
3
Sem resposta
3
Exatidão
40.0%
Média
78.4%
Pneumologia
Acertos
6
Erros
6
Sem resposta
4
Exatidão
37.5%
Média
82.8%
Psiquiatria
Acertos
2
Erros
4
Sem resposta
2
Exatidão
25.0%
Média
87.9%
Radiologia-Urgências
Acertos
5
Erros
6
Sem resposta
2
Exatidão
38.5%
Média
67.7%
Reumatologia
Acertos
6
Erros
3
Sem resposta
2
Exatidão
54.5%
Média
88.4%
Traumatologia
Acertos
3
Erros
6
Sem resposta
2
Exatidão
27.3%
Média
65.2%
Urologia
Acertos
7
Erros
1
Sem resposta
0
Exatidão
87.5%
Média
82.5%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
82.6%
Bioestatística
Acertos
2
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
83.8%
Diagnóstico
Acertos
31
Erros
25
Sem resposta
25
Exatidão
38.3%
Média
82.2%
Epidemiologia
Acertos
7
Erros
2
Sem resposta
0
Exatidão
77.8%
Média
88.7%
Ética
Acertos
5
Erros
1
Sem resposta
0
Exatidão
83.3%
Média
92.0%
Exames
Acertos
14
Erros
12
Sem resposta
7
Exatidão
42.4%
Média
80.3%
Farmacologia
Acertos
7
Erros
3
Sem resposta
5
Exatidão
46.7%
Média
82.3%
Fisiopatologia
Acertos
13
Erros
8
Sem resposta
5
Exatidão
50.0%
Média
84.3%
Interpretação
Acertos
12
Erros
10
Sem resposta
15
Exatidão
32.4%
Média
72.0%
Legal
Acertos
4
Erros
2
Sem resposta
3
Exatidão
44.4%
Média
82.4%
Prevenção
Acertos
7
Erros
8
Sem resposta
1
Exatidão
43.8%
Média
80.6%
Prognóstico
Acertos
4
Erros
1
Sem resposta
0
Exatidão
80.0%
Média
93.2%
Risco
Acertos
4
Erros
9
Sem resposta
2
Exatidão
26.7%
Média
84.3%
Tratamento
Acertos
29
Erros
26
Sem resposta
17
Exatidão
40.3%
Média
80.1%
#RespostaCorretaEstado
1A
2BB
3D
4DD
5BB
6C
7AB
8AD
9DD
10A
11AB
12A
13Anulada
14BC
15A
16C
17C
18BD
19DB
20B
21BB
22C
23AB
24AA
25CC
26DA
27BB
28DD
29AA
30BD
31DC
32CC
33BB
34AB
35C
36CD
37CD
38DA
39AC
40AA
41CD
42AA
43BB
44BB
45BB
46B
47D
48C
49AC
50AAnulada
51A
52CC
53CC
54AC
55DA
56CA
57A
58BA
59BB
60CB
61C
62B
63DB
64Anulada
65CC
66C
67CC
68AA
69BB
70CB
71BB
72BB
73DB
74AA
75CC
76C
77AA
78DD
79AA
80BD
81C
82D
83B
84AA
85DD
86AA
87BB
88BB
89BB
90C
91BA
92AC
93D
94BC
95CC
96AB
97B
98BA
99B
100CC
101CC
102DA
103CC
104CC
105CC
106CB
107CC
108AA
109C
110DC
111AB
112C
113C
114DD
115DB
116CD
117CC
118AB
119DA
120A
121C
122B
123B
124AB
125CC
126CB
127C
128BB
129AC
130CC
131BB
132AB
133C
134BB
135CC
136CB
137DD
138DB
139AAnulada
140D
141CA
142AAnulada
143CA
144DD
145DC
146BC
147B
148CC
149BB
150BB
151BB
152CC
153CC
154D
155BB
156AA
157DD
158BB
159BC
160AA
161Anulada
162A
163BC
164CC
165BA
166AA
167BD
168CC
169AB
170BB
171AA
172AB
173CD
174C
175BB
176A
177AD
178BD
179B
180BC
181BB
182CC
183DD
184AD
185DB
186DD
187DD
188BC
189CC
190AB
191DD
192BD
193CC
194C
195D
196AA
197AC
198BA
199DB
200DD
201CC
202AA
203AA
204C
205BB
206AC
207BA
208AAnulada
209B
210CC