MedicalBenchmark
Meta: Llama 3.2 1B Instruct provider

Llama 3.2 1B Instruct

317

#317 de 320 modelos — MIR 2024

Pontuação líquida

7.33 pts

Exatidão

14.5%

Corretas / Incorretas

29 / 65

Custo total

$0.02

Desempenho Geral

(vs. média)
Exatidão

14.5%

avg: 81.3%

Pontuação líquida

7.33 pts

avg: 153.08 pts

Acertos

29

avg: 163

Erros

65

avg: 29

Custo total

$0.02

avg: $3.09

Tempo médio de resposta

3.6s

avg: 17.7s

Tokens de saída

101K

avg: 414K

Tokens de raciocínio

0

avg: 296K

Confiança média

47.8%

avg: 95.7%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
90.8%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.7%
Cardiologia
Acertos
1
Erros
11
Sem resposta
9
Exatidão
4.8%
Média
80.4%
Cuidados Paliativos
Acertos
1
Erros
1
Sem resposta
2
Exatidão
25.0%
Média
88.6%
Dermatologia
Acertos
2
Erros
5
Sem resposta
7
Exatidão
14.3%
Média
81.0%
Doenças Infecciosas
Acertos
2
Erros
10
Sem resposta
11
Exatidão
8.7%
Média
82.5%
Endocrinologia e Nutrição
Acertos
5
Erros
9
Sem resposta
5
Exatidão
26.3%
Média
85.1%
Epidemiologia
Acertos
3
Erros
1
Sem resposta
4
Exatidão
37.5%
Média
89.7%
Estatística
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
91.6%
Farmacologia
Acertos
4
Erros
10
Sem resposta
9
Exatidão
17.4%
Média
85.8%
Gastrenterologia
Acertos
1
Erros
6
Sem resposta
15
Exatidão
4.5%
Média
71.5%
Genética
Acertos
1
Erros
2
Sem resposta
4
Exatidão
14.3%
Média
87.1%
Geriatria
Acertos
1
Erros
5
Sem resposta
4
Exatidão
10.0%
Média
87.7%
Ginecologia e Obstetrícia
Acertos
3
Erros
4
Sem resposta
7
Exatidão
21.4%
Média
82.0%
Hematologia
Acertos
2
Erros
4
Sem resposta
7
Exatidão
15.4%
Média
82.4%
Imunologia
Acertos
2
Erros
3
Sem resposta
3
Exatidão
25.0%
Média
89.7%
Medicina Legal e Bioética
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
91.8%
Nefrologia
Acertos
1
Erros
6
Sem resposta
6
Exatidão
7.7%
Média
81.8%
Neurologia
Acertos
3
Erros
6
Sem resposta
13
Exatidão
13.6%
Média
84.5%
Oftalmologia
Acertos
1
Erros
1
Sem resposta
3
Exatidão
20.0%
Média
81.3%
Oncologia Médica
Acertos
6
Erros
5
Sem resposta
10
Exatidão
28.6%
Média
80.9%
ORL
Acertos
3
Erros
2
Sem resposta
2
Exatidão
42.9%
Média
75.1%
Pediatria
Acertos
3
Erros
1
Sem resposta
13
Exatidão
17.6%
Média
82.9%
Planeamento e Gestão em Saúde
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
75.1%
Pneumologia
Acertos
2
Erros
6
Sem resposta
11
Exatidão
10.5%
Média
81.6%
Psiquiatria
Acertos
2
Erros
0
Sem resposta
8
Exatidão
20.0%
Média
90.0%
Radiologia-Urgências
Acertos
0
Erros
3
Sem resposta
11
Exatidão
0.0%
Média
66.0%
Reumatologia
Acertos
1
Erros
6
Sem resposta
7
Exatidão
7.1%
Média
82.4%
Traumatologia
Acertos
2
Erros
7
Sem resposta
6
Exatidão
13.3%
Média
75.4%
Urologia
Acertos
0
Erros
2
Sem resposta
4
Exatidão
0.0%
Média
79.0%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
2
Erros
4
Sem resposta
0
Exatidão
33.3%
Média
81.1%
Bioestatística
Acertos
1
Erros
0
Sem resposta
4
Exatidão
20.0%
Média
91.3%
Diagnóstico
Acertos
10
Erros
19
Sem resposta
44
Exatidão
13.7%
Média
80.0%
Epidemiologia
Acertos
3
Erros
3
Sem resposta
6
Exatidão
25.0%
Média
82.1%
Ética
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
94.0%
Exames
Acertos
4
Erros
4
Sem resposta
13
Exatidão
19.0%
Média
75.0%
Farmacologia
Acertos
3
Erros
11
Sem resposta
11
Exatidão
12.0%
Média
84.7%
Fisiopatologia
Acertos
8
Erros
12
Sem resposta
13
Exatidão
24.2%
Média
86.1%
Interpretação
Acertos
3
Erros
9
Sem resposta
25
Exatidão
8.1%
Média
70.5%
Prevenção
Acertos
3
Erros
5
Sem resposta
4
Exatidão
25.0%
Média
90.3%
Prognóstico
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
84.6%
Risco
Acertos
0
Erros
4
Sem resposta
9
Exatidão
0.0%
Média
84.5%
Tratamento
Acertos
10
Erros
27
Sem resposta
34
Exatidão
14.1%
Média
82.1%
#RespostaCorretaEstado
1AB
2—D
3—B
4AC
5—C
6—B
7BD
8—C
9—A
10—D
11—D
12—A
13BC
14—A
15—B
16AA
17—C
18—A
19CB
20—C
21AD
22—B
23—A
24AA
25—C
26—B
27AC
28CA
29AB
30AC
31AD
32AA
33—C
34AB
35BD
36CD
37AA
38AA
39—C
40—B
41BC
42AD
43CA
44—D
45—D
46BB
47—C
48CC
49CB
50—C
51AA
52—D
53—C
54—B
55AC
56DD
57DA
58CA
59—A
60AA
61AA
62—D
63—D
64C—Anulada
65—D
66BC
67—B
68——Anulada
69—A
70DB
71BB
72—D
73—B
74—C
75AB
76—A
77—D
78CC
79—B
80—A
81CC
82—C
83—B
84—C
85AA
86CA
87—B
88—D
89—B
90AA
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99AA
100CB
101BA
102AD
103BB
104—D
105—B
106—C
107—C
108—B
109—D
110BD
111AB
112DC
113B—Anulada
114—D
115—D
116DA
117—D
118—D
119—A
120—C
121—A
122AB
123BD
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131AC
132—D
133—A
134AC
135—A
136—D
137BA
138AC
139—A
140—C
141—B
142BC
143BA
144BD
145AC
146AC
147—C
148—A
149—C
150CD
151—A
152—A
153BC
154—B
155AD
156—C
157CC
158—D
159CD
160CB
161—B
162AB
163BB
164DB
165—A
166—C
167AA
168AB
169AC
170—A
171—D
172—B
173—A
174—B
175CA
176DC
177DC
178DB
179DC
180C—Anulada
181AB
182—D
183—C
184BA
185CC
186—D
187—A
188DC
189CD
190DD
191BB
192—B
193—C
194—C
195AC
196—B
197AA
198—B
199CD
200AA
201BB
202—D
203—B
204DD
205—D
206B—Anulada
207CA
208BA
209AB
210—D