MedicalBenchmark
Meta: Llama 3.2 1B Instruct provider

Llama 3.2 1B Instruct

289

#289 de 291 modelosMIR 2024

Pontuação líquida

7.33 pts

Exatidão

14.5%

Corretas / Incorretas

29 / 65

Custo total

$0.02

Desempenho Geral

(vs. média)
Exatidão

14.5%

avg: 80.5%

Pontuação líquida

7.33 pts

avg: 150.85 pts

Acertos

29

avg: 161

Erros

65

avg: 30

Custo total

$0.02

avg: $3.32

Tempo médio de resposta

3.6s

avg: 16.4s

Tokens de saída

101K

avg: 427K

Tokens de raciocínio

0

avg: 310K

Confiança média

47.8%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
90.5%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.1%
Cardiologia
Acertos
1
Erros
11
Sem resposta
9
Exatidão
4.8%
Média
79.7%
Cuidados Paliativos
Acertos
1
Erros
1
Sem resposta
2
Exatidão
25.0%
Média
88.2%
Dermatologia
Acertos
2
Erros
5
Sem resposta
7
Exatidão
14.3%
Média
80.2%
Doenças Infecciosas
Acertos
2
Erros
10
Sem resposta
11
Exatidão
8.7%
Média
81.8%
Endocrinologia e Nutrição
Acertos
5
Erros
9
Sem resposta
5
Exatidão
26.3%
Média
84.2%
Epidemiologia
Acertos
3
Erros
1
Sem resposta
4
Exatidão
37.5%
Média
89.3%
Estatística
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
91.1%
Farmacologia
Acertos
4
Erros
10
Sem resposta
9
Exatidão
17.4%
Média
85.4%
Gastrenterologia
Acertos
1
Erros
6
Sem resposta
15
Exatidão
4.5%
Média
70.5%
Genética
Acertos
1
Erros
2
Sem resposta
4
Exatidão
14.3%
Média
86.5%
Geriatria
Acertos
1
Erros
5
Sem resposta
4
Exatidão
10.0%
Média
86.9%
Ginecologia e Obstetrícia
Acertos
3
Erros
4
Sem resposta
7
Exatidão
21.4%
Média
81.2%
Hematologia
Acertos
2
Erros
4
Sem resposta
7
Exatidão
15.4%
Média
81.5%
Imunologia
Acertos
2
Erros
3
Sem resposta
3
Exatidão
25.0%
Média
89.1%
Medicina Legal e Bioética
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
91.7%
Nefrologia
Acertos
1
Erros
6
Sem resposta
6
Exatidão
7.7%
Média
80.8%
Neurologia
Acertos
3
Erros
6
Sem resposta
13
Exatidão
13.6%
Média
83.7%
Oftalmologia
Acertos
1
Erros
1
Sem resposta
3
Exatidão
20.0%
Média
80.0%
Oncologia Médica
Acertos
6
Erros
5
Sem resposta
10
Exatidão
28.6%
Média
80.2%
ORL
Acertos
3
Erros
2
Sem resposta
2
Exatidão
42.9%
Média
74.4%
Pediatria
Acertos
3
Erros
1
Sem resposta
13
Exatidão
17.6%
Média
82.0%
Planeamento e Gestão em Saúde
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
73.2%
Pneumologia
Acertos
2
Erros
6
Sem resposta
11
Exatidão
10.5%
Média
80.6%
Psiquiatria
Acertos
2
Erros
0
Sem resposta
8
Exatidão
20.0%
Média
89.5%
Radiologia-Urgências
Acertos
0
Erros
3
Sem resposta
11
Exatidão
0.0%
Média
64.9%
Reumatologia
Acertos
1
Erros
6
Sem resposta
7
Exatidão
7.1%
Média
81.4%
Traumatologia
Acertos
2
Erros
7
Sem resposta
6
Exatidão
13.3%
Média
74.5%
Urologia
Acertos
0
Erros
2
Sem resposta
4
Exatidão
0.0%
Média
78.2%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
2
Erros
4
Sem resposta
0
Exatidão
33.3%
Média
79.8%
Bioestatística
Acertos
1
Erros
0
Sem resposta
4
Exatidão
20.0%
Média
90.7%
Diagnóstico
Acertos
10
Erros
19
Sem resposta
44
Exatidão
13.7%
Média
79.2%
Epidemiologia
Acertos
3
Erros
3
Sem resposta
6
Exatidão
25.0%
Média
81.2%
Ética
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
94.5%
Exames
Acertos
4
Erros
4
Sem resposta
13
Exatidão
19.0%
Média
73.9%
Farmacologia
Acertos
3
Erros
11
Sem resposta
11
Exatidão
12.0%
Média
84.0%
Fisiopatologia
Acertos
8
Erros
12
Sem resposta
13
Exatidão
24.2%
Média
85.4%
Interpretação
Acertos
3
Erros
9
Sem resposta
25
Exatidão
8.1%
Média
69.6%
Prevenção
Acertos
3
Erros
5
Sem resposta
4
Exatidão
25.0%
Média
89.8%
Prognóstico
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
83.9%
Risco
Acertos
0
Erros
4
Sem resposta
9
Exatidão
0.0%
Média
83.6%
Tratamento
Acertos
10
Erros
27
Sem resposta
34
Exatidão
14.1%
Média
81.3%
#RespostaCorretaEstado
1AB
2D
3B
4AC
5C
6B
7BD
8C
9A
10D
11D
12A
13BC
14A
15B
16AA
17C
18A
19CB
20C
21AD
22B
23A
24AA
25C
26B
27AC
28CA
29AB
30AC
31AD
32AA
33C
34AB
35BD
36CD
37AA
38AA
39C
40B
41BC
42AD
43CA
44D
45D
46BB
47C
48CC
49CB
50C
51AA
52D
53C
54B
55AC
56DD
57DA
58CA
59A
60AA
61AA
62D
63D
64CAnulada
65D
66BC
67B
68Anulada
69A
70DB
71BB
72D
73B
74C
75AB
76A
77D
78CC
79B
80A
81CC
82C
83B
84C
85AA
86CA
87B
88D
89B
90AA
91D
92A
93C
94B
95CD
96B
97B
98B
99AA
100CB
101BA
102AD
103BB
104D
105B
106C
107C
108B
109D
110BD
111AB
112DC
113BAnulada
114D
115D
116DA
117D
118D
119A
120C
121A
122AB
123BD
124DD
125B
126AD
127A
128B
129D
130C
131AC
132D
133A
134AC
135A
136D
137BA
138AC
139A
140C
141B
142BC
143BA
144BD
145AC
146AC
147C
148A
149C
150CD
151A
152A
153BC
154B
155AD
156C
157CC
158D
159CD
160CB
161B
162AB
163BB
164DB
165A
166C
167AA
168AB
169AC
170A
171D
172B
173A
174B
175CA
176DC
177DC
178DB
179DC
180CAnulada
181AB
182D
183C
184BA
185CC
186D
187A
188DC
189CD
190DD
191BB
192B
193C
194C
195AC
196B
197AA
198B
199CD
200AA
201BB
202D
203B
204DD
205D
206BAnulada
207CA
208BA
209AB
210D