MedicalBenchmark
Meta: Llama 3.2 3B Instruct provider

Llama 3.2 3B Instruct

278

#278 de 291 modelosMIR 2024

Pontuação líquida

38.66 pts

Exatidão

36.0%

Corretas / Incorretas

72 / 100

Custo total

$0.01

Desempenho Geral

(vs. média)
Exatidão

36.0%

avg: 80.5%

Pontuação líquida

38.66 pts

avg: 150.85 pts

Acertos

72

avg: 161

Erros

100

avg: 30

Custo total

$0.01

avg: $3.32

Tempo médio de resposta

26.1s

avg: 16.4s

Tokens de saída

179K

avg: 427K

Tokens de raciocínio

0

avg: 310K

Confiança média

81.0%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
2
Erros
1
Sem resposta
0
Exatidão
66.7%
Média
90.5%
Anestesiologia e Reanimação
Acertos
2
Erros
0
Sem resposta
2
Exatidão
50.0%
Média
87.1%
Cardiologia
Acertos
4
Erros
15
Sem resposta
2
Exatidão
19.0%
Média
79.7%
Cuidados Paliativos
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
88.2%
Dermatologia
Acertos
5
Erros
7
Sem resposta
2
Exatidão
35.7%
Média
80.2%
Doenças Infecciosas
Acertos
10
Erros
10
Sem resposta
3
Exatidão
43.5%
Média
81.8%
Endocrinologia e Nutrição
Acertos
7
Erros
8
Sem resposta
4
Exatidão
36.8%
Média
84.2%
Epidemiologia
Acertos
3
Erros
3
Sem resposta
2
Exatidão
37.5%
Média
89.3%
Estatística
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
91.1%
Farmacologia
Acertos
8
Erros
8
Sem resposta
7
Exatidão
34.8%
Média
85.4%
Gastrenterologia
Acertos
9
Erros
11
Sem resposta
2
Exatidão
40.9%
Média
70.5%
Genética
Acertos
3
Erros
3
Sem resposta
1
Exatidão
42.9%
Média
86.5%
Geriatria
Acertos
5
Erros
4
Sem resposta
1
Exatidão
50.0%
Média
86.9%
Ginecologia e Obstetrícia
Acertos
2
Erros
9
Sem resposta
3
Exatidão
14.3%
Média
81.2%
Hematologia
Acertos
5
Erros
7
Sem resposta
1
Exatidão
38.5%
Média
81.5%
Imunologia
Acertos
3
Erros
5
Sem resposta
0
Exatidão
37.5%
Média
89.1%
Medicina Legal e Bioética
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
91.7%
Nefrologia
Acertos
5
Erros
6
Sem resposta
2
Exatidão
38.5%
Média
80.8%
Neurologia
Acertos
12
Erros
9
Sem resposta
1
Exatidão
54.5%
Média
83.7%
Oftalmologia
Acertos
4
Erros
0
Sem resposta
1
Exatidão
80.0%
Média
80.0%
Oncologia Médica
Acertos
8
Erros
12
Sem resposta
1
Exatidão
38.1%
Média
80.2%
ORL
Acertos
3
Erros
3
Sem resposta
1
Exatidão
42.9%
Média
74.4%
Pediatria
Acertos
6
Erros
9
Sem resposta
2
Exatidão
35.3%
Média
82.0%
Planeamento e Gestão em Saúde
Acertos
0
Erros
2
Sem resposta
0
Exatidão
0.0%
Média
73.2%
Pneumologia
Acertos
6
Erros
11
Sem resposta
2
Exatidão
31.6%
Média
80.6%
Psiquiatria
Acertos
3
Erros
5
Sem resposta
2
Exatidão
30.0%
Média
89.5%
Radiologia-Urgências
Acertos
4
Erros
9
Sem resposta
1
Exatidão
28.6%
Média
64.9%
Reumatologia
Acertos
6
Erros
7
Sem resposta
1
Exatidão
42.9%
Média
81.4%
Traumatologia
Acertos
3
Erros
9
Sem resposta
3
Exatidão
20.0%
Média
74.5%
Urologia
Acertos
3
Erros
3
Sem resposta
0
Exatidão
50.0%
Média
78.2%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
3
Erros
2
Sem resposta
1
Exatidão
50.0%
Média
79.8%
Bioestatística
Acertos
1
Erros
3
Sem resposta
1
Exatidão
20.0%
Média
90.7%
Diagnóstico
Acertos
27
Erros
36
Sem resposta
10
Exatidão
37.0%
Média
79.2%
Epidemiologia
Acertos
2
Erros
7
Sem resposta
3
Exatidão
16.7%
Média
81.2%
Ética
Acertos
1
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
94.5%
Exames
Acertos
9
Erros
10
Sem resposta
2
Exatidão
42.9%
Média
73.9%
Farmacologia
Acertos
11
Erros
10
Sem resposta
4
Exatidão
44.0%
Média
84.0%
Fisiopatologia
Acertos
12
Erros
20
Sem resposta
1
Exatidão
36.4%
Média
85.4%
Interpretação
Acertos
13
Erros
19
Sem resposta
5
Exatidão
35.1%
Média
69.6%
Prevenção
Acertos
7
Erros
4
Sem resposta
1
Exatidão
58.3%
Média
89.8%
Prognóstico
Acertos
1
Erros
5
Sem resposta
1
Exatidão
14.3%
Média
83.9%
Risco
Acertos
5
Erros
5
Sem resposta
3
Exatidão
38.5%
Média
83.6%
Tratamento
Acertos
23
Erros
34
Sem resposta
14
Exatidão
32.4%
Média
81.3%
#RespostaCorretaEstado
1AB
2BD
3BB
4AC
5BC
6BB
7DD
8CC
9AA
10BD
11AD
12BA
13C
14A
15CB
16AA
17C
18AA
19AB
20DC
21CD
22B
23AA
24AA
25AC
26BB
27AC
28AA
29BB
30DC
31CD
32BA
33BC
34DB
35BD
36BD
37AA
38CA
39CC
40B
41BC
42AD
43CA
44BD
45BD
46BB
47C
48CC
49BB
50CC
51AA
52CD
53CC
54B
55AC
56AD
57DA
58A
59AA
60AA
61AA
62CD
63D
64Anulada
65D
66AC
67B
68AAnulada
69A
70BB
71AB
72DD
73B
74BC
75BB
76DA
77BD
78CC
79CB
80AA
81DC
82BC
83B
84CC
85BA
86AA
87DB
88DD
89AB
90AA
91DD
92AA
93BC
94BB
95BD
96B
97B
98B
99AA
100CB
101A
102BD
103AB
104BD
105DB
106AC
107CC
108BB
109AD
110BD
111AB
112BC
113BAnulada
114BD
115DD
116CA
117D
118BD
119AA
120CC
121AA
122DB
123AD
124BD
125B
126BD
127DA
128BB
129DD
130C
131BC
132AD
133AA
134BC
135AA
136AD
137AA
138AC
139CA
140CC
141BB
142DC
143AA
144D
145AC
146BC
147CC
148AA
149AC
150CD
151AA
152DA
153DC
154BB
155CD
156BC
157DC
158DD
159DD
160AB
161DB
162DB
163BB
164B
165CA
166CC
167DA
168CB
169CC
170AA
171D
172BB
173AA
174B
175AA
176DC
177C
178DB
179DC
180BAnulada
181CB
182DD
183CC
184CA
185CC
186BD
187DA
188C
189AD
190D
191BB
192DB
193CC
194AC
195CC
196DB
197CA
198BB
199CD
200BA
201BB
202AD
203CB
204DD
205DD
206Anulada
207DA
208A
209B
210AD