MedicalBenchmark
Meta: Llama 3.2 11B Vision Instruct provider

Llama 3.2 11B Vision Instruct

274

#274 de 291 modelosMIR 2024

Pontuação líquida

44.66 pts

Exatidão

30.5%

Corretas / Incorretas

61 / 49

Custo total

$0.04

Desempenho Geral

(vs. média)
Exatidão

30.5%

avg: 80.5%

Pontuação líquida

44.66 pts

avg: 150.85 pts

Acertos

61

avg: 161

Erros

49

avg: 30

Custo total

$0.04

avg: $3.32

Tempo médio de resposta

53.9s

avg: 16.4s

Tokens de saída

207K

avg: 427K

Tokens de raciocínio

0

avg: 310K

Confiança média

57.2%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
3
Exatidão
0.0%
Média
90.5%
Anestesiologia e Reanimação
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
87.1%
Cardiologia
Acertos
6
Erros
5
Sem resposta
10
Exatidão
28.6%
Média
79.7%
Cuidados Paliativos
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
88.2%
Dermatologia
Acertos
7
Erros
4
Sem resposta
3
Exatidão
50.0%
Média
80.2%
Doenças Infecciosas
Acertos
6
Erros
7
Sem resposta
10
Exatidão
26.1%
Média
81.8%
Endocrinologia e Nutrição
Acertos
8
Erros
5
Sem resposta
6
Exatidão
42.1%
Média
84.2%
Epidemiologia
Acertos
3
Erros
2
Sem resposta
3
Exatidão
37.5%
Média
89.3%
Estatística
Acertos
1
Erros
1
Sem resposta
1
Exatidão
33.3%
Média
91.1%
Farmacologia
Acertos
9
Erros
7
Sem resposta
7
Exatidão
39.1%
Média
85.4%
Gastrenterologia
Acertos
3
Erros
5
Sem resposta
14
Exatidão
13.6%
Média
70.5%
Genética
Acertos
3
Erros
1
Sem resposta
3
Exatidão
42.9%
Média
86.5%
Geriatria
Acertos
5
Erros
0
Sem resposta
5
Exatidão
50.0%
Média
86.9%
Ginecologia e Obstetrícia
Acertos
2
Erros
5
Sem resposta
7
Exatidão
14.3%
Média
81.2%
Hematologia
Acertos
3
Erros
2
Sem resposta
8
Exatidão
23.1%
Média
81.5%
Imunologia
Acertos
3
Erros
2
Sem resposta
3
Exatidão
37.5%
Média
89.1%
Medicina Legal e Bioética
Acertos
1
Erros
0
Sem resposta
1
Exatidão
50.0%
Média
91.7%
Nefrologia
Acertos
4
Erros
2
Sem resposta
7
Exatidão
30.8%
Média
80.8%
Neurologia
Acertos
9
Erros
4
Sem resposta
9
Exatidão
40.9%
Média
83.7%
Oftalmologia
Acertos
3
Erros
0
Sem resposta
2
Exatidão
60.0%
Média
80.0%
Oncologia Médica
Acertos
4
Erros
7
Sem resposta
10
Exatidão
19.0%
Média
80.2%
ORL
Acertos
2
Erros
2
Sem resposta
3
Exatidão
28.6%
Média
74.4%
Pediatria
Acertos
1
Erros
7
Sem resposta
9
Exatidão
5.9%
Média
82.0%
Planeamento e Gestão em Saúde
Acertos
1
Erros
0
Sem resposta
1
Exatidão
50.0%
Média
73.2%
Pneumologia
Acertos
4
Erros
0
Sem resposta
15
Exatidão
21.1%
Média
80.6%
Psiquiatria
Acertos
5
Erros
1
Sem resposta
4
Exatidão
50.0%
Média
89.5%
Radiologia-Urgências
Acertos
4
Erros
6
Sem resposta
4
Exatidão
28.6%
Média
64.9%
Reumatologia
Acertos
7
Erros
0
Sem resposta
7
Exatidão
50.0%
Média
81.4%
Traumatologia
Acertos
2
Erros
4
Sem resposta
9
Exatidão
13.3%
Média
74.5%
Urologia
Acertos
0
Erros
3
Sem resposta
3
Exatidão
0.0%
Média
78.2%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
2
Erros
1
Sem resposta
3
Exatidão
33.3%
Média
79.8%
Bioestatística
Acertos
3
Erros
1
Sem resposta
1
Exatidão
60.0%
Média
90.7%
Diagnóstico
Acertos
24
Erros
17
Sem resposta
32
Exatidão
32.9%
Média
79.2%
Epidemiologia
Acertos
3
Erros
3
Sem resposta
6
Exatidão
25.0%
Média
81.2%
Ética
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
94.5%
Exames
Acertos
5
Erros
8
Sem resposta
8
Exatidão
23.8%
Média
73.9%
Farmacologia
Acertos
9
Erros
5
Sem resposta
11
Exatidão
36.0%
Média
84.0%
Fisiopatologia
Acertos
11
Erros
9
Sem resposta
13
Exatidão
33.3%
Média
85.4%
Interpretação
Acertos
12
Erros
12
Sem resposta
13
Exatidão
32.4%
Média
69.6%
Prevenção
Acertos
6
Erros
1
Sem resposta
5
Exatidão
50.0%
Média
89.8%
Prognóstico
Acertos
2
Erros
2
Sem resposta
3
Exatidão
28.6%
Média
83.9%
Risco
Acertos
5
Erros
1
Sem resposta
7
Exatidão
38.5%
Média
83.6%
Tratamento
Acertos
17
Erros
19
Sem resposta
35
Exatidão
23.9%
Média
81.3%
#RespostaCorretaEstado
1BB
2D
3BB
4AC
5BC
6BB
7DD
8CC
9CA
10D
11AD
12BA
13BC
14A
15BB
16BA
17CC
18A
19AB
20CC
21AD
22B
23AA
24DA
25CC
26B
27DC
28A
29B
30C
31DD
32A
33C
34CB
35DD
36DD
37CA
38DA
39C
40B
41BC
42D
43AA
44AD
45D
46BB
47CC
48CC
49CB
50CC
51CA
52DD
53BC
54BB
55AC
56D
57CA
58A
59A
60AA
61A
62D
63DD
64BAnulada
65D
66C
67B
68BAnulada
69AA
70CB
71CB
72DD
73CB
74C
75B
76A
77BD
78DC
79CB
80AA
81DC
82CC
83B
84CC
85A
86A
87DB
88D
89BB
90AA
91D
92DA
93C
94B
95CD
96BB
97B
98B
99BA
100B
101A
102DD
103B
104CD
105B
106BC
107CC
108BB
109D
110D
111BB
112C
113Anulada
114DD
115DD
116A
117CD
118D
119A
120C
121A
122B
123D
124D
125BB
126D
127A
128B
129DD
130C
131AC
132D
133A
134C
135DA
136D
137A
138C
139AA
140CC
141B
142CC
143A
144D
145C
146C
147DC
148A
149C
150D
151A
152A
153BC
154BB
155D
156CC
157CC
158DD
159D
160B
161BB
162B
163B
164DB
165CA
166CC
167A
168BB
169CC
170CA
171CD
172BB
173A
174B
175AA
176CC
177C
178B
179CC
180Anulada
181B
182D
183C
184A
185C
186DD
187DA
188C
189BD
190DD
191B
192BB
193CC
194AC
195CC
196B
197DA
198B
199CD
200AA
201BB
202D
203CB
204DD
205AD
206Anulada
207A
208BA
209AB
210AD