MedicalBenchmark
Meta: Llama 3.2 11B Vision Instruct provider

Llama 3.2 11B Vision Instruct

302

#302 de 320 modelos — MIR 2024

Pontuação líquida

44.66 pts

Exatidão

30.5%

Corretas / Incorretas

61 / 49

Custo total

$0.04

Desempenho Geral

(vs. média)
Exatidão

30.5%

avg: 81.3%

Pontuação líquida

44.66 pts

avg: 153.08 pts

Acertos

61

avg: 163

Erros

49

avg: 29

Custo total

$0.04

avg: $3.09

Tempo médio de resposta

53.9s

avg: 17.7s

Tokens de saída

207K

avg: 414K

Tokens de raciocínio

0

avg: 296K

Confiança média

57.2%

avg: 95.7%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
3
Exatidão
0.0%
Média
90.8%
Anestesiologia e Reanimação
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
87.7%
Cardiologia
Acertos
6
Erros
5
Sem resposta
10
Exatidão
28.6%
Média
80.4%
Cuidados Paliativos
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
88.6%
Dermatologia
Acertos
7
Erros
4
Sem resposta
3
Exatidão
50.0%
Média
81.0%
Doenças Infecciosas
Acertos
6
Erros
7
Sem resposta
10
Exatidão
26.1%
Média
82.5%
Endocrinologia e Nutrição
Acertos
8
Erros
5
Sem resposta
6
Exatidão
42.1%
Média
85.1%
Epidemiologia
Acertos
3
Erros
2
Sem resposta
3
Exatidão
37.5%
Média
89.7%
Estatística
Acertos
1
Erros
1
Sem resposta
1
Exatidão
33.3%
Média
91.6%
Farmacologia
Acertos
9
Erros
7
Sem resposta
7
Exatidão
39.1%
Média
85.8%
Gastrenterologia
Acertos
3
Erros
5
Sem resposta
14
Exatidão
13.6%
Média
71.5%
Genética
Acertos
3
Erros
1
Sem resposta
3
Exatidão
42.9%
Média
87.1%
Geriatria
Acertos
5
Erros
0
Sem resposta
5
Exatidão
50.0%
Média
87.7%
Ginecologia e Obstetrícia
Acertos
2
Erros
5
Sem resposta
7
Exatidão
14.3%
Média
82.0%
Hematologia
Acertos
3
Erros
2
Sem resposta
8
Exatidão
23.1%
Média
82.4%
Imunologia
Acertos
3
Erros
2
Sem resposta
3
Exatidão
37.5%
Média
89.7%
Medicina Legal e Bioética
Acertos
1
Erros
0
Sem resposta
1
Exatidão
50.0%
Média
91.8%
Nefrologia
Acertos
4
Erros
2
Sem resposta
7
Exatidão
30.8%
Média
81.8%
Neurologia
Acertos
9
Erros
4
Sem resposta
9
Exatidão
40.9%
Média
84.5%
Oftalmologia
Acertos
3
Erros
0
Sem resposta
2
Exatidão
60.0%
Média
81.3%
Oncologia Médica
Acertos
4
Erros
7
Sem resposta
10
Exatidão
19.0%
Média
80.9%
ORL
Acertos
2
Erros
2
Sem resposta
3
Exatidão
28.6%
Média
75.1%
Pediatria
Acertos
1
Erros
7
Sem resposta
9
Exatidão
5.9%
Média
82.9%
Planeamento e Gestão em Saúde
Acertos
1
Erros
0
Sem resposta
1
Exatidão
50.0%
Média
75.1%
Pneumologia
Acertos
4
Erros
0
Sem resposta
15
Exatidão
21.1%
Média
81.6%
Psiquiatria
Acertos
5
Erros
1
Sem resposta
4
Exatidão
50.0%
Média
90.0%
Radiologia-Urgências
Acertos
4
Erros
6
Sem resposta
4
Exatidão
28.6%
Média
66.0%
Reumatologia
Acertos
7
Erros
0
Sem resposta
7
Exatidão
50.0%
Média
82.4%
Traumatologia
Acertos
2
Erros
4
Sem resposta
9
Exatidão
13.3%
Média
75.4%
Urologia
Acertos
0
Erros
3
Sem resposta
3
Exatidão
0.0%
Média
79.0%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
2
Erros
1
Sem resposta
3
Exatidão
33.3%
Média
81.1%
Bioestatística
Acertos
3
Erros
1
Sem resposta
1
Exatidão
60.0%
Média
91.3%
Diagnóstico
Acertos
24
Erros
17
Sem resposta
32
Exatidão
32.9%
Média
80.0%
Epidemiologia
Acertos
3
Erros
3
Sem resposta
6
Exatidão
25.0%
Média
82.1%
Ética
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
94.0%
Exames
Acertos
5
Erros
8
Sem resposta
8
Exatidão
23.8%
Média
75.0%
Farmacologia
Acertos
9
Erros
5
Sem resposta
11
Exatidão
36.0%
Média
84.7%
Fisiopatologia
Acertos
11
Erros
9
Sem resposta
13
Exatidão
33.3%
Média
86.1%
Interpretação
Acertos
12
Erros
12
Sem resposta
13
Exatidão
32.4%
Média
70.5%
Prevenção
Acertos
6
Erros
1
Sem resposta
5
Exatidão
50.0%
Média
90.3%
Prognóstico
Acertos
2
Erros
2
Sem resposta
3
Exatidão
28.6%
Média
84.6%
Risco
Acertos
5
Erros
1
Sem resposta
7
Exatidão
38.5%
Média
84.5%
Tratamento
Acertos
17
Erros
19
Sem resposta
35
Exatidão
23.9%
Média
82.1%
#RespostaCorretaEstado
1BB
2—D
3BB
4AC
5BC
6BB
7DD
8CC
9CA
10—D
11AD
12BA
13BC
14—A
15BB
16BA
17CC
18—A
19AB
20CC
21AD
22—B
23AA
24DA
25CC
26—B
27DC
28—A
29—B
30—C
31DD
32—A
33—C
34CB
35DD
36DD
37CA
38DA
39—C
40—B
41BC
42—D
43AA
44AD
45—D
46BB
47CC
48CC
49CB
50CC
51CA
52DD
53BC
54BB
55AC
56—D
57CA
58—A
59—A
60AA
61—A
62—D
63DD
64B—Anulada
65—D
66—C
67—B
68B—Anulada
69AA
70CB
71CB
72DD
73CB
74—C
75—B
76—A
77BD
78DC
79CB
80AA
81DC
82CC
83—B
84CC
85—A
86—A
87DB
88—D
89BB
90AA
91—D
92DA
93—C
94—B
95CD
96BB
97—B
98—B
99BA
100—B
101—A
102DD
103—B
104CD
105—B
106BC
107CC
108BB
109—D
110—D
111BB
112—C
113——Anulada
114DD
115DD
116—A
117CD
118—D
119—A
120—C
121—A
122—B
123—D
124—D
125BB
126—D
127—A
128—B
129DD
130—C
131AC
132—D
133—A
134—C
135DA
136—D
137—A
138—C
139AA
140CC
141—B
142CC
143—A
144—D
145—C
146—C
147DC
148—A
149—C
150—D
151—A
152—A
153BC
154BB
155—D
156CC
157CC
158DD
159—D
160—B
161BB
162—B
163—B
164DB
165CA
166CC
167—A
168BB
169CC
170CA
171CD
172BB
173—A
174—B
175AA
176CC
177—C
178—B
179CC
180——Anulada
181—B
182—D
183—C
184—A
185—C
186DD
187DA
188—C
189BD
190DD
191—B
192BB
193CC
194AC
195CC
196—B
197DA
198—B
199CD
200AA
201BB
202—D
203CB
204DD
205AD
206——Anulada
207—A
208BA
209AB
210AD