MedicalBenchmark
Meta: Llama 3.2 11B Vision Instruct provider

Llama 3.2 11B Vision Instruct

302

#302 de 320 modelos — MIR 2024

Puntuación neta

44.66 pts

Certeza

30.5%

Correctas / Incorrectas

61 / 49

Custo total

$0.04

Rendemento Xeral

(vs. media)
Certeza

30.5%

avg: 81.3%

Puntuación neta

44.66 pts

avg: 153.08 pts

Acertos

61

avg: 163

Erros

49

avg: 29

Custo total

$0.04

avg: $3.09

Tempo promedio de resposta

53.9s

avg: 17.7s

Tokens saíntes

207K

avg: 414K

Tokens de razoamento

0

avg: 296K

Confianza promedia

57.2%

avg: 95.7%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
0
Non contestadas
3
Certeza
0.0%
Media
90.8%
Anestesioloxía e Reanimación
Acertos
3
Erros
1
Non contestadas
0
Certeza
75.0%
Media
87.7%
Cardioloxía
Acertos
6
Erros
5
Non contestadas
10
Certeza
28.6%
Media
80.4%
Coidados Paliativos
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
88.6%
Dermatoloxía
Acertos
7
Erros
4
Non contestadas
3
Certeza
50.0%
Media
81.0%
Endocrinoloxía e Nutrición
Acertos
8
Erros
5
Non contestadas
6
Certeza
42.1%
Media
85.1%
Enfermidades Infecciosas
Acertos
6
Erros
7
Non contestadas
10
Certeza
26.1%
Media
82.5%
Epidemioloxía
Acertos
3
Erros
2
Non contestadas
3
Certeza
37.5%
Media
89.7%
Estatística
Acertos
1
Erros
1
Non contestadas
1
Certeza
33.3%
Media
91.6%
Farmacoloxía
Acertos
9
Erros
7
Non contestadas
7
Certeza
39.1%
Media
85.8%
Gastroenteroloxía
Acertos
3
Erros
5
Non contestadas
14
Certeza
13.6%
Media
71.5%
Hematoloxía
Acertos
3
Erros
2
Non contestadas
8
Certeza
23.1%
Media
82.4%
Inmunoloxía
Acertos
3
Erros
2
Non contestadas
3
Certeza
37.5%
Media
89.7%
Medicina Legal e Bioética
Acertos
1
Erros
0
Non contestadas
1
Certeza
50.0%
Media
91.8%
Nefroloxía
Acertos
4
Erros
2
Non contestadas
7
Certeza
30.8%
Media
81.8%
Neuroloxía
Acertos
9
Erros
4
Non contestadas
9
Certeza
40.9%
Media
84.5%
Oftalmoloxía
Acertos
3
Erros
0
Non contestadas
2
Certeza
60.0%
Media
81.3%
Oncoloxía Médica
Acertos
4
Erros
7
Non contestadas
10
Certeza
19.0%
Media
80.9%
ORL
Acertos
2
Erros
2
Non contestadas
3
Certeza
28.6%
Media
75.1%
Pediatría
Acertos
1
Erros
7
Non contestadas
9
Certeza
5.9%
Media
82.9%
Planificación e Xestión Sanitaria
Acertos
1
Erros
0
Non contestadas
1
Certeza
50.0%
Media
75.1%
Pneumoloxía
Acertos
4
Erros
0
Non contestadas
15
Certeza
21.1%
Media
81.6%
Psiquiatría
Acertos
5
Erros
1
Non contestadas
4
Certeza
50.0%
Media
90.0%
Radioloxía-Urxencias
Acertos
4
Erros
6
Non contestadas
4
Certeza
28.6%
Media
66.0%
Reumatoloxía
Acertos
7
Erros
0
Non contestadas
7
Certeza
50.0%
Media
82.4%
Traumatoloxía
Acertos
2
Erros
4
Non contestadas
9
Certeza
13.3%
Media
75.4%
Uroloxía
Acertos
0
Erros
3
Non contestadas
3
Certeza
0.0%
Media
79.0%
Xenética
Acertos
3
Erros
1
Non contestadas
3
Certeza
42.9%
Media
87.1%
Xeriatría
Acertos
5
Erros
0
Non contestadas
5
Certeza
50.0%
Media
87.7%
Xinecoloxía e Obstetricia
Acertos
2
Erros
5
Non contestadas
7
Certeza
14.3%
Media
82.0%

Desglose por Tipo de Pregunta

Anatomía
Acertos
2
Erros
1
Non contestadas
3
Certeza
33.3%
Media
81.1%
Bioestatística
Acertos
3
Erros
1
Non contestadas
1
Certeza
60.0%
Media
91.3%
Diagnóstico
Acertos
24
Erros
17
Non contestadas
32
Certeza
32.9%
Media
80.0%
Epidemioloxía
Acertos
3
Erros
3
Non contestadas
6
Certeza
25.0%
Media
82.1%
Ética
Acertos
0
Erros
0
Non contestadas
1
Certeza
0.0%
Media
94.0%
Farmacoloxía
Acertos
9
Erros
5
Non contestadas
11
Certeza
36.0%
Media
84.7%
Fisiopatoloxía
Acertos
11
Erros
9
Non contestadas
13
Certeza
33.3%
Media
86.1%
Interpretación
Acertos
12
Erros
12
Non contestadas
13
Certeza
32.4%
Media
70.5%
Prevención
Acertos
6
Erros
1
Non contestadas
5
Certeza
50.0%
Media
90.3%
Probas
Acertos
5
Erros
8
Non contestadas
8
Certeza
23.8%
Media
75.0%
Prognóstico
Acertos
2
Erros
2
Non contestadas
3
Certeza
28.6%
Media
84.6%
Risco
Acertos
5
Erros
1
Non contestadas
7
Certeza
38.5%
Media
84.5%
Tratamento
Acertos
17
Erros
19
Non contestadas
35
Certeza
23.9%
Media
82.1%
#RespostaCorrectaEstado
1BB
2—D
3BB
4AC
5BC
6BB
7DD
8CC
9CA
10—D
11AD
12BA
13BC
14—A
15BB
16BA
17CC
18—A
19AB
20CC
21AD
22—B
23AA
24DA
25CC
26—B
27DC
28—A
29—B
30—C
31DD
32—A
33—C
34CB
35DD
36DD
37CA
38DA
39—C
40—B
41BC
42—D
43AA
44AD
45—D
46BB
47CC
48CC
49CB
50CC
51CA
52DD
53BC
54BB
55AC
56—D
57CA
58—A
59—A
60AA
61—A
62—D
63DD
64B—Anulada
65—D
66—C
67—B
68B—Anulada
69AA
70CB
71CB
72DD
73CB
74—C
75—B
76—A
77BD
78DC
79CB
80AA
81DC
82CC
83—B
84CC
85—A
86—A
87DB
88—D
89BB
90AA
91—D
92DA
93—C
94—B
95CD
96BB
97—B
98—B
99BA
100—B
101—A
102DD
103—B
104CD
105—B
106BC
107CC
108BB
109—D
110—D
111BB
112—C
113——Anulada
114DD
115DD
116—A
117CD
118—D
119—A
120—C
121—A
122—B
123—D
124—D
125BB
126—D
127—A
128—B
129DD
130—C
131AC
132—D
133—A
134—C
135DA
136—D
137—A
138—C
139AA
140CC
141—B
142CC
143—A
144—D
145—C
146—C
147DC
148—A
149—C
150—D
151—A
152—A
153BC
154BB
155—D
156CC
157CC
158DD
159—D
160—B
161BB
162—B
163—B
164DB
165CA
166CC
167—A
168BB
169CC
170CA
171CD
172BB
173—A
174—B
175AA
176CC
177—C
178—B
179CC
180——Anulada
181—B
182—D
183—C
184—A
185—C
186DD
187DA
188—C
189BD
190DD
191—B
192BB
193CC
194AC
195CC
196—B
197DA
198—B
199CD
200AA
201BB
202—D
203CB
204DD
205AD
206——Anulada
207—A
208BA
209AB
210AD