MedicalBenchmark
Meta: Llama 3.2 11B Vision Instruct provider

Llama 3.2 11B Vision Instruct

302

#302 de 320 models — MIR 2024

Puntuació neta

44.66 pts

Certesa

30.5%

Correctes / Incorrectes

61 / 49

Cost total

$0.04

Rendiment General

(vs. mitjana)
Certesa

30.5%

avg: 81.3%

Puntuació neta

44.66 pts

avg: 153.08 pts

Encerts

61

avg: 163

Errors

49

avg: 29

Cost total

$0.04

avg: $3.09

Temps mitjà de resposta

53.9s

avg: 17.7s

Tokens eixints

207K

avg: 414K

Tokens de raonament

0

avg: 296K

Confiança mitjana

57.2%

avg: 95.7%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
0
No contestades
3
Certesa
0.0%
Mitjana
90.8%
Anestesiologia i Reanimació
Encerts
3
Errors
1
No contestades
0
Certesa
75.0%
Mitjana
87.7%
Cardiologia
Encerts
6
Errors
5
No contestades
10
Certesa
28.6%
Mitjana
80.4%
Cures Pal·liatives
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
88.6%
Dermatologia
Encerts
7
Errors
4
No contestades
3
Certesa
50.0%
Mitjana
81.0%
Endocrinologia i Nutrició
Encerts
8
Errors
5
No contestades
6
Certesa
42.1%
Mitjana
85.1%
Epidemiologia
Encerts
3
Errors
2
No contestades
3
Certesa
37.5%
Mitjana
89.7%
Estadística
Encerts
1
Errors
1
No contestades
1
Certesa
33.3%
Mitjana
91.6%
Farmacologia
Encerts
9
Errors
7
No contestades
7
Certesa
39.1%
Mitjana
85.8%
Gastroenterologia
Encerts
3
Errors
5
No contestades
14
Certesa
13.6%
Mitjana
71.5%
Genètica
Encerts
3
Errors
1
No contestades
3
Certesa
42.9%
Mitjana
87.1%
Geriatria
Encerts
5
Errors
0
No contestades
5
Certesa
50.0%
Mitjana
87.7%
Ginecologia i Obstetrícia
Encerts
2
Errors
5
No contestades
7
Certesa
14.3%
Mitjana
82.0%
Hematologia
Encerts
3
Errors
2
No contestades
8
Certesa
23.1%
Mitjana
82.4%
Immunologia
Encerts
3
Errors
2
No contestades
3
Certesa
37.5%
Mitjana
89.7%
Malalties Infeccioses
Encerts
6
Errors
7
No contestades
10
Certesa
26.1%
Mitjana
82.5%
Medicina Legal i Bioètica
Encerts
1
Errors
0
No contestades
1
Certesa
50.0%
Mitjana
91.8%
Nefrologia
Encerts
4
Errors
2
No contestades
7
Certesa
30.8%
Mitjana
81.8%
Neurologia
Encerts
9
Errors
4
No contestades
9
Certesa
40.9%
Mitjana
84.5%
Oftalmologia
Encerts
3
Errors
0
No contestades
2
Certesa
60.0%
Mitjana
81.3%
Oncologia Mèdica
Encerts
4
Errors
7
No contestades
10
Certesa
19.0%
Mitjana
80.9%
ORL
Encerts
2
Errors
2
No contestades
3
Certesa
28.6%
Mitjana
75.1%
Pediatria
Encerts
1
Errors
7
No contestades
9
Certesa
5.9%
Mitjana
82.9%
Planificació i Gestió Sanitària
Encerts
1
Errors
0
No contestades
1
Certesa
50.0%
Mitjana
75.1%
Pneumologia
Encerts
4
Errors
0
No contestades
15
Certesa
21.1%
Mitjana
81.6%
Psiquiatria
Encerts
5
Errors
1
No contestades
4
Certesa
50.0%
Mitjana
90.0%
Radiologia-Urgències
Encerts
4
Errors
6
No contestades
4
Certesa
28.6%
Mitjana
66.0%
Reumatologia
Encerts
7
Errors
0
No contestades
7
Certesa
50.0%
Mitjana
82.4%
Traumatologia
Encerts
2
Errors
4
No contestades
9
Certesa
13.3%
Mitjana
75.4%
Urologia
Encerts
0
Errors
3
No contestades
3
Certesa
0.0%
Mitjana
79.0%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
2
Errors
1
No contestades
3
Certesa
33.3%
Mitjana
81.1%
Bioestadística
Encerts
3
Errors
1
No contestades
1
Certesa
60.0%
Mitjana
91.3%
Diagnòstic
Encerts
24
Errors
17
No contestades
32
Certesa
32.9%
Mitjana
80.0%
Epidemiologia
Encerts
3
Errors
3
No contestades
6
Certesa
25.0%
Mitjana
82.1%
Ètica
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
94.0%
Farmacologia
Encerts
9
Errors
5
No contestades
11
Certesa
36.0%
Mitjana
84.7%
Fisiopatologia
Encerts
11
Errors
9
No contestades
13
Certesa
33.3%
Mitjana
86.1%
Interpretació
Encerts
12
Errors
12
No contestades
13
Certesa
32.4%
Mitjana
70.5%
Prevenció
Encerts
6
Errors
1
No contestades
5
Certesa
50.0%
Mitjana
90.3%
Pronòstic
Encerts
2
Errors
2
No contestades
3
Certesa
28.6%
Mitjana
84.6%
Proves
Encerts
5
Errors
8
No contestades
8
Certesa
23.8%
Mitjana
75.0%
Risc
Encerts
5
Errors
1
No contestades
7
Certesa
38.5%
Mitjana
84.5%
Tractament
Encerts
17
Errors
19
No contestades
35
Certesa
23.9%
Mitjana
82.1%
#RespostaCorrectaEstat
1BB
2—D
3BB
4AC
5BC
6BB
7DD
8CC
9CA
10—D
11AD
12BA
13BC
14—A
15BB
16BA
17CC
18—A
19AB
20CC
21AD
22—B
23AA
24DA
25CC
26—B
27DC
28—A
29—B
30—C
31DD
32—A
33—C
34CB
35DD
36DD
37CA
38DA
39—C
40—B
41BC
42—D
43AA
44AD
45—D
46BB
47CC
48CC
49CB
50CC
51CA
52DD
53BC
54BB
55AC
56—D
57CA
58—A
59—A
60AA
61—A
62—D
63DD
64B—Anul·lada
65—D
66—C
67—B
68B—Anul·lada
69AA
70CB
71CB
72DD
73CB
74—C
75—B
76—A
77BD
78DC
79CB
80AA
81DC
82CC
83—B
84CC
85—A
86—A
87DB
88—D
89BB
90AA
91—D
92DA
93—C
94—B
95CD
96BB
97—B
98—B
99BA
100—B
101—A
102DD
103—B
104CD
105—B
106BC
107CC
108BB
109—D
110—D
111BB
112—C
113——Anul·lada
114DD
115DD
116—A
117CD
118—D
119—A
120—C
121—A
122—B
123—D
124—D
125BB
126—D
127—A
128—B
129DD
130—C
131AC
132—D
133—A
134—C
135DA
136—D
137—A
138—C
139AA
140CC
141—B
142CC
143—A
144—D
145—C
146—C
147DC
148—A
149—C
150—D
151—A
152—A
153BC
154BB
155—D
156CC
157CC
158DD
159—D
160—B
161BB
162—B
163—B
164DB
165CA
166CC
167—A
168BB
169CC
170CA
171CD
172BB
173—A
174—B
175AA
176CC
177—C
178—B
179CC
180——Anul·lada
181—B
182—D
183—C
184—A
185—C
186DD
187DA
188—C
189BD
190DD
191—B
192BB
193CC
194AC
195CC
196—B
197DA
198—B
199CD
200AA
201BB
202—D
203CB
204DD
205AD
206——Anul·lada
207—A
208BA
209AB
210AD