MedicalBenchmark
Meta: Llama 3.2 11B Vision Instruct provider

Llama 3.2 11B Vision Instruct

274

#274 de 291 modelsMIR 2024

Puntuació neta

44.66 pts

Certesa

30.5%

Correctes / Incorrectes

61 / 49

Cost total

$0.04

Rendiment General

(vs. mitjana)
Certesa

30.5%

avg: 80.5%

Puntuació neta

44.66 pts

avg: 150.85 pts

Encerts

61

avg: 161

Errors

49

avg: 30

Cost total

$0.04

avg: $3.32

Temps mitjà de resposta

53.9s

avg: 16.4s

Tokens eixints

207K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

57.2%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
0
No contestades
3
Certesa
0.0%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
3
Errors
1
No contestades
0
Certesa
75.0%
Mitjana
87.1%
Cardiologia
Encerts
6
Errors
5
No contestades
10
Certesa
28.6%
Mitjana
79.7%
Cures Pal·liatives
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
88.2%
Dermatologia
Encerts
7
Errors
4
No contestades
3
Certesa
50.0%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
8
Errors
5
No contestades
6
Certesa
42.1%
Mitjana
84.2%
Epidemiologia
Encerts
3
Errors
2
No contestades
3
Certesa
37.5%
Mitjana
89.3%
Estadística
Encerts
1
Errors
1
No contestades
1
Certesa
33.3%
Mitjana
91.1%
Farmacologia
Encerts
9
Errors
7
No contestades
7
Certesa
39.1%
Mitjana
85.4%
Gastroenterologia
Encerts
3
Errors
5
No contestades
14
Certesa
13.6%
Mitjana
70.5%
Genètica
Encerts
3
Errors
1
No contestades
3
Certesa
42.9%
Mitjana
86.5%
Geriatria
Encerts
5
Errors
0
No contestades
5
Certesa
50.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
2
Errors
5
No contestades
7
Certesa
14.3%
Mitjana
81.2%
Hematologia
Encerts
3
Errors
2
No contestades
8
Certesa
23.1%
Mitjana
81.5%
Immunologia
Encerts
3
Errors
2
No contestades
3
Certesa
37.5%
Mitjana
89.1%
Malalties Infeccioses
Encerts
6
Errors
7
No contestades
10
Certesa
26.1%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
1
Errors
0
No contestades
1
Certesa
50.0%
Mitjana
91.7%
Nefrologia
Encerts
4
Errors
2
No contestades
7
Certesa
30.8%
Mitjana
80.8%
Neurologia
Encerts
9
Errors
4
No contestades
9
Certesa
40.9%
Mitjana
83.7%
Oftalmologia
Encerts
3
Errors
0
No contestades
2
Certesa
60.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
4
Errors
7
No contestades
10
Certesa
19.0%
Mitjana
80.2%
ORL
Encerts
2
Errors
2
No contestades
3
Certesa
28.6%
Mitjana
74.4%
Pediatria
Encerts
1
Errors
7
No contestades
9
Certesa
5.9%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
1
Errors
0
No contestades
1
Certesa
50.0%
Mitjana
73.2%
Pneumologia
Encerts
4
Errors
0
No contestades
15
Certesa
21.1%
Mitjana
80.6%
Psiquiatria
Encerts
5
Errors
1
No contestades
4
Certesa
50.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
4
Errors
6
No contestades
4
Certesa
28.6%
Mitjana
64.9%
Reumatologia
Encerts
7
Errors
0
No contestades
7
Certesa
50.0%
Mitjana
81.4%
Traumatologia
Encerts
2
Errors
4
No contestades
9
Certesa
13.3%
Mitjana
74.5%
Urologia
Encerts
0
Errors
3
No contestades
3
Certesa
0.0%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
2
Errors
1
No contestades
3
Certesa
33.3%
Mitjana
79.8%
Bioestadística
Encerts
3
Errors
1
No contestades
1
Certesa
60.0%
Mitjana
90.7%
Diagnòstic
Encerts
24
Errors
17
No contestades
32
Certesa
32.9%
Mitjana
79.2%
Epidemiologia
Encerts
3
Errors
3
No contestades
6
Certesa
25.0%
Mitjana
81.2%
Ètica
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
94.5%
Farmacologia
Encerts
9
Errors
5
No contestades
11
Certesa
36.0%
Mitjana
84.0%
Fisiopatologia
Encerts
11
Errors
9
No contestades
13
Certesa
33.3%
Mitjana
85.4%
Interpretació
Encerts
12
Errors
12
No contestades
13
Certesa
32.4%
Mitjana
69.6%
Prevenció
Encerts
6
Errors
1
No contestades
5
Certesa
50.0%
Mitjana
89.8%
Pronòstic
Encerts
2
Errors
2
No contestades
3
Certesa
28.6%
Mitjana
83.9%
Proves
Encerts
5
Errors
8
No contestades
8
Certesa
23.8%
Mitjana
73.9%
Risc
Encerts
5
Errors
1
No contestades
7
Certesa
38.5%
Mitjana
83.6%
Tractament
Encerts
17
Errors
19
No contestades
35
Certesa
23.9%
Mitjana
81.3%
#RespostaCorrectaEstat
1BB
2D
3BB
4AC
5BC
6BB
7DD
8CC
9CA
10D
11AD
12BA
13BC
14A
15BB
16BA
17CC
18A
19AB
20CC
21AD
22B
23AA
24DA
25CC
26B
27DC
28A
29B
30C
31DD
32A
33C
34CB
35DD
36DD
37CA
38DA
39C
40B
41BC
42D
43AA
44AD
45D
46BB
47CC
48CC
49CB
50CC
51CA
52DD
53BC
54BB
55AC
56D
57CA
58A
59A
60AA
61A
62D
63DD
64BAnul·lada
65D
66C
67B
68BAnul·lada
69AA
70CB
71CB
72DD
73CB
74C
75B
76A
77BD
78DC
79CB
80AA
81DC
82CC
83B
84CC
85A
86A
87DB
88D
89BB
90AA
91D
92DA
93C
94B
95CD
96BB
97B
98B
99BA
100B
101A
102DD
103B
104CD
105B
106BC
107CC
108BB
109D
110D
111BB
112C
113Anul·lada
114DD
115DD
116A
117CD
118D
119A
120C
121A
122B
123D
124D
125BB
126D
127A
128B
129DD
130C
131AC
132D
133A
134C
135DA
136D
137A
138C
139AA
140CC
141B
142CC
143A
144D
145C
146C
147DC
148A
149C
150D
151A
152A
153BC
154BB
155D
156CC
157CC
158DD
159D
160B
161BB
162B
163B
164DB
165CA
166CC
167A
168BB
169CC
170CA
171CD
172BB
173A
174B
175AA
176CC
177C
178B
179CC
180Anul·lada
181B
182D
183C
184A
185C
186DD
187DA
188C
189BD
190DD
191B
192BB
193CC
194AC
195CC
196B
197DA
198B
199CD
200AA
201BB
202D
203CB
204DD
205AD
206Anul·lada
207A
208BA
209AB
210AD