MedicalBenchmark
Meta: Llama 3.2 1B Instruct provider

Llama 3.2 1B Instruct

317

#317 de 320 models — MIR 2024

Puntuació neta

7.33 pts

Certesa

14.5%

Correctes / Incorrectes

29 / 65

Cost total

$0.02

Rendiment General

(vs. mitjana)
Certesa

14.5%

avg: 81.3%

Puntuació neta

7.33 pts

avg: 153.08 pts

Encerts

29

avg: 163

Errors

65

avg: 29

Cost total

$0.02

avg: $3.09

Temps mitjà de resposta

3.6s

avg: 17.7s

Tokens eixints

101K

avg: 414K

Tokens de raonament

0

avg: 296K

Confiança mitjana

47.8%

avg: 95.7%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
90.8%
Anestesiologia i Reanimació
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
87.7%
Cardiologia
Encerts
1
Errors
11
No contestades
9
Certesa
4.8%
Mitjana
80.4%
Cures Pal·liatives
Encerts
1
Errors
1
No contestades
2
Certesa
25.0%
Mitjana
88.6%
Dermatologia
Encerts
2
Errors
5
No contestades
7
Certesa
14.3%
Mitjana
81.0%
Endocrinologia i Nutrició
Encerts
5
Errors
9
No contestades
5
Certesa
26.3%
Mitjana
85.1%
Epidemiologia
Encerts
3
Errors
1
No contestades
4
Certesa
37.5%
Mitjana
89.7%
Estadística
Encerts
1
Errors
0
No contestades
2
Certesa
33.3%
Mitjana
91.6%
Farmacologia
Encerts
4
Errors
10
No contestades
9
Certesa
17.4%
Mitjana
85.8%
Gastroenterologia
Encerts
1
Errors
6
No contestades
15
Certesa
4.5%
Mitjana
71.5%
Genètica
Encerts
1
Errors
2
No contestades
4
Certesa
14.3%
Mitjana
87.1%
Geriatria
Encerts
1
Errors
5
No contestades
4
Certesa
10.0%
Mitjana
87.7%
Ginecologia i Obstetrícia
Encerts
3
Errors
4
No contestades
7
Certesa
21.4%
Mitjana
82.0%
Hematologia
Encerts
2
Errors
4
No contestades
7
Certesa
15.4%
Mitjana
82.4%
Immunologia
Encerts
2
Errors
3
No contestades
3
Certesa
25.0%
Mitjana
89.7%
Malalties Infeccioses
Encerts
2
Errors
10
No contestades
11
Certesa
8.7%
Mitjana
82.5%
Medicina Legal i Bioètica
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
91.8%
Nefrologia
Encerts
1
Errors
6
No contestades
6
Certesa
7.7%
Mitjana
81.8%
Neurologia
Encerts
3
Errors
6
No contestades
13
Certesa
13.6%
Mitjana
84.5%
Oftalmologia
Encerts
1
Errors
1
No contestades
3
Certesa
20.0%
Mitjana
81.3%
Oncologia Mèdica
Encerts
6
Errors
5
No contestades
10
Certesa
28.6%
Mitjana
80.9%
ORL
Encerts
3
Errors
2
No contestades
2
Certesa
42.9%
Mitjana
75.1%
Pediatria
Encerts
3
Errors
1
No contestades
13
Certesa
17.6%
Mitjana
82.9%
Planificació i Gestió Sanitària
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
75.1%
Pneumologia
Encerts
2
Errors
6
No contestades
11
Certesa
10.5%
Mitjana
81.6%
Psiquiatria
Encerts
2
Errors
0
No contestades
8
Certesa
20.0%
Mitjana
90.0%
Radiologia-Urgències
Encerts
0
Errors
3
No contestades
11
Certesa
0.0%
Mitjana
66.0%
Reumatologia
Encerts
1
Errors
6
No contestades
7
Certesa
7.1%
Mitjana
82.4%
Traumatologia
Encerts
2
Errors
7
No contestades
6
Certesa
13.3%
Mitjana
75.4%
Urologia
Encerts
0
Errors
2
No contestades
4
Certesa
0.0%
Mitjana
79.0%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
2
Errors
4
No contestades
0
Certesa
33.3%
Mitjana
81.1%
Bioestadística
Encerts
1
Errors
0
No contestades
4
Certesa
20.0%
Mitjana
91.3%
Diagnòstic
Encerts
10
Errors
19
No contestades
44
Certesa
13.7%
Mitjana
80.0%
Epidemiologia
Encerts
3
Errors
3
No contestades
6
Certesa
25.0%
Mitjana
82.1%
Ètica
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
94.0%
Farmacologia
Encerts
3
Errors
11
No contestades
11
Certesa
12.0%
Mitjana
84.7%
Fisiopatologia
Encerts
8
Errors
12
No contestades
13
Certesa
24.2%
Mitjana
86.1%
Interpretació
Encerts
3
Errors
9
No contestades
25
Certesa
8.1%
Mitjana
70.5%
Prevenció
Encerts
3
Errors
5
No contestades
4
Certesa
25.0%
Mitjana
90.3%
Pronòstic
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
84.6%
Proves
Encerts
4
Errors
4
No contestades
13
Certesa
19.0%
Mitjana
75.0%
Risc
Encerts
0
Errors
4
No contestades
9
Certesa
0.0%
Mitjana
84.5%
Tractament
Encerts
10
Errors
27
No contestades
34
Certesa
14.1%
Mitjana
82.1%
#RespostaCorrectaEstat
1AB
2—D
3—B
4AC
5—C
6—B
7BD
8—C
9—A
10—D
11—D
12—A
13BC
14—A
15—B
16AA
17—C
18—A
19CB
20—C
21AD
22—B
23—A
24AA
25—C
26—B
27AC
28CA
29AB
30AC
31AD
32AA
33—C
34AB
35BD
36CD
37AA
38AA
39—C
40—B
41BC
42AD
43CA
44—D
45—D
46BB
47—C
48CC
49CB
50—C
51AA
52—D
53—C
54—B
55AC
56DD
57DA
58CA
59—A
60AA
61AA
62—D
63—D
64C—Anul·lada
65—D
66BC
67—B
68——Anul·lada
69—A
70DB
71BB
72—D
73—B
74—C
75AB
76—A
77—D
78CC
79—B
80—A
81CC
82—C
83—B
84—C
85AA
86CA
87—B
88—D
89—B
90AA
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99AA
100CB
101BA
102AD
103BB
104—D
105—B
106—C
107—C
108—B
109—D
110BD
111AB
112DC
113B—Anul·lada
114—D
115—D
116DA
117—D
118—D
119—A
120—C
121—A
122AB
123BD
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131AC
132—D
133—A
134AC
135—A
136—D
137BA
138AC
139—A
140—C
141—B
142BC
143BA
144BD
145AC
146AC
147—C
148—A
149—C
150CD
151—A
152—A
153BC
154—B
155AD
156—C
157CC
158—D
159CD
160CB
161—B
162AB
163BB
164DB
165—A
166—C
167AA
168AB
169AC
170—A
171—D
172—B
173—A
174—B
175CA
176DC
177DC
178DB
179DC
180C—Anul·lada
181AB
182—D
183—C
184BA
185CC
186—D
187—A
188DC
189CD
190DD
191BB
192—B
193—C
194—C
195AC
196—B
197AA
198—B
199CD
200AA
201BB
202—D
203—B
204DD
205—D
206B—Anul·lada
207CA
208BA
209AB
210—D