MedicalBenchmark
Meta: Llama 3.2 1B Instruct provider

Llama 3.2 1B Instruct

289

#289 de 291 modelsMIR 2024

Puntuació neta

7.33 pts

Certesa

14.5%

Correctes / Incorrectes

29 / 65

Cost total

$0.02

Rendiment General

(vs. mitjana)
Certesa

14.5%

avg: 80.5%

Puntuació neta

7.33 pts

avg: 150.85 pts

Encerts

29

avg: 161

Errors

65

avg: 30

Cost total

$0.02

avg: $3.32

Temps mitjà de resposta

3.6s

avg: 16.4s

Tokens eixints

101K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

47.8%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
87.1%
Cardiologia
Encerts
1
Errors
11
No contestades
9
Certesa
4.8%
Mitjana
79.7%
Cures Pal·liatives
Encerts
1
Errors
1
No contestades
2
Certesa
25.0%
Mitjana
88.2%
Dermatologia
Encerts
2
Errors
5
No contestades
7
Certesa
14.3%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
5
Errors
9
No contestades
5
Certesa
26.3%
Mitjana
84.2%
Epidemiologia
Encerts
3
Errors
1
No contestades
4
Certesa
37.5%
Mitjana
89.3%
Estadística
Encerts
1
Errors
0
No contestades
2
Certesa
33.3%
Mitjana
91.1%
Farmacologia
Encerts
4
Errors
10
No contestades
9
Certesa
17.4%
Mitjana
85.4%
Gastroenterologia
Encerts
1
Errors
6
No contestades
15
Certesa
4.5%
Mitjana
70.5%
Genètica
Encerts
1
Errors
2
No contestades
4
Certesa
14.3%
Mitjana
86.5%
Geriatria
Encerts
1
Errors
5
No contestades
4
Certesa
10.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
3
Errors
4
No contestades
7
Certesa
21.4%
Mitjana
81.2%
Hematologia
Encerts
2
Errors
4
No contestades
7
Certesa
15.4%
Mitjana
81.5%
Immunologia
Encerts
2
Errors
3
No contestades
3
Certesa
25.0%
Mitjana
89.1%
Malalties Infeccioses
Encerts
2
Errors
10
No contestades
11
Certesa
8.7%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
91.7%
Nefrologia
Encerts
1
Errors
6
No contestades
6
Certesa
7.7%
Mitjana
80.8%
Neurologia
Encerts
3
Errors
6
No contestades
13
Certesa
13.6%
Mitjana
83.7%
Oftalmologia
Encerts
1
Errors
1
No contestades
3
Certesa
20.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
6
Errors
5
No contestades
10
Certesa
28.6%
Mitjana
80.2%
ORL
Encerts
3
Errors
2
No contestades
2
Certesa
42.9%
Mitjana
74.4%
Pediatria
Encerts
3
Errors
1
No contestades
13
Certesa
17.6%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
73.2%
Pneumologia
Encerts
2
Errors
6
No contestades
11
Certesa
10.5%
Mitjana
80.6%
Psiquiatria
Encerts
2
Errors
0
No contestades
8
Certesa
20.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
0
Errors
3
No contestades
11
Certesa
0.0%
Mitjana
64.9%
Reumatologia
Encerts
1
Errors
6
No contestades
7
Certesa
7.1%
Mitjana
81.4%
Traumatologia
Encerts
2
Errors
7
No contestades
6
Certesa
13.3%
Mitjana
74.5%
Urologia
Encerts
0
Errors
2
No contestades
4
Certesa
0.0%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
2
Errors
4
No contestades
0
Certesa
33.3%
Mitjana
79.8%
Bioestadística
Encerts
1
Errors
0
No contestades
4
Certesa
20.0%
Mitjana
90.7%
Diagnòstic
Encerts
10
Errors
19
No contestades
44
Certesa
13.7%
Mitjana
79.2%
Epidemiologia
Encerts
3
Errors
3
No contestades
6
Certesa
25.0%
Mitjana
81.2%
Ètica
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
94.5%
Farmacologia
Encerts
3
Errors
11
No contestades
11
Certesa
12.0%
Mitjana
84.0%
Fisiopatologia
Encerts
8
Errors
12
No contestades
13
Certesa
24.2%
Mitjana
85.4%
Interpretació
Encerts
3
Errors
9
No contestades
25
Certesa
8.1%
Mitjana
69.6%
Prevenció
Encerts
3
Errors
5
No contestades
4
Certesa
25.0%
Mitjana
89.8%
Pronòstic
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
83.9%
Proves
Encerts
4
Errors
4
No contestades
13
Certesa
19.0%
Mitjana
73.9%
Risc
Encerts
0
Errors
4
No contestades
9
Certesa
0.0%
Mitjana
83.6%
Tractament
Encerts
10
Errors
27
No contestades
34
Certesa
14.1%
Mitjana
81.3%
#RespostaCorrectaEstat
1AB
2D
3B
4AC
5C
6B
7BD
8C
9A
10D
11D
12A
13BC
14A
15B
16AA
17C
18A
19CB
20C
21AD
22B
23A
24AA
25C
26B
27AC
28CA
29AB
30AC
31AD
32AA
33C
34AB
35BD
36CD
37AA
38AA
39C
40B
41BC
42AD
43CA
44D
45D
46BB
47C
48CC
49CB
50C
51AA
52D
53C
54B
55AC
56DD
57DA
58CA
59A
60AA
61AA
62D
63D
64CAnul·lada
65D
66BC
67B
68Anul·lada
69A
70DB
71BB
72D
73B
74C
75AB
76A
77D
78CC
79B
80A
81CC
82C
83B
84C
85AA
86CA
87B
88D
89B
90AA
91D
92A
93C
94B
95CD
96B
97B
98B
99AA
100CB
101BA
102AD
103BB
104D
105B
106C
107C
108B
109D
110BD
111AB
112DC
113BAnul·lada
114D
115D
116DA
117D
118D
119A
120C
121A
122AB
123BD
124DD
125B
126AD
127A
128B
129D
130C
131AC
132D
133A
134AC
135A
136D
137BA
138AC
139A
140C
141B
142BC
143BA
144BD
145AC
146AC
147C
148A
149C
150CD
151A
152A
153BC
154B
155AD
156C
157CC
158D
159CD
160CB
161B
162AB
163BB
164DB
165A
166C
167AA
168AB
169AC
170A
171D
172B
173A
174B
175CA
176DC
177DC
178DB
179DC
180CAnul·lada
181AB
182D
183C
184BA
185CC
186D
187A
188DC
189CD
190DD
191BB
192B
193C
194C
195AC
196B
197AA
198B
199CD
200AA
201BB
202D
203B
204DD
205D
206BAnul·lada
207CA
208BA
209AB
210D