MedicalBenchmark
Meta: Llama 3.2 1B Instruct provider

Llama 3.2 1B Instruct

317

#317 de 320 modelos — MIR 2024

Puntuación neta

7.33 pts

Certeza

14.5%

Correctas / Incorrectas

29 / 65

Custo total

$0.02

Rendemento Xeral

(vs. media)
Certeza

14.5%

avg: 81.3%

Puntuación neta

7.33 pts

avg: 153.08 pts

Acertos

29

avg: 163

Erros

65

avg: 29

Custo total

$0.02

avg: $3.09

Tempo promedio de resposta

3.6s

avg: 17.7s

Tokens saíntes

101K

avg: 414K

Tokens de razoamento

0

avg: 296K

Confianza promedia

47.8%

avg: 95.7%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
90.8%
Anestesioloxía e Reanimación
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
87.7%
Cardioloxía
Acertos
1
Erros
11
Non contestadas
9
Certeza
4.8%
Media
80.4%
Coidados Paliativos
Acertos
1
Erros
1
Non contestadas
2
Certeza
25.0%
Media
88.6%
Dermatoloxía
Acertos
2
Erros
5
Non contestadas
7
Certeza
14.3%
Media
81.0%
Endocrinoloxía e Nutrición
Acertos
5
Erros
9
Non contestadas
5
Certeza
26.3%
Media
85.1%
Enfermidades Infecciosas
Acertos
2
Erros
10
Non contestadas
11
Certeza
8.7%
Media
82.5%
Epidemioloxía
Acertos
3
Erros
1
Non contestadas
4
Certeza
37.5%
Media
89.7%
Estatística
Acertos
1
Erros
0
Non contestadas
2
Certeza
33.3%
Media
91.6%
Farmacoloxía
Acertos
4
Erros
10
Non contestadas
9
Certeza
17.4%
Media
85.8%
Gastroenteroloxía
Acertos
1
Erros
6
Non contestadas
15
Certeza
4.5%
Media
71.5%
Hematoloxía
Acertos
2
Erros
4
Non contestadas
7
Certeza
15.4%
Media
82.4%
Inmunoloxía
Acertos
2
Erros
3
Non contestadas
3
Certeza
25.0%
Media
89.7%
Medicina Legal e Bioética
Acertos
0
Erros
0
Non contestadas
2
Certeza
0.0%
Media
91.8%
Nefroloxía
Acertos
1
Erros
6
Non contestadas
6
Certeza
7.7%
Media
81.8%
Neuroloxía
Acertos
3
Erros
6
Non contestadas
13
Certeza
13.6%
Media
84.5%
Oftalmoloxía
Acertos
1
Erros
1
Non contestadas
3
Certeza
20.0%
Media
81.3%
Oncoloxía Médica
Acertos
6
Erros
5
Non contestadas
10
Certeza
28.6%
Media
80.9%
ORL
Acertos
3
Erros
2
Non contestadas
2
Certeza
42.9%
Media
75.1%
Pediatría
Acertos
3
Erros
1
Non contestadas
13
Certeza
17.6%
Media
82.9%
Planificación e Xestión Sanitaria
Acertos
0
Erros
1
Non contestadas
1
Certeza
0.0%
Media
75.1%
Pneumoloxía
Acertos
2
Erros
6
Non contestadas
11
Certeza
10.5%
Media
81.6%
Psiquiatría
Acertos
2
Erros
0
Non contestadas
8
Certeza
20.0%
Media
90.0%
Radioloxía-Urxencias
Acertos
0
Erros
3
Non contestadas
11
Certeza
0.0%
Media
66.0%
Reumatoloxía
Acertos
1
Erros
6
Non contestadas
7
Certeza
7.1%
Media
82.4%
Traumatoloxía
Acertos
2
Erros
7
Non contestadas
6
Certeza
13.3%
Media
75.4%
Uroloxía
Acertos
0
Erros
2
Non contestadas
4
Certeza
0.0%
Media
79.0%
Xenética
Acertos
1
Erros
2
Non contestadas
4
Certeza
14.3%
Media
87.1%
Xeriatría
Acertos
1
Erros
5
Non contestadas
4
Certeza
10.0%
Media
87.7%
Xinecoloxía e Obstetricia
Acertos
3
Erros
4
Non contestadas
7
Certeza
21.4%
Media
82.0%

Desglose por Tipo de Pregunta

Anatomía
Acertos
2
Erros
4
Non contestadas
0
Certeza
33.3%
Media
81.1%
Bioestatística
Acertos
1
Erros
0
Non contestadas
4
Certeza
20.0%
Media
91.3%
Diagnóstico
Acertos
10
Erros
19
Non contestadas
44
Certeza
13.7%
Media
80.0%
Epidemioloxía
Acertos
3
Erros
3
Non contestadas
6
Certeza
25.0%
Media
82.1%
Ética
Acertos
0
Erros
0
Non contestadas
1
Certeza
0.0%
Media
94.0%
Farmacoloxía
Acertos
3
Erros
11
Non contestadas
11
Certeza
12.0%
Media
84.7%
Fisiopatoloxía
Acertos
8
Erros
12
Non contestadas
13
Certeza
24.2%
Media
86.1%
Interpretación
Acertos
3
Erros
9
Non contestadas
25
Certeza
8.1%
Media
70.5%
Prevención
Acertos
3
Erros
5
Non contestadas
4
Certeza
25.0%
Media
90.3%
Probas
Acertos
4
Erros
4
Non contestadas
13
Certeza
19.0%
Media
75.0%
Prognóstico
Acertos
0
Erros
1
Non contestadas
6
Certeza
0.0%
Media
84.6%
Risco
Acertos
0
Erros
4
Non contestadas
9
Certeza
0.0%
Media
84.5%
Tratamento
Acertos
10
Erros
27
Non contestadas
34
Certeza
14.1%
Media
82.1%
#RespostaCorrectaEstado
1AB
2—D
3—B
4AC
5—C
6—B
7BD
8—C
9—A
10—D
11—D
12—A
13BC
14—A
15—B
16AA
17—C
18—A
19CB
20—C
21AD
22—B
23—A
24AA
25—C
26—B
27AC
28CA
29AB
30AC
31AD
32AA
33—C
34AB
35BD
36CD
37AA
38AA
39—C
40—B
41BC
42AD
43CA
44—D
45—D
46BB
47—C
48CC
49CB
50—C
51AA
52—D
53—C
54—B
55AC
56DD
57DA
58CA
59—A
60AA
61AA
62—D
63—D
64C—Anulada
65—D
66BC
67—B
68——Anulada
69—A
70DB
71BB
72—D
73—B
74—C
75AB
76—A
77—D
78CC
79—B
80—A
81CC
82—C
83—B
84—C
85AA
86CA
87—B
88—D
89—B
90AA
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99AA
100CB
101BA
102AD
103BB
104—D
105—B
106—C
107—C
108—B
109—D
110BD
111AB
112DC
113B—Anulada
114—D
115—D
116DA
117—D
118—D
119—A
120—C
121—A
122AB
123BD
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131AC
132—D
133—A
134AC
135—A
136—D
137BA
138AC
139—A
140—C
141—B
142BC
143BA
144BD
145AC
146AC
147—C
148—A
149—C
150CD
151—A
152—A
153BC
154—B
155AD
156—C
157CC
158—D
159CD
160CB
161—B
162AB
163BB
164DB
165—A
166—C
167AA
168AB
169AC
170—A
171—D
172—B
173—A
174—B
175CA
176DC
177DC
178DB
179DC
180C—Anulada
181AB
182—D
183—C
184BA
185CC
186—D
187—A
188DC
189CD
190DD
191BB
192—B
193—C
194—C
195AC
196—B
197AA
198—B
199CD
200AA
201BB
202—D
203—B
204DD
205—D
206B—Anulada
207CA
208BA
209AB
210—D