MedicalBenchmark
Meta: Llama 3.1 8B Instruct provider

Llama 3.1 8B Instruct

275

#275 de 291 modelosMIR 2024

Puntuación neta

44.00 pts

Certeza

37.0%

Correctas / Incorrectas

74 / 90

Coste total

$0.02

Rendimiento General

(vs. media)
Certeza

37.0%

avg: 80.5%

Puntuación neta

44.00 pts

avg: 150.85 pts

Aciertos

74

avg: 161

Fallos

90

avg: 30

Coste total

$0.02

avg: $3.32

Tiempo promedio de respuesta

20.8s

avg: 16.4s

Tokens salientes

258K

avg: 427K

Tokens de razonamiento

0

avg: 310K

Confianza promedio

81.6%

avg: 95.4%

Desglose por Asignatura

Alergología
Aciertos
3
Fallos
0
Vacías
0
Certeza
100.0%
Media
90.5%
Anestesiología y Reanimación
Aciertos
4
Fallos
0
Vacías
0
Certeza
100.0%
Media
87.1%
Cardiología
Aciertos
9
Fallos
8
Vacías
4
Certeza
42.9%
Media
79.7%
Cuidados Paliativos
Aciertos
2
Fallos
1
Vacías
1
Certeza
50.0%
Media
88.2%
Dermatología
Aciertos
8
Fallos
6
Vacías
0
Certeza
57.1%
Media
80.2%
Endocrinología y Nutrición
Aciertos
4
Fallos
7
Vacías
8
Certeza
21.1%
Media
84.2%
Enfermedades Infecciosas
Aciertos
11
Fallos
7
Vacías
5
Certeza
47.8%
Media
81.8%
Epidemiología
Aciertos
5
Fallos
3
Vacías
0
Certeza
62.5%
Media
89.3%
Estadística
Aciertos
1
Fallos
2
Vacías
0
Certeza
33.3%
Media
91.1%
Farmacología
Aciertos
11
Fallos
8
Vacías
4
Certeza
47.8%
Media
85.4%
Gastroenterología
Aciertos
10
Fallos
10
Vacías
2
Certeza
45.5%
Media
70.5%
Genética
Aciertos
3
Fallos
4
Vacías
0
Certeza
42.9%
Media
86.5%
Geriatría
Aciertos
3
Fallos
3
Vacías
4
Certeza
30.0%
Media
86.9%
Ginecología y Obstetricia
Aciertos
4
Fallos
8
Vacías
2
Certeza
28.6%
Media
81.2%
Hematología
Aciertos
3
Fallos
6
Vacías
4
Certeza
23.1%
Media
81.5%
Inmunología
Aciertos
4
Fallos
3
Vacías
1
Certeza
50.0%
Media
89.1%
Medicina Legal y Bioética
Aciertos
1
Fallos
1
Vacías
0
Certeza
50.0%
Media
91.7%
Nefrología
Aciertos
2
Fallos
9
Vacías
2
Certeza
15.4%
Media
80.8%
Neumología
Aciertos
8
Fallos
5
Vacías
6
Certeza
42.1%
Media
80.6%
Neurología
Aciertos
6
Fallos
10
Vacías
6
Certeza
27.3%
Media
83.7%
Oftalmología
Aciertos
1
Fallos
3
Vacías
1
Certeza
20.0%
Media
80.0%
Oncología Médica
Aciertos
6
Fallos
13
Vacías
2
Certeza
28.6%
Media
80.2%
ORL
Aciertos
3
Fallos
4
Vacías
0
Certeza
42.9%
Media
74.4%
Pediatría
Aciertos
1
Fallos
11
Vacías
5
Certeza
5.9%
Media
82.0%
Planificación y Gestión Sanitaria
Aciertos
0
Fallos
1
Vacías
1
Certeza
0.0%
Media
73.2%
Psiquiatría
Aciertos
7
Fallos
1
Vacías
2
Certeza
70.0%
Media
89.5%
Radiología-Urgencias
Aciertos
6
Fallos
7
Vacías
1
Certeza
42.9%
Media
64.9%
Reumatología
Aciertos
8
Fallos
6
Vacías
0
Certeza
57.1%
Media
81.4%
Traumatología
Aciertos
1
Fallos
11
Vacías
3
Certeza
6.7%
Media
74.5%
Urología
Aciertos
1
Fallos
4
Vacías
1
Certeza
16.7%
Media
78.2%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
2
Fallos
4
Vacías
0
Certeza
33.3%
Media
79.8%
Bioestadística
Aciertos
2
Fallos
2
Vacías
1
Certeza
40.0%
Media
90.7%
Diagnóstico
Aciertos
26
Fallos
30
Vacías
17
Certeza
35.6%
Media
79.2%
Epidemiología
Aciertos
4
Fallos
6
Vacías
2
Certeza
33.3%
Media
81.2%
Ética
Aciertos
1
Fallos
0
Vacías
0
Certeza
100.0%
Media
94.5%
Farmacología
Aciertos
12
Fallos
9
Vacías
4
Certeza
48.0%
Media
84.0%
Fisiopatología
Aciertos
13
Fallos
16
Vacías
4
Certeza
39.4%
Media
85.4%
Interpretación
Aciertos
10
Fallos
18
Vacías
9
Certeza
27.0%
Media
69.6%
Prevención
Aciertos
6
Fallos
2
Vacías
4
Certeza
50.0%
Media
89.8%
Pronóstico
Aciertos
5
Fallos
2
Vacías
0
Certeza
71.4%
Media
83.9%
Pruebas
Aciertos
8
Fallos
10
Vacías
3
Certeza
38.1%
Media
73.9%
Riesgo
Aciertos
8
Fallos
4
Vacías
1
Certeza
61.5%
Media
83.6%
Tratamiento
Aciertos
22
Fallos
36
Vacías
13
Certeza
31.0%
Media
81.3%
#RespuestaCorrectaEstado
1BB
2CD
3BB
4CC
5DC
6B
7DD
8C
9CA
10D
11DD
12A
13DC
14DA
15BB
16DA
17CC
18A
19DB
20C
21CD
22B
23AA
24CA
25CC
26BB
27AC
28BA
29DB
30CC
31DD
32CA
33AC
34CB
35DD
36AD
37AA
38BA
39CC
40CB
41BC
42DD
43CA
44AD
45AD
46BB
47CC
48CC
49BB
50C
51AA
52AD
53CC
54BB
55CC
56DD
57BA
58CA
59BA
60DA
61CA
62AD
63CD
64BAnulada
65D
66CC
67CB
68BAnulada
69AA
70BB
71CB
72BD
73BB
74C
75B
76DA
77D
78C
79CB
80CA
81BC
82BC
83BB
84CC
85AA
86AA
87B
88DD
89BB
90AA
91CD
92BA
93BC
94BB
95BD
96BB
97BB
98CB
99A
100AB
101BA
102DD
103B
104CD
105DB
106BC
107BC
108BB
109DD
110DD
111AB
112CC
113Anulada
114DD
115AD
116CA
117DD
118D
119CA
120CC
121AA
122B
123CD
124DD
125CB
126DD
127DA
128B
129BD
130C
131CC
132CD
133AA
134BC
135DA
136DD
137DA
138CC
139BA
140CC
141BB
142DC
143A
144CD
145DC
146BC
147CC
148BA
149CC
150DD
151CA
152A
153DC
154B
155BD
156BC
157DC
158BD
159DD
160CB
161B
162B
163DB
164AB
165A
166C
167CA
168CB
169CC
170CA
171DD
172BB
173BA
174BB
175A
176CC
177C
178AB
179CC
180AAnulada
181B
182DD
183C
184AA
185AC
186BD
187A
188C
189BD
190D
191BB
192B
193C
194DC
195CC
196DB
197DA
198BB
199CD
200DA
201BB
202DD
203CB
204DD
205BD
206BAnulada
207AA
208A
209B
210DD