MedicalBenchmark
Meta: Llama 3.1 8B Instruct provider

Llama 3.1 8B Instruct

275

#275 de 291 modelosMIR 2024

Puntuación neta

44.00 pts

Certeza

37.0%

Correctas / Incorrectas

74 / 90

Custo total

$0.02

Rendemento Xeral

(vs. media)
Certeza

37.0%

avg: 80.5%

Puntuación neta

44.00 pts

avg: 150.85 pts

Acertos

74

avg: 161

Erros

90

avg: 30

Custo total

$0.02

avg: $3.32

Tempo promedio de resposta

20.8s

avg: 16.4s

Tokens saíntes

258K

avg: 427K

Tokens de razoamento

0

avg: 310K

Confianza promedia

81.6%

avg: 95.4%

Desglose por Materia

Alerxoloxía
Acertos
3
Erros
0
Non contestadas
0
Certeza
100.0%
Media
90.5%
Anestesioloxía e Reanimación
Acertos
4
Erros
0
Non contestadas
0
Certeza
100.0%
Media
87.1%
Cardioloxía
Acertos
9
Erros
8
Non contestadas
4
Certeza
42.9%
Media
79.7%
Coidados Paliativos
Acertos
2
Erros
1
Non contestadas
1
Certeza
50.0%
Media
88.2%
Dermatoloxía
Acertos
8
Erros
6
Non contestadas
0
Certeza
57.1%
Media
80.2%
Endocrinoloxía e Nutrición
Acertos
4
Erros
7
Non contestadas
8
Certeza
21.1%
Media
84.2%
Enfermidades Infecciosas
Acertos
11
Erros
7
Non contestadas
5
Certeza
47.8%
Media
81.8%
Epidemioloxía
Acertos
5
Erros
3
Non contestadas
0
Certeza
62.5%
Media
89.3%
Estatística
Acertos
1
Erros
2
Non contestadas
0
Certeza
33.3%
Media
91.1%
Farmacoloxía
Acertos
11
Erros
8
Non contestadas
4
Certeza
47.8%
Media
85.4%
Gastroenteroloxía
Acertos
10
Erros
10
Non contestadas
2
Certeza
45.5%
Media
70.5%
Hematoloxía
Acertos
3
Erros
6
Non contestadas
4
Certeza
23.1%
Media
81.5%
Inmunoloxía
Acertos
4
Erros
3
Non contestadas
1
Certeza
50.0%
Media
89.1%
Medicina Legal e Bioética
Acertos
1
Erros
1
Non contestadas
0
Certeza
50.0%
Media
91.7%
Nefroloxía
Acertos
2
Erros
9
Non contestadas
2
Certeza
15.4%
Media
80.8%
Neuroloxía
Acertos
6
Erros
10
Non contestadas
6
Certeza
27.3%
Media
83.7%
Oftalmoloxía
Acertos
1
Erros
3
Non contestadas
1
Certeza
20.0%
Media
80.0%
Oncoloxía Médica
Acertos
6
Erros
13
Non contestadas
2
Certeza
28.6%
Media
80.2%
ORL
Acertos
3
Erros
4
Non contestadas
0
Certeza
42.9%
Media
74.4%
Pediatría
Acertos
1
Erros
11
Non contestadas
5
Certeza
5.9%
Media
82.0%
Planificación e Xestión Sanitaria
Acertos
0
Erros
1
Non contestadas
1
Certeza
0.0%
Media
73.2%
Pneumoloxía
Acertos
8
Erros
5
Non contestadas
6
Certeza
42.1%
Media
80.6%
Psiquiatría
Acertos
7
Erros
1
Non contestadas
2
Certeza
70.0%
Media
89.5%
Radioloxía-Urxencias
Acertos
6
Erros
7
Non contestadas
1
Certeza
42.9%
Media
64.9%
Reumatoloxía
Acertos
8
Erros
6
Non contestadas
0
Certeza
57.1%
Media
81.4%
Traumatoloxía
Acertos
1
Erros
11
Non contestadas
3
Certeza
6.7%
Media
74.5%
Uroloxía
Acertos
1
Erros
4
Non contestadas
1
Certeza
16.7%
Media
78.2%
Xenética
Acertos
3
Erros
4
Non contestadas
0
Certeza
42.9%
Media
86.5%
Xeriatría
Acertos
3
Erros
3
Non contestadas
4
Certeza
30.0%
Media
86.9%
Xinecoloxía e Obstetricia
Acertos
4
Erros
8
Non contestadas
2
Certeza
28.6%
Media
81.2%

Desglose por Tipo de Pregunta

Anatomía
Acertos
2
Erros
4
Non contestadas
0
Certeza
33.3%
Media
79.8%
Bioestatística
Acertos
2
Erros
2
Non contestadas
1
Certeza
40.0%
Media
90.7%
Diagnóstico
Acertos
26
Erros
30
Non contestadas
17
Certeza
35.6%
Media
79.2%
Epidemioloxía
Acertos
4
Erros
6
Non contestadas
2
Certeza
33.3%
Media
81.2%
Ética
Acertos
1
Erros
0
Non contestadas
0
Certeza
100.0%
Media
94.5%
Farmacoloxía
Acertos
12
Erros
9
Non contestadas
4
Certeza
48.0%
Media
84.0%
Fisiopatoloxía
Acertos
13
Erros
16
Non contestadas
4
Certeza
39.4%
Media
85.4%
Interpretación
Acertos
10
Erros
18
Non contestadas
9
Certeza
27.0%
Media
69.6%
Prevención
Acertos
6
Erros
2
Non contestadas
4
Certeza
50.0%
Media
89.8%
Probas
Acertos
8
Erros
10
Non contestadas
3
Certeza
38.1%
Media
73.9%
Prognóstico
Acertos
5
Erros
2
Non contestadas
0
Certeza
71.4%
Media
83.9%
Risco
Acertos
8
Erros
4
Non contestadas
1
Certeza
61.5%
Media
83.6%
Tratamento
Acertos
22
Erros
36
Non contestadas
13
Certeza
31.0%
Media
81.3%
#RespostaCorrectaEstado
1BB
2CD
3BB
4CC
5DC
6B
7DD
8C
9CA
10D
11DD
12A
13DC
14DA
15BB
16DA
17CC
18A
19DB
20C
21CD
22B
23AA
24CA
25CC
26BB
27AC
28BA
29DB
30CC
31DD
32CA
33AC
34CB
35DD
36AD
37AA
38BA
39CC
40CB
41BC
42DD
43CA
44AD
45AD
46BB
47CC
48CC
49BB
50C
51AA
52AD
53CC
54BB
55CC
56DD
57BA
58CA
59BA
60DA
61CA
62AD
63CD
64BAnulada
65D
66CC
67CB
68BAnulada
69AA
70BB
71CB
72BD
73BB
74C
75B
76DA
77D
78C
79CB
80CA
81BC
82BC
83BB
84CC
85AA
86AA
87B
88DD
89BB
90AA
91CD
92BA
93BC
94BB
95BD
96BB
97BB
98CB
99A
100AB
101BA
102DD
103B
104CD
105DB
106BC
107BC
108BB
109DD
110DD
111AB
112CC
113Anulada
114DD
115AD
116CA
117DD
118D
119CA
120CC
121AA
122B
123CD
124DD
125CB
126DD
127DA
128B
129BD
130C
131CC
132CD
133AA
134BC
135DA
136DD
137DA
138CC
139BA
140CC
141BB
142DC
143A
144CD
145DC
146BC
147CC
148BA
149CC
150DD
151CA
152A
153DC
154B
155BD
156BC
157DC
158BD
159DD
160CB
161B
162B
163DB
164AB
165A
166C
167CA
168CB
169CC
170CA
171DD
172BB
173BA
174BB
175A
176CC
177C
178AB
179CC
180AAnulada
181B
182DD
183C
184AA
185AC
186BD
187A
188C
189BD
190D
191BB
192B
193C
194DC
195CC
196DB
197DA
198BB
199CD
200DA
201BB
202DD
203CB
204DD
205BD
206BAnulada
207AA
208A
209B
210DD