MedicalBenchmark
Meta: Llama 3.1 8B Instruct provider

Llama 3.1 8B Instruct

275

#275 de 291 modelsMIR 2024

Puntuació neta

44.00 pts

Certesa

37.0%

Correctes / Incorrectes

74 / 90

Cost total

$0.02

Rendiment General

(vs. mitjana)
Certesa

37.0%

avg: 80.5%

Puntuació neta

44.00 pts

avg: 150.85 pts

Encerts

74

avg: 161

Errors

90

avg: 30

Cost total

$0.02

avg: $3.32

Temps mitjà de resposta

20.8s

avg: 16.4s

Tokens eixints

258K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

81.6%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
3
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
4
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
87.1%
Cardiologia
Encerts
9
Errors
8
No contestades
4
Certesa
42.9%
Mitjana
79.7%
Cures Pal·liatives
Encerts
2
Errors
1
No contestades
1
Certesa
50.0%
Mitjana
88.2%
Dermatologia
Encerts
8
Errors
6
No contestades
0
Certesa
57.1%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
4
Errors
7
No contestades
8
Certesa
21.1%
Mitjana
84.2%
Epidemiologia
Encerts
5
Errors
3
No contestades
0
Certesa
62.5%
Mitjana
89.3%
Estadística
Encerts
1
Errors
2
No contestades
0
Certesa
33.3%
Mitjana
91.1%
Farmacologia
Encerts
11
Errors
8
No contestades
4
Certesa
47.8%
Mitjana
85.4%
Gastroenterologia
Encerts
10
Errors
10
No contestades
2
Certesa
45.5%
Mitjana
70.5%
Genètica
Encerts
3
Errors
4
No contestades
0
Certesa
42.9%
Mitjana
86.5%
Geriatria
Encerts
3
Errors
3
No contestades
4
Certesa
30.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
4
Errors
8
No contestades
2
Certesa
28.6%
Mitjana
81.2%
Hematologia
Encerts
3
Errors
6
No contestades
4
Certesa
23.1%
Mitjana
81.5%
Immunologia
Encerts
4
Errors
3
No contestades
1
Certesa
50.0%
Mitjana
89.1%
Malalties Infeccioses
Encerts
11
Errors
7
No contestades
5
Certesa
47.8%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
1
Errors
1
No contestades
0
Certesa
50.0%
Mitjana
91.7%
Nefrologia
Encerts
2
Errors
9
No contestades
2
Certesa
15.4%
Mitjana
80.8%
Neurologia
Encerts
6
Errors
10
No contestades
6
Certesa
27.3%
Mitjana
83.7%
Oftalmologia
Encerts
1
Errors
3
No contestades
1
Certesa
20.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
6
Errors
13
No contestades
2
Certesa
28.6%
Mitjana
80.2%
ORL
Encerts
3
Errors
4
No contestades
0
Certesa
42.9%
Mitjana
74.4%
Pediatria
Encerts
1
Errors
11
No contestades
5
Certesa
5.9%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
73.2%
Pneumologia
Encerts
8
Errors
5
No contestades
6
Certesa
42.1%
Mitjana
80.6%
Psiquiatria
Encerts
7
Errors
1
No contestades
2
Certesa
70.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
6
Errors
7
No contestades
1
Certesa
42.9%
Mitjana
64.9%
Reumatologia
Encerts
8
Errors
6
No contestades
0
Certesa
57.1%
Mitjana
81.4%
Traumatologia
Encerts
1
Errors
11
No contestades
3
Certesa
6.7%
Mitjana
74.5%
Urologia
Encerts
1
Errors
4
No contestades
1
Certesa
16.7%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
2
Errors
4
No contestades
0
Certesa
33.3%
Mitjana
79.8%
Bioestadística
Encerts
2
Errors
2
No contestades
1
Certesa
40.0%
Mitjana
90.7%
Diagnòstic
Encerts
26
Errors
30
No contestades
17
Certesa
35.6%
Mitjana
79.2%
Epidemiologia
Encerts
4
Errors
6
No contestades
2
Certesa
33.3%
Mitjana
81.2%
Ètica
Encerts
1
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
94.5%
Farmacologia
Encerts
12
Errors
9
No contestades
4
Certesa
48.0%
Mitjana
84.0%
Fisiopatologia
Encerts
13
Errors
16
No contestades
4
Certesa
39.4%
Mitjana
85.4%
Interpretació
Encerts
10
Errors
18
No contestades
9
Certesa
27.0%
Mitjana
69.6%
Prevenció
Encerts
6
Errors
2
No contestades
4
Certesa
50.0%
Mitjana
89.8%
Pronòstic
Encerts
5
Errors
2
No contestades
0
Certesa
71.4%
Mitjana
83.9%
Proves
Encerts
8
Errors
10
No contestades
3
Certesa
38.1%
Mitjana
73.9%
Risc
Encerts
8
Errors
4
No contestades
1
Certesa
61.5%
Mitjana
83.6%
Tractament
Encerts
22
Errors
36
No contestades
13
Certesa
31.0%
Mitjana
81.3%
#RespostaCorrectaEstat
1BB
2CD
3BB
4CC
5DC
6B
7DD
8C
9CA
10D
11DD
12A
13DC
14DA
15BB
16DA
17CC
18A
19DB
20C
21CD
22B
23AA
24CA
25CC
26BB
27AC
28BA
29DB
30CC
31DD
32CA
33AC
34CB
35DD
36AD
37AA
38BA
39CC
40CB
41BC
42DD
43CA
44AD
45AD
46BB
47CC
48CC
49BB
50C
51AA
52AD
53CC
54BB
55CC
56DD
57BA
58CA
59BA
60DA
61CA
62AD
63CD
64BAnul·lada
65D
66CC
67CB
68BAnul·lada
69AA
70BB
71CB
72BD
73BB
74C
75B
76DA
77D
78C
79CB
80CA
81BC
82BC
83BB
84CC
85AA
86AA
87B
88DD
89BB
90AA
91CD
92BA
93BC
94BB
95BD
96BB
97BB
98CB
99A
100AB
101BA
102DD
103B
104CD
105DB
106BC
107BC
108BB
109DD
110DD
111AB
112CC
113Anul·lada
114DD
115AD
116CA
117DD
118D
119CA
120CC
121AA
122B
123CD
124DD
125CB
126DD
127DA
128B
129BD
130C
131CC
132CD
133AA
134BC
135DA
136DD
137DA
138CC
139BA
140CC
141BB
142DC
143A
144CD
145DC
146BC
147CC
148BA
149CC
150DD
151CA
152A
153DC
154B
155BD
156BC
157DC
158BD
159DD
160CB
161B
162B
163DB
164AB
165A
166C
167CA
168CB
169CC
170CA
171DD
172BB
173BA
174BB
175A
176CC
177C
178AB
179CC
180AAnul·lada
181B
182DD
183C
184AA
185AC
186BD
187A
188C
189BD
190D
191BB
192B
193C
194DC
195CC
196DB
197DA
198BB
199CD
200DA
201BB
202DD
203CB
204DD
205BD
206BAnul·lada
207AA
208A
209B
210DD