MedicalBenchmark
Meta: Llama 3 8B Instruct provider

Llama 3 8B Instruct

272

#272 de 290 modelsMIR 2025

Puntuació neta

38.33 pts

Certesa

36.0%

Correctes / Incorrectes

72 / 101

Cost total

$0.01

Rendiment General

(vs. mitjana)
Certesa

36.0%

avg: 75.9%

Puntuació neta

38.33 pts

avg: 138.99 pts

Encerts

72

avg: 152

Errors

101

avg: 38

Cost total

$0.01

avg: $3.59

Temps mitjà de resposta

10.7s

avg: 18.1s

Tokens sortints

139K

avg: 443K

Tokens de raonament

0

avg: 320K

Confiança mitjana

86.7%

avg: 94.7%

Desglossament per Assignatura

Al·lergologia
Encerts
1
Errors
2
No contestades
1
Certesa
25.0%
Mitjana
86.9%
Anestesiologia i Reanimació
Encerts
3
Errors
3
No contestades
0
Certesa
50.0%
Mitjana
81.3%
Cardiologia
Encerts
8
Errors
12
No contestades
2
Certesa
36.4%
Mitjana
77.4%
Cures Pal·liatives
Encerts
0
Errors
4
No contestades
0
Certesa
0.0%
Mitjana
77.2%
Dermatologia
Encerts
5
Errors
7
No contestades
1
Certesa
38.5%
Mitjana
62.8%
Endocrinologia i Nutrició
Encerts
11
Errors
5
No contestades
0
Certesa
68.8%
Mitjana
82.5%
Epidemiologia
Encerts
1
Errors
4
No contestades
2
Certesa
14.3%
Mitjana
67.1%
Estadística
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
74.9%
Farmacologia
Encerts
7
Errors
9
No contestades
1
Certesa
41.2%
Mitjana
73.1%
Gastroenterologia
Encerts
6
Errors
10
No contestades
5
Certesa
28.6%
Mitjana
72.9%
Genètica
Encerts
3
Errors
3
No contestades
0
Certesa
50.0%
Mitjana
68.2%
Geriatria
Encerts
4
Errors
7
No contestades
0
Certesa
36.4%
Mitjana
71.2%
Ginecologia i Obstetrícia
Encerts
9
Errors
7
No contestades
3
Certesa
47.4%
Mitjana
85.9%
Hematologia
Encerts
9
Errors
2
No contestades
0
Certesa
81.8%
Mitjana
81.8%
Immunologia
Encerts
3
Errors
4
No contestades
2
Certesa
33.3%
Mitjana
82.5%
Malalties Infeccioses
Encerts
12
Errors
11
No contestades
5
Certesa
42.9%
Mitjana
71.1%
Medicina Legal i Bioètica
Encerts
1
Errors
4
No contestades
0
Certesa
20.0%
Mitjana
67.2%
Nefrologia
Encerts
9
Errors
5
No contestades
1
Certesa
60.0%
Mitjana
78.2%
Neurologia
Encerts
7
Errors
9
No contestades
4
Certesa
35.0%
Mitjana
76.2%
Oftalmologia
Encerts
1
Errors
2
No contestades
2
Certesa
20.0%
Mitjana
72.6%
Oncologia Mèdica
Encerts
10
Errors
12
No contestades
3
Certesa
40.0%
Mitjana
86.3%
ORL
Encerts
3
Errors
3
No contestades
2
Certesa
37.5%
Mitjana
73.8%
Pediatria
Encerts
9
Errors
13
No contestades
3
Certesa
36.0%
Mitjana
72.7%
Planificació i Gestió Sanitària
Encerts
1
Errors
1
No contestades
0
Certesa
50.0%
Mitjana
81.6%
Pneumologia
Encerts
2
Errors
10
No contestades
2
Certesa
14.3%
Mitjana
73.0%
Psiquiatria
Encerts
3
Errors
3
No contestades
2
Certesa
37.5%
Mitjana
82.0%
Radiologia-Urgències
Encerts
3
Errors
9
No contestades
2
Certesa
21.4%
Mitjana
67.9%
Reumatologia
Encerts
5
Errors
8
No contestades
1
Certesa
35.7%
Mitjana
74.6%
Traumatologia
Encerts
5
Errors
11
No contestades
2
Certesa
27.8%
Mitjana
78.2%
Urologia
Encerts
4
Errors
2
No contestades
1
Certesa
57.1%
Mitjana
79.5%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
3
Errors
2
No contestades
2
Certesa
42.9%
Mitjana
77.1%
Bioestadística
Encerts
1
Errors
1
No contestades
2
Certesa
25.0%
Mitjana
78.4%
Diagnòstic
Encerts
34
Errors
43
No contestades
12
Certesa
38.2%
Mitjana
77.9%
Epidemiologia
Encerts
1
Errors
2
No contestades
2
Certesa
20.0%
Mitjana
75.0%
Ètica
Encerts
1
Errors
2
No contestades
0
Certesa
33.3%
Mitjana
72.0%
Farmacologia
Encerts
6
Errors
5
No contestades
2
Certesa
46.2%
Mitjana
82.4%
Fisiopatologia
Encerts
9
Errors
14
No contestades
4
Certesa
33.3%
Mitjana
72.6%
Interpretació
Encerts
9
Errors
26
No contestades
7
Certesa
21.4%
Mitjana
69.3%
Legal
Encerts
1
Errors
3
No contestades
0
Certesa
25.0%
Mitjana
63.6%
Prevenció
Encerts
5
Errors
5
No contestades
2
Certesa
41.7%
Mitjana
74.5%
Pronòstic
Encerts
1
Errors
3
No contestades
2
Certesa
16.7%
Mitjana
77.8%
Proves
Encerts
13
Errors
10
No contestades
3
Certesa
50.0%
Mitjana
76.3%
Risc
Encerts
3
Errors
2
No contestades
0
Certesa
60.0%
Mitjana
84.3%
Tractament
Encerts
31
Errors
42
No contestades
9
Certesa
37.8%
Mitjana
75.2%
#RespostaCorrectaEstat
1CB
2BA
3CC
4AB
5AA
6C
7DC
8CA
9A
10AD
11CD
12D
13AB
14D
15D
16CB
17AB
18CA
19CC
20DA
21CB
22CD
23AC
24D
25CC
26AAnul·lada
27DC
28DAnul·lada
29CD
30BB
31BD
32A
33DD
34AD
35B
36DD
37CC
38BC
39CD
40A
41D
42CC
43AB
44DD
45CD
46AA
47AA
48AA
49BD
50BB
51CC
52B
53D
54DB
55CA
56CAnul·lada
57CC
58BB
59DD
60BA
61CA
62DD
63CB
64DD
65BA
66AA
67BB
68CB
69AB
70A
71AD
72CA
73D
74DC
75AA
76BB
77BB
78BB
79AC
80CC
81CC
82D
83B
84BD
85DC
86BC
87AA
88CD
89BB
90DA
91DB
92AC
93BB
94C
95DA
96DC
97AD
98AC
99CA
100BC
101CB
102BD
103BA
104CC
105CA
106DC
107BB
108CD
109AB
110AC
111BA
112AC
113BB
114AD
115BD
116BC
117AA
118DD
119C
120AB
121D
122CC
123CC
124BC
125AD
126BD
127AB
128DD
129BA
130DD
131BD
132AA
133BB
134CC
135DB
136CC
137AA
138AD
139D
140CB
141BA
142AA
143CB
144BB
145DD
146AC
147BB
148AA
149CA
150AA
151CA
152DA
153BB
154BB
155BB
156CC
157AA
158AC
159BC
160AA
161DA
162B
163DD
164CC
165AA
166BB
167CC
168D
169B
170AB
171CC
172BA
173BA
174BB
175DB
176CC
177CC
178BA
179BD
180CA
181DB
182BC
183DB
184BB
185CB
186AAnul·lada
187DC
188DD
189BD
190BA
191CB
192A
193CC
194AA
195A
196AA
197CB
198C
199BD
200C
201B
202BA
203DD
204C
205BB
206CD
207AA
208BC
209CC
210DB