MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

317

#317 de 319 models — MIR 2026

Puntuació neta

10.33 pts

Certesa

9.0%

Correctes / Incorrectes

18 / 23

Cost total

$0.70

Rendiment General

(vs. mitjana)
Certesa

9.0%

avg: 82.4%

Puntuació neta

10.33 pts

avg: 156.14 pts

Encerts

18

avg: 165

Errors

23

avg: 26

Cost total

$0.70

avg: $3.12

Temps mitjà de resposta

72.4s

avg: 17.4s

Tokens sortints

497K

avg: 415K

Tokens de raonament

0

avg: 295K

Confiança mitjana

19.7%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
96.9%
Anestesiologia i Reanimació
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
71.0%
Cardiologia
Encerts
1
Errors
4
No contestades
20
Certesa
4.0%
Mitjana
78.4%
Cures Pal·liatives
Encerts
1
Errors
1
No contestades
4
Certesa
16.7%
Mitjana
80.8%
Dermatologia
Encerts
1
Errors
0
No contestades
10
Certesa
9.1%
Mitjana
73.2%
Endocrinologia i Nutrició
Encerts
1
Errors
0
No contestades
14
Certesa
6.7%
Mitjana
84.7%
Epidemiologia
Encerts
1
Errors
1
No contestades
5
Certesa
14.3%
Mitjana
81.3%
Estadística
Encerts
1
Errors
1
No contestades
0
Certesa
50.0%
Mitjana
84.5%
Farmacologia
Encerts
4
Errors
0
No contestades
7
Certesa
36.4%
Mitjana
79.6%
Gastroenterologia
Encerts
2
Errors
6
No contestades
22
Certesa
6.7%
Mitjana
80.2%
Genètica
Encerts
2
Errors
0
No contestades
9
Certesa
18.2%
Mitjana
79.7%
Geriatria
Encerts
2
Errors
2
No contestades
9
Certesa
15.4%
Mitjana
83.7%
Ginecologia i Obstetrícia
Encerts
1
Errors
1
No contestades
10
Certesa
8.3%
Mitjana
85.2%
Hematologia
Encerts
0
Errors
0
No contestades
9
Certesa
0.0%
Mitjana
77.6%
Immunologia
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
91.8%
Malalties Infeccioses
Encerts
2
Errors
2
No contestades
10
Certesa
14.3%
Mitjana
79.0%
Medicina Legal i Bioètica
Encerts
2
Errors
0
No contestades
9
Certesa
18.2%
Mitjana
83.4%
Nefrologia
Encerts
0
Errors
1
No contestades
9
Certesa
0.0%
Mitjana
85.6%
Neurologia
Encerts
0
Errors
3
No contestades
10
Certesa
0.0%
Mitjana
89.0%
Oftalmologia
Encerts
0
Errors
0
No contestades
5
Certesa
0.0%
Mitjana
84.5%
Oncologia Mèdica
Encerts
4
Errors
4
No contestades
15
Certesa
17.4%
Mitjana
83.7%
ORL
Encerts
0
Errors
3
No contestades
5
Certesa
0.0%
Mitjana
85.0%
Pediatria
Encerts
2
Errors
3
No contestades
17
Certesa
9.1%
Mitjana
88.1%
Planificació i Gestió Sanitària
Encerts
2
Errors
0
No contestades
8
Certesa
20.0%
Mitjana
79.4%
Pneumologia
Encerts
1
Errors
2
No contestades
13
Certesa
6.3%
Mitjana
83.6%
Psiquiatria
Encerts
0
Errors
0
No contestades
8
Certesa
0.0%
Mitjana
88.4%
Radiologia-Urgències
Encerts
1
Errors
2
No contestades
10
Certesa
7.7%
Mitjana
69.4%
Reumatologia
Encerts
2
Errors
0
No contestades
9
Certesa
18.2%
Mitjana
89.0%
Traumatologia
Encerts
1
Errors
0
No contestades
10
Certesa
9.1%
Mitjana
66.6%
Urologia
Encerts
2
Errors
1
No contestades
5
Certesa
25.0%
Mitjana
83.1%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
0
No contestades
3
Certesa
0.0%
Mitjana
83.4%
Bioestadística
Encerts
1
Errors
1
No contestades
0
Certesa
50.0%
Mitjana
84.5%
Diagnòstic
Encerts
5
Errors
11
No contestades
65
Certesa
6.2%
Mitjana
83.0%
Epidemiologia
Encerts
1
Errors
1
No contestades
7
Certesa
11.1%
Mitjana
89.1%
Ètica
Encerts
1
Errors
0
No contestades
5
Certesa
16.7%
Mitjana
92.2%
Farmacologia
Encerts
3
Errors
2
No contestades
10
Certesa
20.0%
Mitjana
83.1%
Fisiopatologia
Encerts
1
Errors
1
No contestades
24
Certesa
3.8%
Mitjana
85.0%
Interpretació
Encerts
3
Errors
4
No contestades
30
Certesa
8.1%
Mitjana
73.2%
Legal
Encerts
2
Errors
0
No contestades
7
Certesa
22.2%
Mitjana
82.9%
Prevenció
Encerts
2
Errors
1
No contestades
13
Certesa
12.5%
Mitjana
81.5%
Pronòstic
Encerts
0
Errors
2
No contestades
3
Certesa
0.0%
Mitjana
93.2%
Proves
Encerts
4
Errors
7
No contestades
22
Certesa
12.1%
Mitjana
81.2%
Risc
Encerts
2
Errors
0
No contestades
13
Certesa
13.3%
Mitjana
85.0%
Tractament
Encerts
5
Errors
10
No contestades
57
Certesa
6.9%
Mitjana
80.9%
#RespostaCorrectaEstat
1—A
2BB
3CD
4—D
5—B
6—C
7—B
8—D
9—D
10AA
11CB
12—A
13——Anul·lada
14CC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25AC
26—A
27—B
28—D
29AA
30—D
31—C
32—C
33DB
34—B
35DC
36—D
37—D
38AA
39—C
40—A
41—D
42—A
43—B
44CB
45AB
46—B
47—D
48—C
49—C
50——Anul·lada
51—A
52—C
53AC
54—C
55AA
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64——Anul·lada
65—C
66CC
67—C
68—A
69—B
70—B
71BB
72—B
73—B
74AA
75—C
76—C
77—A
78—D
79—A
80—D
81AC
82—D
83—B
84—A
85DD
86AA
87—B
88DB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97AB
98—A
99—B
100—C
101BC
102—A
103BC
104CC
105—C
106—B
107—C
108—A
109AC
110—C
111—B
112—C
113CC
114—D
115—B
116—D
117—C
118—B
119—A
120—A
121—C
122—B
123AB
124—B
125—C
126—B
127—C
128CB
129—C
130—C
131—B
132—B
133—C
134—B
135—C
136BB
137—D
138—B
139——Anul·lada
140—D
141—A
142——Anul·lada
143—A
144—D
145—C
146—C
147—B
148—C
149AB
150—B
151—B
152—C
153CC
154—D
155—B
156—A
157BD
158—B
159—C
160—A
161A—Anul·lada
162AA
163DC
164DC
165—A
166—A
167AD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179BB
180—C
181—B
182—C
183—D
184—D
185—B
186—D
187—D
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196AA
197AC
198—A
199—B
200—D
201—C
202—A
203—A
204—C
205—B
206BC
207—A
208D—Anul·lada
209—B
210—C