MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

316

#316 de 319 models — MIR 2025

Puntuació neta

3.33 pts

Certesa

8.5%

Correctes / Incorrectes

17 / 41

Cost total

$0.64

Rendiment General

(vs. mitjana)
Certesa

8.5%

avg: 77.9%

Puntuació neta

3.33 pts

avg: 143.96 pts

Encerts

17

avg: 156

Errors

41

avg: 35

Cost total

$0.64

avg: $3.36

Temps mitjà de resposta

65.0s

avg: 19.0s

Tokens sortints

446K

avg: 430K

Tokens de raonament

0

avg: 306K

Confiança mitjana

29.0%

avg: 95.2%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
87.9%
Anestesiologia i Reanimació
Encerts
2
Errors
1
No contestades
3
Certesa
33.3%
Mitjana
82.3%
Cardiologia
Encerts
0
Errors
3
No contestades
19
Certesa
0.0%
Mitjana
78.6%
Cures Pal·liatives
Encerts
1
Errors
0
No contestades
3
Certesa
25.0%
Mitjana
78.6%
Dermatologia
Encerts
2
Errors
4
No contestades
6
Certesa
16.7%
Mitjana
69.4%
Endocrinologia i Nutrició
Encerts
1
Errors
3
No contestades
12
Certesa
6.3%
Mitjana
83.5%
Epidemiologia
Encerts
1
Errors
1
No contestades
5
Certesa
14.3%
Mitjana
69.1%
Estadística
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
76.6%
Farmacologia
Encerts
2
Errors
5
No contestades
10
Certesa
11.8%
Mitjana
74.1%
Gastroenterologia
Encerts
1
Errors
4
No contestades
16
Certesa
4.8%
Mitjana
74.1%
Genètica
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
69.5%
Geriatria
Encerts
0
Errors
3
No contestades
8
Certesa
0.0%
Mitjana
77.5%
Ginecologia i Obstetrícia
Encerts
1
Errors
4
No contestades
14
Certesa
5.3%
Mitjana
86.7%
Hematologia
Encerts
2
Errors
3
No contestades
6
Certesa
18.2%
Mitjana
82.7%
Immunologia
Encerts
2
Errors
1
No contestades
6
Certesa
22.2%
Mitjana
83.3%
Malalties Infeccioses
Encerts
5
Errors
4
No contestades
18
Certesa
18.5%
Mitjana
74.9%
Medicina Legal i Bioètica
Encerts
2
Errors
0
No contestades
3
Certesa
40.0%
Mitjana
68.4%
Nefrologia
Encerts
0
Errors
3
No contestades
11
Certesa
0.0%
Mitjana
84.8%
Neurologia
Encerts
0
Errors
4
No contestades
16
Certesa
0.0%
Mitjana
77.3%
Oftalmologia
Encerts
0
Errors
3
No contestades
2
Certesa
0.0%
Mitjana
74.2%
Oncologia Mèdica
Encerts
4
Errors
6
No contestades
15
Certesa
16.0%
Mitjana
87.2%
ORL
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
74.8%
Pediatria
Encerts
2
Errors
3
No contestades
21
Certesa
7.7%
Mitjana
71.9%
Planificació i Gestió Sanitària
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
82.6%
Pneumologia
Encerts
0
Errors
4
No contestades
10
Certesa
0.0%
Mitjana
80.4%
Psiquiatria
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
83.0%
Radiologia-Urgències
Encerts
0
Errors
3
No contestades
11
Certesa
0.0%
Mitjana
69.4%
Reumatologia
Encerts
1
Errors
5
No contestades
9
Certesa
6.7%
Mitjana
76.6%
Traumatologia
Encerts
2
Errors
4
No contestades
12
Certesa
11.1%
Mitjana
79.3%
Urologia
Encerts
0
Errors
3
No contestades
4
Certesa
0.0%
Mitjana
80.7%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
78.6%
Bioestadística
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
79.8%
Diagnòstic
Encerts
7
Errors
18
No contestades
63
Certesa
8.0%
Mitjana
79.9%
Epidemiologia
Encerts
1
Errors
0
No contestades
4
Certesa
20.0%
Mitjana
76.7%
Ètica
Encerts
0
Errors
0
No contestades
3
Certesa
0.0%
Mitjana
74.1%
Farmacologia
Encerts
1
Errors
5
No contestades
7
Certesa
7.7%
Mitjana
83.3%
Fisiopatologia
Encerts
2
Errors
6
No contestades
19
Certesa
7.4%
Mitjana
76.1%
Interpretació
Encerts
2
Errors
7
No contestades
33
Certesa
4.8%
Mitjana
70.7%
Legal
Encerts
2
Errors
0
No contestades
2
Certesa
50.0%
Mitjana
64.6%
Prevenció
Encerts
2
Errors
2
No contestades
8
Certesa
16.7%
Mitjana
75.6%
Pronòstic
Encerts
1
Errors
1
No contestades
5
Certesa
14.3%
Mitjana
80.8%
Proves
Encerts
1
Errors
5
No contestades
21
Certesa
3.7%
Mitjana
77.9%
Risc
Encerts
0
Errors
1
No contestades
4
Certesa
0.0%
Mitjana
85.2%
Tractament
Encerts
6
Errors
19
No contestades
56
Certesa
7.4%
Mitjana
77.3%
#RespostaCorrectaEstat
1DB
2DA
3—C
4—B
5—A
6—C
7—C
8AA
9—A
10AD
11—D
12—D
13—B
14—D
15——Anul·lada
16—B
17—B
18—A
19DC
20—A
21—B
22—D
23—C
24—D
25—C
26——Anul·lada
27—C
28A—Anul·lada
29—D
30DB
31—D
32—A
33—D
34—D
35BB
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45BD
46BA
47—A
48AA
49—D
50—B
51—C
52AB
53CD
54—B
55AA
56——Anul·lada
57—C
58—B
59AD
60AA
61DA
62—D
63—B
64—D
65—A
66—A
67—B
68—B
69—B
70—A
71—D
72AA
73—D
74—C
75—A
76—B
77AB
78—B
79—C
80AC
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88—D
89—B
90—A
91—B
92AC
93DB
94AC
95AA
96—C
97—D
98—C
99—A
100—C
101—B
102—D
103CA
104—C
105—A
106—C
107—B
108—D
109—B
110DC
111DA
112DC
113—B
114—D
115—D
116—C
117—A
118—D
119—C
120—B
121—D
122—C
123—C
124—C
125—D
126AD
127—B
128DD
129—A
130AD
131—D
132—A
133—B
134—C
135DB
136—C
137—A
138—D
139—D
140AB
141AA
142AA
143AB
144—B
145BD
146—C
147AB
148—A
149—A
150—D
151—A
152DA
153DB
154—B
155—B
156CC
157—A
158—C
159AC
160—A
161AA
162C—Anul·lada
163—D
164BC
165DA
166—B
167—C
168—D
169—B
170—B
171BC
172AA
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180AA
181BB
182—C
183AB
184—B
185BB
186——Anul·lada
187DC
188AD
189—D
190—A
191—B
192BA
193—C
194AA
195—A
196—A
197AB
198BC
199BD
200—C
201—B
202CA
203—D
204—C
205—B
206—D
207DA
208AC
209—C
210AB