MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

288

#288 de 290 models — MIR 2025

Puntuació neta

3.33 pts

Certesa

8.5%

Correctes / Incorrectes

17 / 41

Cost total

$0.63

Rendiment General

(vs. mitjana)
Certesa

8.5%

avg: 75.9%

Puntuació neta

3.33 pts

avg: 138.99 pts

Encerts

17

avg: 152

Errors

41

avg: 38

Cost total

$0.63

avg: $3.59

Temps mitjà de resposta

63.6s

avg: 18.1s

Tokens sortints

437K

avg: 443K

Tokens de raonament

0

avg: 320K

Confiança mitjana

28.6%

avg: 94.7%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
86.9%
Anestesiologia i Reanimació
Encerts
2
Errors
1
No contestades
3
Certesa
33.3%
Mitjana
81.3%
Cardiologia
Encerts
0
Errors
3
No contestades
19
Certesa
0.0%
Mitjana
77.4%
Cures Pal·liatives
Encerts
1
Errors
0
No contestades
3
Certesa
25.0%
Mitjana
77.2%
Dermatologia
Encerts
2
Errors
5
No contestades
6
Certesa
15.4%
Mitjana
62.8%
Endocrinologia i Nutrició
Encerts
1
Errors
3
No contestades
12
Certesa
6.3%
Mitjana
82.5%
Epidemiologia
Encerts
1
Errors
1
No contestades
5
Certesa
14.3%
Mitjana
67.1%
Estadística
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
74.9%
Farmacologia
Encerts
2
Errors
5
No contestades
10
Certesa
11.8%
Mitjana
73.1%
Gastroenterologia
Encerts
1
Errors
4
No contestades
16
Certesa
4.8%
Mitjana
72.9%
Genètica
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
68.2%
Geriatria
Encerts
0
Errors
3
No contestades
8
Certesa
0.0%
Mitjana
71.2%
Ginecologia i Obstetrícia
Encerts
1
Errors
4
No contestades
14
Certesa
5.3%
Mitjana
85.9%
Hematologia
Encerts
2
Errors
2
No contestades
7
Certesa
18.2%
Mitjana
81.8%
Immunologia
Encerts
2
Errors
1
No contestades
6
Certesa
22.2%
Mitjana
82.5%
Malalties Infeccioses
Encerts
5
Errors
5
No contestades
18
Certesa
17.9%
Mitjana
71.1%
Medicina Legal i Bioètica
Encerts
2
Errors
0
No contestades
3
Certesa
40.0%
Mitjana
67.2%
Nefrologia
Encerts
0
Errors
3
No contestades
12
Certesa
0.0%
Mitjana
78.2%
Neurologia
Encerts
0
Errors
4
No contestades
16
Certesa
0.0%
Mitjana
76.2%
Oftalmologia
Encerts
0
Errors
3
No contestades
2
Certesa
0.0%
Mitjana
72.6%
Oncologia Mèdica
Encerts
4
Errors
6
No contestades
15
Certesa
16.0%
Mitjana
86.3%
ORL
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
73.8%
Pediatria
Encerts
2
Errors
3
No contestades
20
Certesa
8.0%
Mitjana
72.7%
Planificació i Gestió Sanitària
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
81.6%
Pneumologia
Encerts
0
Errors
4
No contestades
10
Certesa
0.0%
Mitjana
73.0%
Psiquiatria
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
82.0%
Radiologia-Urgències
Encerts
0
Errors
3
No contestades
11
Certesa
0.0%
Mitjana
67.9%
Reumatologia
Encerts
1
Errors
4
No contestades
9
Certesa
7.1%
Mitjana
74.6%
Traumatologia
Encerts
2
Errors
4
No contestades
12
Certesa
11.1%
Mitjana
78.2%
Urologia
Encerts
0
Errors
3
No contestades
4
Certesa
0.0%
Mitjana
79.5%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
77.1%
Bioestadística
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
78.4%
Diagnòstic
Encerts
7
Errors
17
No contestades
65
Certesa
7.9%
Mitjana
77.9%
Epidemiologia
Encerts
1
Errors
0
No contestades
4
Certesa
20.0%
Mitjana
75.0%
Ètica
Encerts
0
Errors
0
No contestades
3
Certesa
0.0%
Mitjana
72.0%
Farmacologia
Encerts
1
Errors
5
No contestades
7
Certesa
7.7%
Mitjana
82.4%
Fisiopatologia
Encerts
2
Errors
6
No contestades
19
Certesa
7.4%
Mitjana
72.6%
Interpretació
Encerts
2
Errors
7
No contestades
33
Certesa
4.8%
Mitjana
69.3%
Legal
Encerts
2
Errors
0
No contestades
2
Certesa
50.0%
Mitjana
63.6%
Prevenció
Encerts
2
Errors
2
No contestades
8
Certesa
16.7%
Mitjana
74.5%
Pronòstic
Encerts
1
Errors
1
No contestades
4
Certesa
16.7%
Mitjana
77.8%
Proves
Encerts
1
Errors
4
No contestades
21
Certesa
3.8%
Mitjana
76.3%
Risc
Encerts
0
Errors
1
No contestades
4
Certesa
0.0%
Mitjana
84.3%
Tractament
Encerts
6
Errors
20
No contestades
56
Certesa
7.3%
Mitjana
75.2%
#RespostaCorrectaEstat
1DB
2DA
3—C
4—B
5—A
6—C
7—C
8AA
9—A
10AD
11—D
12—D
13—B
14—D
15——
16—B
17—B
18—A
19DC
20—A
21—B
22—D
23—C
24—D
25—C
26——Anul·lada
27—C
28——Anul·lada
29—D
30DB
31—D
32—A
33—D
34—D
35BB
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45BD
46BA
47—A
48AA
49—D
50—B
51—C
52AB
53CD
54—B
55AA
56——Anul·lada
57—C
58—B
59AD
60AA
61DA
62—D
63—B
64—D
65—A
66—A
67—B
68—B
69—B
70—A
71—D
72AA
73—D
74—C
75—A
76—B
77AB
78—B
79—C
80AC
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88—D
89—B
90—A
91—B
92AC
93DB
94AC
95AA
96—C
97—D
98—C
99—A
100—C
101—B
102—D
103CA
104—C
105—A
106—C
107—B
108—D
109—B
110DC
111DA
112DC
113—B
114—D
115—D
116—C
117—A
118—D
119—C
120—B
121—D
122—C
123—C
124—C
125—D
126AD
127—B
128DD
129—A
130AD
131—D
132—A
133—B
134—C
135DB
136—C
137—A
138—D
139—D
140AB
141AA
142AA
143AB
144—B
145BD
146—C
147AB
148—A
149—A
150—A
151—A
152DA
153DB
154—B
155—B
156CC
157—A
158—C
159AC
160—A
161AA
162C—
163—D
164BC
165—A
166—B
167—C
168—D
169—B
170—B
171BC
172AA
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180AA
181BB
182—C
183AB
184—B
185BB
186——Anul·lada
187DC
188AD
189—D
190—A
191—B
192BA
193—C
194AA
195—A
196—A
197AB
198BC
199BD
200—C
201—B
202CA
203—D
204—C
205—B
206—D
207DA
208AC
209—C
210AB