MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

316

#316 de 319 modelos — MIR 2025

Puntuación neta

3.33 pts

Certeza

8.5%

Correctas / Incorrectas

17 / 41

Custo total

$0.64

Rendemento Xeral

(vs. media)
Certeza

8.5%

avg: 77.9%

Puntuación neta

3.33 pts

avg: 143.96 pts

Acertos

17

avg: 156

Erros

41

avg: 35

Custo total

$0.64

avg: $3.36

Tempo promedio de resposta

65.0s

avg: 19.0s

Tokens saíntes

446K

avg: 430K

Tokens de razoamento

0

avg: 306K

Confianza promedia

29.0%

avg: 95.2%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
1
Non contestadas
3
Certeza
0.0%
Media
87.9%
Anestesioloxía e Reanimación
Acertos
2
Erros
1
Non contestadas
3
Certeza
33.3%
Media
82.3%
Cardioloxía
Acertos
0
Erros
3
Non contestadas
19
Certeza
0.0%
Media
78.6%
Coidados Paliativos
Acertos
1
Erros
0
Non contestadas
3
Certeza
25.0%
Media
78.6%
Dermatoloxía
Acertos
2
Erros
4
Non contestadas
6
Certeza
16.7%
Media
69.4%
Endocrinoloxía e Nutrición
Acertos
1
Erros
3
Non contestadas
12
Certeza
6.3%
Media
83.5%
Enfermidades Infecciosas
Acertos
5
Erros
4
Non contestadas
18
Certeza
18.5%
Media
74.9%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
5
Certeza
14.3%
Media
69.1%
Estatística
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
76.6%
Farmacoloxía
Acertos
2
Erros
5
Non contestadas
10
Certeza
11.8%
Media
74.1%
Gastroenteroloxía
Acertos
1
Erros
4
Non contestadas
16
Certeza
4.8%
Media
74.1%
Hematoloxía
Acertos
2
Erros
3
Non contestadas
6
Certeza
18.2%
Media
82.7%
Inmunoloxía
Acertos
2
Erros
1
Non contestadas
6
Certeza
22.2%
Media
83.3%
Medicina Legal e Bioética
Acertos
2
Erros
0
Non contestadas
3
Certeza
40.0%
Media
68.4%
Nefroloxía
Acertos
0
Erros
3
Non contestadas
11
Certeza
0.0%
Media
84.8%
Neuroloxía
Acertos
0
Erros
4
Non contestadas
16
Certeza
0.0%
Media
77.3%
Oftalmoloxía
Acertos
0
Erros
3
Non contestadas
2
Certeza
0.0%
Media
74.2%
Oncoloxía Médica
Acertos
4
Erros
6
Non contestadas
15
Certeza
16.0%
Media
87.2%
ORL
Acertos
1
Erros
1
Non contestadas
6
Certeza
12.5%
Media
74.8%
Pediatría
Acertos
2
Erros
3
Non contestadas
21
Certeza
7.7%
Media
71.9%
Planificación e Xestión Sanitaria
Acertos
0
Erros
0
Non contestadas
2
Certeza
0.0%
Media
82.6%
Pneumoloxía
Acertos
0
Erros
4
Non contestadas
10
Certeza
0.0%
Media
80.4%
Psiquiatría
Acertos
1
Erros
1
Non contestadas
6
Certeza
12.5%
Media
83.0%
Radioloxía-Urxencias
Acertos
0
Erros
3
Non contestadas
11
Certeza
0.0%
Media
69.4%
Reumatoloxía
Acertos
1
Erros
5
Non contestadas
9
Certeza
6.7%
Media
76.6%
Traumatoloxía
Acertos
2
Erros
4
Non contestadas
12
Certeza
11.1%
Media
79.3%
Uroloxía
Acertos
0
Erros
3
Non contestadas
4
Certeza
0.0%
Media
80.7%
Xenética
Acertos
0
Erros
1
Non contestadas
5
Certeza
0.0%
Media
69.5%
Xeriatría
Acertos
0
Erros
3
Non contestadas
8
Certeza
0.0%
Media
77.5%
Xinecoloxía e Obstetricia
Acertos
1
Erros
4
Non contestadas
14
Certeza
5.3%
Media
86.7%

Desglose por Tipo de Pregunta

Anatomía
Acertos
0
Erros
1
Non contestadas
6
Certeza
0.0%
Media
78.6%
Bioestatística
Acertos
0
Erros
1
Non contestadas
3
Certeza
0.0%
Media
79.8%
Diagnóstico
Acertos
7
Erros
18
Non contestadas
63
Certeza
8.0%
Media
79.9%
Epidemioloxía
Acertos
1
Erros
0
Non contestadas
4
Certeza
20.0%
Media
76.7%
Ética
Acertos
0
Erros
0
Non contestadas
3
Certeza
0.0%
Media
74.1%
Farmacoloxía
Acertos
1
Erros
5
Non contestadas
7
Certeza
7.7%
Media
83.3%
Fisiopatoloxía
Acertos
2
Erros
6
Non contestadas
19
Certeza
7.4%
Media
76.1%
Interpretación
Acertos
2
Erros
7
Non contestadas
33
Certeza
4.8%
Media
70.7%
Legal
Acertos
2
Erros
0
Non contestadas
2
Certeza
50.0%
Media
64.6%
Prevención
Acertos
2
Erros
2
Non contestadas
8
Certeza
16.7%
Media
75.6%
Probas
Acertos
1
Erros
5
Non contestadas
21
Certeza
3.7%
Media
77.9%
Prognóstico
Acertos
1
Erros
1
Non contestadas
5
Certeza
14.3%
Media
80.8%
Risco
Acertos
0
Erros
1
Non contestadas
4
Certeza
0.0%
Media
85.2%
Tratamento
Acertos
6
Erros
19
Non contestadas
56
Certeza
7.4%
Media
77.3%
#RespostaCorrectaEstado
1DB
2DA
3—C
4—B
5—A
6—C
7—C
8AA
9—A
10AD
11—D
12—D
13—B
14—D
15——Anulada
16—B
17—B
18—A
19DC
20—A
21—B
22—D
23—C
24—D
25—C
26——Anulada
27—C
28A—Anulada
29—D
30DB
31—D
32—A
33—D
34—D
35BB
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45BD
46BA
47—A
48AA
49—D
50—B
51—C
52AB
53CD
54—B
55AA
56——Anulada
57—C
58—B
59AD
60AA
61DA
62—D
63—B
64—D
65—A
66—A
67—B
68—B
69—B
70—A
71—D
72AA
73—D
74—C
75—A
76—B
77AB
78—B
79—C
80AC
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88—D
89—B
90—A
91—B
92AC
93DB
94AC
95AA
96—C
97—D
98—C
99—A
100—C
101—B
102—D
103CA
104—C
105—A
106—C
107—B
108—D
109—B
110DC
111DA
112DC
113—B
114—D
115—D
116—C
117—A
118—D
119—C
120—B
121—D
122—C
123—C
124—C
125—D
126AD
127—B
128DD
129—A
130AD
131—D
132—A
133—B
134—C
135DB
136—C
137—A
138—D
139—D
140AB
141AA
142AA
143AB
144—B
145BD
146—C
147AB
148—A
149—A
150—D
151—A
152DA
153DB
154—B
155—B
156CC
157—A
158—C
159AC
160—A
161AA
162C—Anulada
163—D
164BC
165DA
166—B
167—C
168—D
169—B
170—B
171BC
172AA
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180AA
181BB
182—C
183AB
184—B
185BB
186——Anulada
187DC
188AD
189—D
190—A
191—B
192BA
193—C
194AA
195—A
196—A
197AB
198BC
199BD
200—C
201—B
202CA
203—D
204—C
205—B
206—D
207DA
208AC
209—C
210AB