MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

317

#317 de 319 modelos — MIR 2026

Puntuación neta

10.33 pts

Certeza

9.0%

Correctas / Incorrectas

18 / 23

Custo total

$0.70

Rendemento Xeral

(vs. media)
Certeza

9.0%

avg: 82.4%

Puntuación neta

10.33 pts

avg: 156.14 pts

Acertos

18

avg: 165

Erros

23

avg: 26

Custo total

$0.70

avg: $3.12

Tempo promedio de resposta

72.4s

avg: 17.4s

Tokens saíntes

497K

avg: 415K

Tokens de razoamento

0

avg: 295K

Confianza promedia

19.7%

avg: 95.4%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
0
Non contestadas
1
Certeza
0.0%
Media
96.9%
Anestesioloxía e Reanimación
Acertos
0
Erros
1
Non contestadas
6
Certeza
0.0%
Media
71.0%
Cardioloxía
Acertos
1
Erros
4
Non contestadas
20
Certeza
4.0%
Media
78.4%
Coidados Paliativos
Acertos
1
Erros
1
Non contestadas
4
Certeza
16.7%
Media
80.8%
Dermatoloxía
Acertos
1
Erros
0
Non contestadas
10
Certeza
9.1%
Media
73.2%
Endocrinoloxía e Nutrición
Acertos
1
Erros
0
Non contestadas
14
Certeza
6.7%
Media
84.7%
Enfermidades Infecciosas
Acertos
2
Erros
2
Non contestadas
10
Certeza
14.3%
Media
79.0%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
5
Certeza
14.3%
Media
81.3%
Estatística
Acertos
1
Erros
1
Non contestadas
0
Certeza
50.0%
Media
84.5%
Farmacoloxía
Acertos
4
Erros
0
Non contestadas
7
Certeza
36.4%
Media
79.6%
Gastroenteroloxía
Acertos
2
Erros
6
Non contestadas
22
Certeza
6.7%
Media
80.2%
Hematoloxía
Acertos
0
Erros
0
Non contestadas
9
Certeza
0.0%
Media
77.6%
Inmunoloxía
Acertos
0
Erros
1
Non contestadas
5
Certeza
0.0%
Media
91.8%
Medicina Legal e Bioética
Acertos
2
Erros
0
Non contestadas
9
Certeza
18.2%
Media
83.4%
Nefroloxía
Acertos
0
Erros
1
Non contestadas
9
Certeza
0.0%
Media
85.6%
Neuroloxía
Acertos
0
Erros
3
Non contestadas
10
Certeza
0.0%
Media
89.0%
Oftalmoloxía
Acertos
0
Erros
0
Non contestadas
5
Certeza
0.0%
Media
84.5%
Oncoloxía Médica
Acertos
4
Erros
4
Non contestadas
15
Certeza
17.4%
Media
83.7%
ORL
Acertos
0
Erros
3
Non contestadas
5
Certeza
0.0%
Media
85.0%
Pediatría
Acertos
2
Erros
3
Non contestadas
17
Certeza
9.1%
Media
88.1%
Planificación e Xestión Sanitaria
Acertos
2
Erros
0
Non contestadas
8
Certeza
20.0%
Media
79.4%
Pneumoloxía
Acertos
1
Erros
2
Non contestadas
13
Certeza
6.3%
Media
83.6%
Psiquiatría
Acertos
0
Erros
0
Non contestadas
8
Certeza
0.0%
Media
88.4%
Radioloxía-Urxencias
Acertos
1
Erros
2
Non contestadas
10
Certeza
7.7%
Media
69.4%
Reumatoloxía
Acertos
2
Erros
0
Non contestadas
9
Certeza
18.2%
Media
89.0%
Traumatoloxía
Acertos
1
Erros
0
Non contestadas
10
Certeza
9.1%
Media
66.6%
Uroloxía
Acertos
2
Erros
1
Non contestadas
5
Certeza
25.0%
Media
83.1%
Xenética
Acertos
2
Erros
0
Non contestadas
9
Certeza
18.2%
Media
79.7%
Xeriatría
Acertos
2
Erros
2
Non contestadas
9
Certeza
15.4%
Media
83.7%
Xinecoloxía e Obstetricia
Acertos
1
Erros
1
Non contestadas
10
Certeza
8.3%
Media
85.2%

Desglose por Tipo de Pregunta

Anatomía
Acertos
0
Erros
0
Non contestadas
3
Certeza
0.0%
Media
83.4%
Bioestatística
Acertos
1
Erros
1
Non contestadas
0
Certeza
50.0%
Media
84.5%
Diagnóstico
Acertos
5
Erros
11
Non contestadas
65
Certeza
6.2%
Media
83.0%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
7
Certeza
11.1%
Media
89.1%
Ética
Acertos
1
Erros
0
Non contestadas
5
Certeza
16.7%
Media
92.2%
Farmacoloxía
Acertos
3
Erros
2
Non contestadas
10
Certeza
20.0%
Media
83.1%
Fisiopatoloxía
Acertos
1
Erros
1
Non contestadas
24
Certeza
3.8%
Media
85.0%
Interpretación
Acertos
3
Erros
4
Non contestadas
30
Certeza
8.1%
Media
73.2%
Legal
Acertos
2
Erros
0
Non contestadas
7
Certeza
22.2%
Media
82.9%
Prevención
Acertos
2
Erros
1
Non contestadas
13
Certeza
12.5%
Media
81.5%
Probas
Acertos
4
Erros
7
Non contestadas
22
Certeza
12.1%
Media
81.2%
Prognóstico
Acertos
0
Erros
2
Non contestadas
3
Certeza
0.0%
Media
93.2%
Risco
Acertos
2
Erros
0
Non contestadas
13
Certeza
13.3%
Media
85.0%
Tratamento
Acertos
5
Erros
10
Non contestadas
57
Certeza
6.9%
Media
80.9%
#RespostaCorrectaEstado
1—A
2BB
3CD
4—D
5—B
6—C
7—B
8—D
9—D
10AA
11CB
12—A
13——Anulada
14CC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25AC
26—A
27—B
28—D
29AA
30—D
31—C
32—C
33DB
34—B
35DC
36—D
37—D
38AA
39—C
40—A
41—D
42—A
43—B
44CB
45AB
46—B
47—D
48—C
49—C
50——Anulada
51—A
52—C
53AC
54—C
55AA
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64——Anulada
65—C
66CC
67—C
68—A
69—B
70—B
71BB
72—B
73—B
74AA
75—C
76—C
77—A
78—D
79—A
80—D
81AC
82—D
83—B
84—A
85DD
86AA
87—B
88DB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97AB
98—A
99—B
100—C
101BC
102—A
103BC
104CC
105—C
106—B
107—C
108—A
109AC
110—C
111—B
112—C
113CC
114—D
115—B
116—D
117—C
118—B
119—A
120—A
121—C
122—B
123AB
124—B
125—C
126—B
127—C
128CB
129—C
130—C
131—B
132—B
133—C
134—B
135—C
136BB
137—D
138—B
139——Anulada
140—D
141—A
142——Anulada
143—A
144—D
145—C
146—C
147—B
148—C
149AB
150—B
151—B
152—C
153CC
154—D
155—B
156—A
157BD
158—B
159—C
160—A
161A—Anulada
162AA
163DC
164DC
165—A
166—A
167AD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179BB
180—C
181—B
182—C
183—D
184—D
185—B
186—D
187—D
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196AA
197AC
198—A
199—B
200—D
201—C
202—A
203—A
204—C
205—B
206BC
207—A
208D—Anulada
209—B
210—C