MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

320

#320 de 320 modelos — MIR 2024

Puntuación neta

0.00 pts

Certeza

3.5%

Correctas / Incorrectas

7 / 37

Custo total

$0.65

Rendemento Xeral

(vs. media)
Certeza

3.5%

avg: 81.3%

Puntuación neta

0.00 pts

avg: 153.08 pts

Acertos

7

avg: 163

Erros

37

avg: 29

Custo total

$0.65

avg: $3.09

Tempo promedio de resposta

66.2s

avg: 17.7s

Tokens saíntes

455K

avg: 414K

Tokens de razoamento

0

avg: 296K

Confianza promedia

22.9%

avg: 95.7%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
90.8%
Anestesioloxía e Reanimación
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
87.7%
Cardioloxía
Acertos
1
Erros
7
Non contestadas
13
Certeza
4.8%
Media
80.4%
Coidados Paliativos
Acertos
0
Erros
1
Non contestadas
3
Certeza
0.0%
Media
88.6%
Dermatoloxía
Acertos
1
Erros
2
Non contestadas
11
Certeza
7.1%
Media
81.0%
Endocrinoloxía e Nutrición
Acertos
1
Erros
2
Non contestadas
16
Certeza
5.3%
Media
85.1%
Enfermidades Infecciosas
Acertos
0
Erros
6
Non contestadas
17
Certeza
0.0%
Media
82.5%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
6
Certeza
12.5%
Media
89.7%
Estatística
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
91.6%
Farmacoloxía
Acertos
1
Erros
3
Non contestadas
19
Certeza
4.3%
Media
85.8%
Gastroenteroloxía
Acertos
1
Erros
4
Non contestadas
17
Certeza
4.5%
Media
71.5%
Hematoloxía
Acertos
0
Erros
2
Non contestadas
11
Certeza
0.0%
Media
82.4%
Inmunoloxía
Acertos
0
Erros
1
Non contestadas
7
Certeza
0.0%
Media
89.7%
Medicina Legal e Bioética
Acertos
0
Erros
1
Non contestadas
1
Certeza
0.0%
Media
91.8%
Nefroloxía
Acertos
0
Erros
1
Non contestadas
12
Certeza
0.0%
Media
81.8%
Neuroloxía
Acertos
2
Erros
3
Non contestadas
17
Certeza
9.1%
Media
84.5%
Oftalmoloxía
Acertos
2
Erros
0
Non contestadas
3
Certeza
40.0%
Media
81.3%
Oncoloxía Médica
Acertos
1
Erros
5
Non contestadas
15
Certeza
4.8%
Media
80.9%
ORL
Acertos
0
Erros
2
Non contestadas
5
Certeza
0.0%
Media
75.1%
Pediatría
Acertos
0
Erros
4
Non contestadas
13
Certeza
0.0%
Media
82.9%
Planificación e Xestión Sanitaria
Acertos
0
Erros
1
Non contestadas
1
Certeza
0.0%
Media
75.1%
Pneumoloxía
Acertos
1
Erros
2
Non contestadas
16
Certeza
5.3%
Media
81.6%
Psiquiatría
Acertos
0
Erros
2
Non contestadas
8
Certeza
0.0%
Media
90.0%
Radioloxía-Urxencias
Acertos
0
Erros
1
Non contestadas
13
Certeza
0.0%
Media
66.0%
Reumatoloxía
Acertos
0
Erros
2
Non contestadas
12
Certeza
0.0%
Media
82.4%
Traumatoloxía
Acertos
0
Erros
5
Non contestadas
10
Certeza
0.0%
Media
75.4%
Uroloxía
Acertos
0
Erros
1
Non contestadas
5
Certeza
0.0%
Media
79.0%
Xenética
Acertos
0
Erros
1
Non contestadas
6
Certeza
0.0%
Media
87.1%
Xeriatría
Acertos
0
Erros
0
Non contestadas
10
Certeza
0.0%
Media
87.7%
Xinecoloxía e Obstetricia
Acertos
0
Erros
2
Non contestadas
12
Certeza
0.0%
Media
82.0%

Desglose por Tipo de Pregunta

Anatomía
Acertos
0
Erros
1
Non contestadas
5
Certeza
0.0%
Media
81.1%
Bioestatística
Acertos
0
Erros
1
Non contestadas
4
Certeza
0.0%
Media
91.3%
Diagnóstico
Acertos
3
Erros
9
Non contestadas
61
Certeza
4.1%
Media
80.0%
Epidemioloxía
Acertos
1
Erros
2
Non contestadas
9
Certeza
8.3%
Media
82.1%
Ética
Acertos
0
Erros
1
Non contestadas
0
Certeza
0.0%
Media
94.0%
Farmacoloxía
Acertos
1
Erros
2
Non contestadas
22
Certeza
4.0%
Media
84.7%
Fisiopatoloxía
Acertos
0
Erros
9
Non contestadas
24
Certeza
0.0%
Media
86.1%
Interpretación
Acertos
1
Erros
3
Non contestadas
33
Certeza
2.7%
Media
70.5%
Prevención
Acertos
1
Erros
2
Non contestadas
9
Certeza
8.3%
Media
90.3%
Probas
Acertos
0
Erros
4
Non contestadas
17
Certeza
0.0%
Media
75.0%
Prognóstico
Acertos
1
Erros
0
Non contestadas
6
Certeza
14.3%
Media
84.6%
Risco
Acertos
0
Erros
1
Non contestadas
12
Certeza
0.0%
Media
84.5%
Tratamento
Acertos
4
Erros
16
Non contestadas
51
Certeza
5.6%
Media
82.1%
#RespostaCorrectaEstado
1—B
2—D
3—B
4—C
5—C
6—B
7—D
8—C
9—A
10—D
11—D
12DA
13—C
14—A
15—B
16—A
17DC
18—A
19—B
20—C
21—D
22—B
23AA
24—A
25—C
26CB
27—C
28—A
29DB
30—C
31AD
32BA
33—C
34—B
35—D
36—D
37—A
38—A
39—C
40—B
41—C
42—D
43—A
44—D
45CD
46—B
47—C
48—C
49—B
50—C
51AA
52BD
53—C
54—B
55AC
56—D
57—A
58AA
59—A
60—A
61—A
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71—B
72BD
73DB
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84DC
85—A
86—A
87—B
88—D
89CB
90—A
91AD
92—A
93BC
94—B
95DD
96—B
97—B
98CB
99—A
100CB
101—A
102—D
103—B
104CD
105AB
106—C
107—C
108—B
109—D
110—D
111—B
112—C
113A—Anulada
114—D
115AD
116CA
117—D
118—D
119—A
120—C
121—A
122DB
123—D
124—D
125—B
126—D
127AA
128—B
129BD
130—C
131—C
132—D
133CA
134AC
135CA
136—D
137—A
138—C
139AA
140—C
141—B
142—C
143—A
144—D
145—C
146—C
147AC
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155BD
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163AB
164DB
165—A
166—C
167—A
168—B
169—C
170—A
171BD
172AB
173—A
174—B
175AA
176—C
177—C
178—B
179—C
180——Anulada
181—B
182AD
183—C
184—A
185—C
186—D
187BA
188—C
189CD
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197—A
198AB
199—D
200—A
201—B
202—D
203—B
204—D
205—D
206——Anulada
207—A
208—A
209—B
210AD