MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

291

#291 de 291 modelosMIR 2024

Puntuación neta

0.00 pts

Certeza

3.5%

Correctas / Incorrectas

7 / 35

Custo total

$0.63

Rendemento Xeral

(vs. media)
Certeza

3.5%

avg: 80.5%

Puntuación neta

0.00 pts

avg: 150.85 pts

Acertos

7

avg: 161

Erros

35

avg: 30

Custo total

$0.63

avg: $3.32

Tempo promedio de resposta

66.5s

avg: 16.4s

Tokens saíntes

444K

avg: 427K

Tokens de razoamento

0

avg: 310K

Confianza promedia

22.7%

avg: 95.4%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
90.5%
Anestesioloxía e Reanimación
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
87.1%
Cardioloxía
Acertos
1
Erros
6
Non contestadas
14
Certeza
4.8%
Media
79.7%
Coidados Paliativos
Acertos
0
Erros
1
Non contestadas
3
Certeza
0.0%
Media
88.2%
Dermatoloxía
Acertos
1
Erros
1
Non contestadas
12
Certeza
7.1%
Media
80.2%
Endocrinoloxía e Nutrición
Acertos
1
Erros
2
Non contestadas
16
Certeza
5.3%
Media
84.2%
Enfermidades Infecciosas
Acertos
0
Erros
5
Non contestadas
18
Certeza
0.0%
Media
81.8%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
6
Certeza
12.5%
Media
89.3%
Estatística
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
91.1%
Farmacoloxía
Acertos
1
Erros
3
Non contestadas
19
Certeza
4.3%
Media
85.4%
Gastroenteroloxía
Acertos
1
Erros
4
Non contestadas
17
Certeza
4.5%
Media
70.5%
Hematoloxía
Acertos
0
Erros
2
Non contestadas
11
Certeza
0.0%
Media
81.5%
Inmunoloxía
Acertos
0
Erros
1
Non contestadas
7
Certeza
0.0%
Media
89.1%
Medicina Legal e Bioética
Acertos
0
Erros
1
Non contestadas
1
Certeza
0.0%
Media
91.7%
Nefroloxía
Acertos
0
Erros
1
Non contestadas
12
Certeza
0.0%
Media
80.8%
Neuroloxía
Acertos
2
Erros
3
Non contestadas
17
Certeza
9.1%
Media
83.7%
Oftalmoloxía
Acertos
2
Erros
0
Non contestadas
3
Certeza
40.0%
Media
80.0%
Oncoloxía Médica
Acertos
1
Erros
5
Non contestadas
15
Certeza
4.8%
Media
80.2%
ORL
Acertos
0
Erros
2
Non contestadas
5
Certeza
0.0%
Media
74.4%
Pediatría
Acertos
0
Erros
4
Non contestadas
13
Certeza
0.0%
Media
82.0%
Planificación e Xestión Sanitaria
Acertos
0
Erros
1
Non contestadas
1
Certeza
0.0%
Media
73.2%
Pneumoloxía
Acertos
1
Erros
1
Non contestadas
17
Certeza
5.3%
Media
80.6%
Psiquiatría
Acertos
0
Erros
2
Non contestadas
8
Certeza
0.0%
Media
89.5%
Radioloxía-Urxencias
Acertos
0
Erros
1
Non contestadas
13
Certeza
0.0%
Media
64.9%
Reumatoloxía
Acertos
0
Erros
2
Non contestadas
12
Certeza
0.0%
Media
81.4%
Traumatoloxía
Acertos
0
Erros
5
Non contestadas
10
Certeza
0.0%
Media
74.5%
Uroloxía
Acertos
0
Erros
1
Non contestadas
5
Certeza
0.0%
Media
78.2%
Xenética
Acertos
0
Erros
1
Non contestadas
6
Certeza
0.0%
Media
86.5%
Xeriatría
Acertos
0
Erros
0
Non contestadas
10
Certeza
0.0%
Media
86.9%
Xinecoloxía e Obstetricia
Acertos
0
Erros
2
Non contestadas
12
Certeza
0.0%
Media
81.2%

Desglose por Tipo de Pregunta

Anatomía
Acertos
0
Erros
1
Non contestadas
5
Certeza
0.0%
Media
79.8%
Bioestatística
Acertos
0
Erros
1
Non contestadas
4
Certeza
0.0%
Media
90.7%
Diagnóstico
Acertos
3
Erros
8
Non contestadas
62
Certeza
4.1%
Media
79.2%
Epidemioloxía
Acertos
1
Erros
2
Non contestadas
9
Certeza
8.3%
Media
81.2%
Ética
Acertos
0
Erros
1
Non contestadas
0
Certeza
0.0%
Media
94.5%
Farmacoloxía
Acertos
1
Erros
2
Non contestadas
22
Certeza
4.0%
Media
84.0%
Fisiopatoloxía
Acertos
0
Erros
9
Non contestadas
24
Certeza
0.0%
Media
85.4%
Interpretación
Acertos
1
Erros
3
Non contestadas
33
Certeza
2.7%
Media
69.6%
Prevención
Acertos
1
Erros
2
Non contestadas
9
Certeza
8.3%
Media
89.8%
Probas
Acertos
0
Erros
4
Non contestadas
17
Certeza
0.0%
Media
73.9%
Prognóstico
Acertos
1
Erros
0
Non contestadas
6
Certeza
14.3%
Media
83.9%
Risco
Acertos
0
Erros
1
Non contestadas
12
Certeza
0.0%
Media
83.6%
Tratamento
Acertos
4
Erros
14
Non contestadas
53
Certeza
5.6%
Media
81.3%
#RespostaCorrectaEstado
1B
2D
3B
4C
5C
6B
7D
8C
9A
10D
11D
12DA
13C
14A
15B
16A
17DC
18A
19B
20C
21D
22B
23AA
24A
25C
26CB
27C
28A
29DB
30C
31AD
32BA
33C
34B
35D
36D
37A
38A
39C
40B
41C
42D
43A
44D
45CD
46B
47C
48C
49B
50C
51AA
52BD
53C
54B
55AC
56D
57A
58AA
59A
60A
61A
62D
63AD
64Anulada
65D
66C
67B
68Anulada
69A
70B
71B
72BD
73DB
74C
75B
76A
77D
78C
79B
80A
81C
82C
83B
84DC
85A
86A
87B
88D
89CB
90A
91AD
92A
93BC
94B
95DD
96B
97B
98CB
99A
100CB
101A
102D
103B
104CD
105AB
106C
107C
108B
109D
110D
111B
112C
113AAnulada
114D
115AD
116CA
117D
118D
119A
120C
121A
122B
123D
124D
125B
126D
127AA
128B
129BD
130C
131C
132D
133CA
134AC
135CA
136D
137A
138C
139AA
140C
141B
142C
143A
144D
145C
146C
147AC
148A
149C
150D
151A
152A
153C
154B
155BD
156C
157C
158D
159D
160B
161B
162B
163AB
164DB
165A
166C
167A
168B
169C
170A
171D
172AB
173A
174B
175AA
176C
177C
178B
179C
180Anulada
181B
182AD
183C
184A
185C
186D
187BA
188C
189CD
190D
191B
192B
193C
194C
195C
196B
197A
198AB
199D
200A
201B
202D
203B
204D
205D
206Anulada
207A
208A
209B
210AD