MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

291

#291 de 291 models — MIR 2024

Puntuació neta

0.00 pts

Certesa

3.5%

Correctes / Incorrectes

7 / 35

Cost total

$0.63

Rendiment General

(vs. mitjana)
Certesa

3.5%

avg: 80.5%

Puntuació neta

0.00 pts

avg: 150.85 pts

Encerts

7

avg: 161

Errors

35

avg: 30

Cost total

$0.63

avg: $3.32

Temps mitjà de resposta

66.5s

avg: 16.4s

Tokens sortints

444K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

22.7%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
87.1%
Cardiologia
Encerts
1
Errors
6
No contestades
14
Certesa
4.8%
Mitjana
79.7%
Cures Pal·liatives
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
88.2%
Dermatologia
Encerts
1
Errors
1
No contestades
12
Certesa
7.1%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
1
Errors
2
No contestades
16
Certesa
5.3%
Mitjana
84.2%
Epidemiologia
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
89.3%
Estadística
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
91.1%
Farmacologia
Encerts
1
Errors
3
No contestades
19
Certesa
4.3%
Mitjana
85.4%
Gastroenterologia
Encerts
1
Errors
4
No contestades
17
Certesa
4.5%
Mitjana
70.5%
Genètica
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
86.5%
Geriatria
Encerts
0
Errors
0
No contestades
10
Certesa
0.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
0
Errors
2
No contestades
12
Certesa
0.0%
Mitjana
81.2%
Hematologia
Encerts
0
Errors
2
No contestades
11
Certesa
0.0%
Mitjana
81.5%
Immunologia
Encerts
0
Errors
1
No contestades
7
Certesa
0.0%
Mitjana
89.1%
Malalties Infeccioses
Encerts
0
Errors
5
No contestades
18
Certesa
0.0%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
91.7%
Nefrologia
Encerts
0
Errors
1
No contestades
12
Certesa
0.0%
Mitjana
80.8%
Neurologia
Encerts
2
Errors
3
No contestades
17
Certesa
9.1%
Mitjana
83.7%
Oftalmologia
Encerts
2
Errors
0
No contestades
3
Certesa
40.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
1
Errors
5
No contestades
15
Certesa
4.8%
Mitjana
80.2%
ORL
Encerts
0
Errors
2
No contestades
5
Certesa
0.0%
Mitjana
74.4%
Pediatria
Encerts
0
Errors
4
No contestades
13
Certesa
0.0%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
73.2%
Pneumologia
Encerts
1
Errors
1
No contestades
17
Certesa
5.3%
Mitjana
80.6%
Psiquiatria
Encerts
0
Errors
2
No contestades
8
Certesa
0.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
0
Errors
1
No contestades
13
Certesa
0.0%
Mitjana
64.9%
Reumatologia
Encerts
0
Errors
2
No contestades
12
Certesa
0.0%
Mitjana
81.4%
Traumatologia
Encerts
0
Errors
5
No contestades
10
Certesa
0.0%
Mitjana
74.5%
Urologia
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
79.8%
Bioestadística
Encerts
0
Errors
1
No contestades
4
Certesa
0.0%
Mitjana
90.7%
Diagnòstic
Encerts
3
Errors
8
No contestades
62
Certesa
4.1%
Mitjana
79.2%
Epidemiologia
Encerts
1
Errors
2
No contestades
9
Certesa
8.3%
Mitjana
81.2%
Ètica
Encerts
0
Errors
1
No contestades
0
Certesa
0.0%
Mitjana
94.5%
Farmacologia
Encerts
1
Errors
2
No contestades
22
Certesa
4.0%
Mitjana
84.0%
Fisiopatologia
Encerts
0
Errors
9
No contestades
24
Certesa
0.0%
Mitjana
85.4%
Interpretació
Encerts
1
Errors
3
No contestades
33
Certesa
2.7%
Mitjana
69.6%
Prevenció
Encerts
1
Errors
2
No contestades
9
Certesa
8.3%
Mitjana
89.8%
Pronòstic
Encerts
1
Errors
0
No contestades
6
Certesa
14.3%
Mitjana
83.9%
Proves
Encerts
0
Errors
4
No contestades
17
Certesa
0.0%
Mitjana
73.9%
Risc
Encerts
0
Errors
1
No contestades
12
Certesa
0.0%
Mitjana
83.6%
Tractament
Encerts
4
Errors
14
No contestades
53
Certesa
5.6%
Mitjana
81.3%
#RespostaCorrectaEstat
1—B
2—D
3—B
4—C
5—C
6—B
7—D
8—C
9—A
10—D
11—D
12DA
13—C
14—A
15—B
16—A
17DC
18—A
19—B
20—C
21—D
22—B
23AA
24—A
25—C
26CB
27—C
28—A
29DB
30—C
31AD
32BA
33—C
34—B
35—D
36—D
37—A
38—A
39—C
40—B
41—C
42—D
43—A
44—D
45CD
46—B
47—C
48—C
49—B
50—C
51AA
52BD
53—C
54—B
55AC
56—D
57—A
58AA
59—A
60—A
61—A
62—D
63AD
64——Anul·lada
65—D
66—C
67—B
68——Anul·lada
69—A
70—B
71—B
72BD
73DB
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84DC
85—A
86—A
87—B
88—D
89CB
90—A
91AD
92—A
93BC
94—B
95DD
96—B
97—B
98CB
99—A
100CB
101—A
102—D
103—B
104CD
105AB
106—C
107—C
108—B
109—D
110—D
111—B
112—C
113A—Anul·lada
114—D
115AD
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124—D
125—B
126—D
127AA
128—B
129BD
130—C
131—C
132—D
133CA
134AC
135CA
136—D
137—A
138—C
139AA
140—C
141—B
142—C
143—A
144—D
145—C
146—C
147AC
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155BD
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163AB
164DB
165—A
166—C
167—A
168—B
169—C
170—A
171—D
172AB
173—A
174—B
175AA
176—C
177—C
178—B
179—C
180——Anul·lada
181—B
182AD
183—C
184—A
185—C
186—D
187BA
188—C
189CD
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197—A
198AB
199—D
200—A
201—B
202—D
203—B
204—D
205—D
206——Anul·lada
207—A
208—A
209—B
210AD