MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

320

#320 de 320 models — MIR 2024

Puntuació neta

0.00 pts

Certesa

3.5%

Correctes / Incorrectes

7 / 37

Cost total

$0.65

Rendiment General

(vs. mitjana)
Certesa

3.5%

avg: 81.3%

Puntuació neta

0.00 pts

avg: 153.08 pts

Encerts

7

avg: 163

Errors

37

avg: 29

Cost total

$0.65

avg: $3.09

Temps mitjà de resposta

66.2s

avg: 17.7s

Tokens sortints

455K

avg: 414K

Tokens de raonament

0

avg: 296K

Confiança mitjana

22.9%

avg: 95.7%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
90.8%
Anestesiologia i Reanimació
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
87.7%
Cardiologia
Encerts
1
Errors
7
No contestades
13
Certesa
4.8%
Mitjana
80.4%
Cures Pal·liatives
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
88.6%
Dermatologia
Encerts
1
Errors
2
No contestades
11
Certesa
7.1%
Mitjana
81.0%
Endocrinologia i Nutrició
Encerts
1
Errors
2
No contestades
16
Certesa
5.3%
Mitjana
85.1%
Epidemiologia
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
89.7%
Estadística
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
91.6%
Farmacologia
Encerts
1
Errors
3
No contestades
19
Certesa
4.3%
Mitjana
85.8%
Gastroenterologia
Encerts
1
Errors
4
No contestades
17
Certesa
4.5%
Mitjana
71.5%
Genètica
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
87.1%
Geriatria
Encerts
0
Errors
0
No contestades
10
Certesa
0.0%
Mitjana
87.7%
Ginecologia i Obstetrícia
Encerts
0
Errors
2
No contestades
12
Certesa
0.0%
Mitjana
82.0%
Hematologia
Encerts
0
Errors
2
No contestades
11
Certesa
0.0%
Mitjana
82.4%
Immunologia
Encerts
0
Errors
1
No contestades
7
Certesa
0.0%
Mitjana
89.7%
Malalties Infeccioses
Encerts
0
Errors
6
No contestades
17
Certesa
0.0%
Mitjana
82.5%
Medicina Legal i Bioètica
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
91.8%
Nefrologia
Encerts
0
Errors
1
No contestades
12
Certesa
0.0%
Mitjana
81.8%
Neurologia
Encerts
2
Errors
3
No contestades
17
Certesa
9.1%
Mitjana
84.5%
Oftalmologia
Encerts
2
Errors
0
No contestades
3
Certesa
40.0%
Mitjana
81.3%
Oncologia Mèdica
Encerts
1
Errors
5
No contestades
15
Certesa
4.8%
Mitjana
80.9%
ORL
Encerts
0
Errors
2
No contestades
5
Certesa
0.0%
Mitjana
75.1%
Pediatria
Encerts
0
Errors
4
No contestades
13
Certesa
0.0%
Mitjana
82.9%
Planificació i Gestió Sanitària
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
75.1%
Pneumologia
Encerts
1
Errors
2
No contestades
16
Certesa
5.3%
Mitjana
81.6%
Psiquiatria
Encerts
0
Errors
2
No contestades
8
Certesa
0.0%
Mitjana
90.0%
Radiologia-Urgències
Encerts
0
Errors
1
No contestades
13
Certesa
0.0%
Mitjana
66.0%
Reumatologia
Encerts
0
Errors
2
No contestades
12
Certesa
0.0%
Mitjana
82.4%
Traumatologia
Encerts
0
Errors
5
No contestades
10
Certesa
0.0%
Mitjana
75.4%
Urologia
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
79.0%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
1
No contestades
5
Certesa
0.0%
Mitjana
81.1%
Bioestadística
Encerts
0
Errors
1
No contestades
4
Certesa
0.0%
Mitjana
91.3%
Diagnòstic
Encerts
3
Errors
9
No contestades
61
Certesa
4.1%
Mitjana
80.0%
Epidemiologia
Encerts
1
Errors
2
No contestades
9
Certesa
8.3%
Mitjana
82.1%
Ètica
Encerts
0
Errors
1
No contestades
0
Certesa
0.0%
Mitjana
94.0%
Farmacologia
Encerts
1
Errors
2
No contestades
22
Certesa
4.0%
Mitjana
84.7%
Fisiopatologia
Encerts
0
Errors
9
No contestades
24
Certesa
0.0%
Mitjana
86.1%
Interpretació
Encerts
1
Errors
3
No contestades
33
Certesa
2.7%
Mitjana
70.5%
Prevenció
Encerts
1
Errors
2
No contestades
9
Certesa
8.3%
Mitjana
90.3%
Pronòstic
Encerts
1
Errors
0
No contestades
6
Certesa
14.3%
Mitjana
84.6%
Proves
Encerts
0
Errors
4
No contestades
17
Certesa
0.0%
Mitjana
75.0%
Risc
Encerts
0
Errors
1
No contestades
12
Certesa
0.0%
Mitjana
84.5%
Tractament
Encerts
4
Errors
16
No contestades
51
Certesa
5.6%
Mitjana
82.1%
#RespostaCorrectaEstat
1—B
2—D
3—B
4—C
5—C
6—B
7—D
8—C
9—A
10—D
11—D
12DA
13—C
14—A
15—B
16—A
17DC
18—A
19—B
20—C
21—D
22—B
23AA
24—A
25—C
26CB
27—C
28—A
29DB
30—C
31AD
32BA
33—C
34—B
35—D
36—D
37—A
38—A
39—C
40—B
41—C
42—D
43—A
44—D
45CD
46—B
47—C
48—C
49—B
50—C
51AA
52BD
53—C
54—B
55AC
56—D
57—A
58AA
59—A
60—A
61—A
62—D
63AD
64——Anul·lada
65—D
66—C
67—B
68——Anul·lada
69—A
70—B
71—B
72BD
73DB
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84DC
85—A
86—A
87—B
88—D
89CB
90—A
91AD
92—A
93BC
94—B
95DD
96—B
97—B
98CB
99—A
100CB
101—A
102—D
103—B
104CD
105AB
106—C
107—C
108—B
109—D
110—D
111—B
112—C
113A—Anul·lada
114—D
115AD
116CA
117—D
118—D
119—A
120—C
121—A
122DB
123—D
124—D
125—B
126—D
127AA
128—B
129BD
130—C
131—C
132—D
133CA
134AC
135CA
136—D
137—A
138—C
139AA
140—C
141—B
142—C
143—A
144—D
145—C
146—C
147AC
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155BD
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163AB
164DB
165—A
166—C
167—A
168—B
169—C
170—A
171BD
172AB
173—A
174—B
175AA
176—C
177—C
178—B
179—C
180——Anul·lada
181—B
182AD
183—C
184—A
185—C
186—D
187BA
188—C
189CD
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197—A
198AB
199—D
200—A
201—B
202—D
203—B
204—D
205—D
206——Anul·lada
207—A
208—A
209—B
210AD