MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

318

#318 de 320 modelos — MIR 2024

Puntuación neta

2.33 pts

Certeza

5.5%

Correctas / Incorrectas

11 / 26

Coste total

$0.35

Rendimiento General

(vs. media)
Certeza

5.5%

avg: 81.3%

Puntuación neta

2.33 pts

avg: 153.08 pts

Aciertos

11

avg: 163

Fallos

26

avg: 29

Coste total

$0.35

avg: $3.09

Tiempo promedio de respuesta

31.1s

avg: 17.7s

Tokens salientes

209K

avg: 414K

Tokens de razonamiento

0

avg: 296K

Confianza promedio

24.0%

avg: 95.7%

Desglose por Asignatura

Alergología
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
90.8%
Anestesiología y Reanimación
Aciertos
0
Fallos
0
Vacías
4
Certeza
0.0%
Media
87.7%
Cardiología
Aciertos
0
Fallos
2
Vacías
19
Certeza
0.0%
Media
80.4%
Cuidados Paliativos
Aciertos
0
Fallos
1
Vacías
3
Certeza
0.0%
Media
88.6%
Dermatología
Aciertos
0
Fallos
1
Vacías
13
Certeza
0.0%
Media
81.0%
Endocrinología y Nutrición
Aciertos
0
Fallos
3
Vacías
16
Certeza
0.0%
Media
85.1%
Enfermedades Infecciosas
Aciertos
1
Fallos
2
Vacías
20
Certeza
4.3%
Media
82.5%
Epidemiología
Aciertos
1
Fallos
1
Vacías
6
Certeza
12.5%
Media
89.7%
Estadística
Aciertos
1
Fallos
0
Vacías
2
Certeza
33.3%
Media
91.6%
Farmacología
Aciertos
3
Fallos
0
Vacías
20
Certeza
13.0%
Media
85.8%
Gastroenterología
Aciertos
0
Fallos
5
Vacías
17
Certeza
0.0%
Media
71.5%
Genética
Aciertos
0
Fallos
1
Vacías
6
Certeza
0.0%
Media
87.1%
Geriatría
Aciertos
1
Fallos
0
Vacías
9
Certeza
10.0%
Media
87.7%
Ginecología y Obstetricia
Aciertos
1
Fallos
2
Vacías
11
Certeza
7.1%
Media
82.0%
Hematología
Aciertos
2
Fallos
0
Vacías
11
Certeza
15.4%
Media
82.4%
Inmunología
Aciertos
0
Fallos
1
Vacías
7
Certeza
0.0%
Media
89.7%
Medicina Legal y Bioética
Aciertos
0
Fallos
0
Vacías
2
Certeza
0.0%
Media
91.8%
Nefrología
Aciertos
1
Fallos
0
Vacías
12
Certeza
7.7%
Media
81.8%
Neumología
Aciertos
2
Fallos
2
Vacías
15
Certeza
10.5%
Media
81.6%
Neurología
Aciertos
3
Fallos
3
Vacías
16
Certeza
13.6%
Media
84.5%
Oftalmología
Aciertos
0
Fallos
1
Vacías
4
Certeza
0.0%
Media
81.3%
Oncología Médica
Aciertos
2
Fallos
3
Vacías
16
Certeza
9.5%
Media
80.9%
ORL
Aciertos
0
Fallos
3
Vacías
4
Certeza
0.0%
Media
75.1%
Pediatría
Aciertos
1
Fallos
0
Vacías
16
Certeza
5.9%
Media
82.9%
Planificación y Gestión Sanitaria
Aciertos
0
Fallos
0
Vacías
2
Certeza
0.0%
Media
75.1%
Psiquiatría
Aciertos
0
Fallos
1
Vacías
9
Certeza
0.0%
Media
90.0%
Radiología-Urgencias
Aciertos
0
Fallos
2
Vacías
12
Certeza
0.0%
Media
66.0%
Reumatología
Aciertos
0
Fallos
1
Vacías
13
Certeza
0.0%
Media
82.4%
Traumatología
Aciertos
0
Fallos
3
Vacías
12
Certeza
0.0%
Media
75.4%
Urología
Aciertos
1
Fallos
1
Vacías
4
Certeza
16.7%
Media
79.0%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
0
Fallos
3
Vacías
3
Certeza
0.0%
Media
81.1%
Bioestadística
Aciertos
1
Fallos
0
Vacías
4
Certeza
20.0%
Media
91.3%
Diagnóstico
Aciertos
3
Fallos
13
Vacías
57
Certeza
4.1%
Media
80.0%
Epidemiología
Aciertos
1
Fallos
1
Vacías
10
Certeza
8.3%
Media
82.1%
Ética
Aciertos
0
Fallos
0
Vacías
1
Certeza
0.0%
Media
94.0%
Farmacología
Aciertos
2
Fallos
1
Vacías
22
Certeza
8.0%
Media
84.7%
Fisiopatología
Aciertos
2
Fallos
4
Vacías
27
Certeza
6.1%
Media
86.1%
Interpretación
Aciertos
3
Fallos
5
Vacías
29
Certeza
8.1%
Media
70.5%
Prevención
Aciertos
0
Fallos
1
Vacías
11
Certeza
0.0%
Media
90.3%
Pronóstico
Aciertos
1
Fallos
0
Vacías
6
Certeza
14.3%
Media
84.6%
Pruebas
Aciertos
2
Fallos
3
Vacías
16
Certeza
9.5%
Media
75.0%
Riesgo
Aciertos
1
Fallos
0
Vacías
12
Certeza
7.7%
Media
84.5%
Tratamiento
Aciertos
2
Fallos
10
Vacías
59
Certeza
2.8%
Media
82.1%
#RespuestaCorrectaEstado
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Anulada
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Anulada
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Anulada
207—A
208—A
209CB
210—D