MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

318

#318 de 320 modelosMIR 2024

Puntuación neta

2.33 pts

Certeza

5.5%

Correctas / Incorrectas

11 / 26

Coste total

$0.35

Rendimiento General

(vs. media)
Certeza

5.5%

avg: 81.3%

Puntuación neta

2.33 pts

avg: 153.08 pts

Aciertos

11

avg: 163

Fallos

26

avg: 29

Coste total

$0.35

avg: $3.09

Tiempo promedio de respuesta

31.1s

avg: 17.7s

Tokens salientes

209K

avg: 414K

Tokens de razonamiento

0

avg: 296K

Confianza promedio

24.0%

avg: 95.7%

Desglose por Asignatura

Alergología
Aciertos
0
Fallos
1
Vacías
2
Certeza
0.0%
Media
90.8%
Anestesiología y Reanimación
Aciertos
0
Fallos
0
Vacías
4
Certeza
0.0%
Media
87.7%
Cardiología
Aciertos
0
Fallos
2
Vacías
19
Certeza
0.0%
Media
80.4%
Cuidados Paliativos
Aciertos
0
Fallos
1
Vacías
3
Certeza
0.0%
Media
88.6%
Dermatología
Aciertos
0
Fallos
1
Vacías
13
Certeza
0.0%
Media
81.0%
Endocrinología y Nutrición
Aciertos
0
Fallos
3
Vacías
16
Certeza
0.0%
Media
85.1%
Enfermedades Infecciosas
Aciertos
1
Fallos
2
Vacías
20
Certeza
4.3%
Media
82.5%
Epidemiología
Aciertos
1
Fallos
1
Vacías
6
Certeza
12.5%
Media
89.7%
Estadística
Aciertos
1
Fallos
0
Vacías
2
Certeza
33.3%
Media
91.6%
Farmacología
Aciertos
3
Fallos
0
Vacías
20
Certeza
13.0%
Media
85.8%
Gastroenterología
Aciertos
0
Fallos
5
Vacías
17
Certeza
0.0%
Media
71.5%
Genética
Aciertos
0
Fallos
1
Vacías
6
Certeza
0.0%
Media
87.1%
Geriatría
Aciertos
1
Fallos
0
Vacías
9
Certeza
10.0%
Media
87.7%
Ginecología y Obstetricia
Aciertos
1
Fallos
2
Vacías
11
Certeza
7.1%
Media
82.0%
Hematología
Aciertos
2
Fallos
0
Vacías
11
Certeza
15.4%
Media
82.4%
Inmunología
Aciertos
0
Fallos
1
Vacías
7
Certeza
0.0%
Media
89.7%
Medicina Legal y Bioética
Aciertos
0
Fallos
0
Vacías
2
Certeza
0.0%
Media
91.8%
Nefrología
Aciertos
1
Fallos
0
Vacías
12
Certeza
7.7%
Media
81.8%
Neumología
Aciertos
2
Fallos
2
Vacías
15
Certeza
10.5%
Media
81.6%
Neurología
Aciertos
3
Fallos
3
Vacías
16
Certeza
13.6%
Media
84.5%
Oftalmología
Aciertos
0
Fallos
1
Vacías
4
Certeza
0.0%
Media
81.3%
Oncología Médica
Aciertos
2
Fallos
3
Vacías
16
Certeza
9.5%
Media
80.9%
ORL
Aciertos
0
Fallos
3
Vacías
4
Certeza
0.0%
Media
75.1%
Pediatría
Aciertos
1
Fallos
0
Vacías
16
Certeza
5.9%
Media
82.9%
Planificación y Gestión Sanitaria
Aciertos
0
Fallos
0
Vacías
2
Certeza
0.0%
Media
75.1%
Psiquiatría
Aciertos
0
Fallos
1
Vacías
9
Certeza
0.0%
Media
90.0%
Radiología-Urgencias
Aciertos
0
Fallos
2
Vacías
12
Certeza
0.0%
Media
66.0%
Reumatología
Aciertos
0
Fallos
1
Vacías
13
Certeza
0.0%
Media
82.4%
Traumatología
Aciertos
0
Fallos
3
Vacías
12
Certeza
0.0%
Media
75.4%
Urología
Aciertos
1
Fallos
1
Vacías
4
Certeza
16.7%
Media
79.0%

Desglose por Tipo de Pregunta

Anatomía
Aciertos
0
Fallos
3
Vacías
3
Certeza
0.0%
Media
81.1%
Bioestadística
Aciertos
1
Fallos
0
Vacías
4
Certeza
20.0%
Media
91.3%
Diagnóstico
Aciertos
3
Fallos
13
Vacías
57
Certeza
4.1%
Media
80.0%
Epidemiología
Aciertos
1
Fallos
1
Vacías
10
Certeza
8.3%
Media
82.1%
Ética
Aciertos
0
Fallos
0
Vacías
1
Certeza
0.0%
Media
94.0%
Farmacología
Aciertos
2
Fallos
1
Vacías
22
Certeza
8.0%
Media
84.7%
Fisiopatología
Aciertos
2
Fallos
4
Vacías
27
Certeza
6.1%
Media
86.1%
Interpretación
Aciertos
3
Fallos
5
Vacías
29
Certeza
8.1%
Media
70.5%
Prevención
Aciertos
0
Fallos
1
Vacías
11
Certeza
0.0%
Media
90.3%
Pronóstico
Aciertos
1
Fallos
0
Vacías
6
Certeza
14.3%
Media
84.6%
Pruebas
Aciertos
2
Fallos
3
Vacías
16
Certeza
9.5%
Media
75.0%
Riesgo
Aciertos
1
Fallos
0
Vacías
12
Certeza
7.7%
Media
84.5%
Tratamiento
Aciertos
2
Fallos
10
Vacías
59
Certeza
2.8%
Media
82.1%
#RespuestaCorrectaEstado
1DB
2AD
3B
4C
5C
6B
7CD
8C
9A
10DD
11D
12A
13C
14A
15B
16AA
17C
18DA
19B
20CC
21D
22B
23A
24A
25C
26B
27AC
28A
29B
30AC
31D
32A
33C
34B
35D
36D
37A
38A
39AC
40B
41C
42D
43CA
44D
45D
46BB
47C
48C
49B
50C
51A
52DD
53C
54B
55C
56D
57CA
58CA
59A
60A
61BA
62D
63AD
64Anulada
65D
66C
67B
68Anulada
69A
70B
71DB
72D
73B
74C
75B
76A
77D
78C
79B
80A
81C
82C
83B
84C
85A
86AA
87DB
88D
89B
90A
91D
92A
93C
94B
95CD
96B
97B
98B
99A
100B
101DA
102D
103B
104D
105B
106CC
107C
108B
109D
110CD
111B
112C
113Anulada
114D
115D
116CA
117D
118D
119A
120C
121A
122B
123D
124DD
125B
126AD
127A
128B
129D
130C
131C
132D
133CA
134C
135A
136BD
137A
138C
139A
140C
141B
142C
143A
144DD
145C
146CC
147C
148A
149C
150D
151A
152A
153C
154B
155D
156C
157C
158D
159D
160B
161B
162B
163DB
164B
165A
166C
167DA
168B
169BC
170A
171D
172B
173A
174B
175A
176C
177C
178B
179C
180Anulada
181B
182D
183AC
184A
185C
186D
187A
188C
189D
190D
191B
192B
193C
194C
195C
196B
197AA
198B
199D
200A
201B
202D
203CB
204D
205D
206Anulada
207A
208A
209CB
210D