MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

319

#319 de 319 modelos — MIR 2025

Puntuación neta

0.00 pts

Certeza

3.5%

Correctas / Incorrectas

7 / 22

Custo total

$0.37

Rendemento Xeral

(vs. media)
Certeza

3.5%

avg: 77.9%

Puntuación neta

0.00 pts

avg: 143.96 pts

Acertos

7

avg: 156

Erros

22

avg: 35

Custo total

$0.37

avg: $3.36

Tempo promedio de resposta

33.4s

avg: 19.0s

Tokens saíntes

226K

avg: 430K

Tokens de razoamento

0

avg: 306K

Confianza promedia

16.4%

avg: 95.2%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
87.9%
Anestesioloxía e Reanimación
Acertos
0
Erros
0
Non contestadas
6
Certeza
0.0%
Media
82.3%
Cardioloxía
Acertos
0
Erros
4
Non contestadas
18
Certeza
0.0%
Media
78.6%
Coidados Paliativos
Acertos
2
Erros
0
Non contestadas
2
Certeza
50.0%
Media
78.6%
Dermatoloxía
Acertos
0
Erros
0
Non contestadas
12
Certeza
0.0%
Media
69.4%
Endocrinoloxía e Nutrición
Acertos
1
Erros
3
Non contestadas
12
Certeza
6.3%
Media
83.5%
Enfermidades Infecciosas
Acertos
0
Erros
4
Non contestadas
23
Certeza
0.0%
Media
74.9%
Epidemioloxía
Acertos
1
Erros
0
Non contestadas
6
Certeza
14.3%
Media
69.1%
Estatística
Acertos
1
Erros
0
Non contestadas
2
Certeza
33.3%
Media
76.6%
Farmacoloxía
Acertos
3
Erros
1
Non contestadas
13
Certeza
17.6%
Media
74.1%
Gastroenteroloxía
Acertos
0
Erros
3
Non contestadas
18
Certeza
0.0%
Media
74.1%
Hematoloxía
Acertos
0
Erros
1
Non contestadas
10
Certeza
0.0%
Media
82.7%
Inmunoloxía
Acertos
1
Erros
0
Non contestadas
8
Certeza
11.1%
Media
83.3%
Medicina Legal e Bioética
Acertos
1
Erros
0
Non contestadas
4
Certeza
20.0%
Media
68.4%
Nefroloxía
Acertos
1
Erros
4
Non contestadas
9
Certeza
7.1%
Media
84.8%
Neuroloxía
Acertos
0
Erros
2
Non contestadas
18
Certeza
0.0%
Media
77.3%
Oftalmoloxía
Acertos
0
Erros
0
Non contestadas
5
Certeza
0.0%
Media
74.2%
Oncoloxía Médica
Acertos
2
Erros
2
Non contestadas
21
Certeza
8.0%
Media
87.2%
ORL
Acertos
0
Erros
1
Non contestadas
7
Certeza
0.0%
Media
74.8%
Pediatría
Acertos
1
Erros
6
Non contestadas
19
Certeza
3.8%
Media
71.9%
Planificación e Xestión Sanitaria
Acertos
0
Erros
0
Non contestadas
2
Certeza
0.0%
Media
82.6%
Pneumoloxía
Acertos
0
Erros
0
Non contestadas
14
Certeza
0.0%
Media
80.4%
Psiquiatría
Acertos
0
Erros
0
Non contestadas
8
Certeza
0.0%
Media
83.0%
Radioloxía-Urxencias
Acertos
0
Erros
2
Non contestadas
12
Certeza
0.0%
Media
69.4%
Reumatoloxía
Acertos
0
Erros
2
Non contestadas
13
Certeza
0.0%
Media
76.6%
Traumatoloxía
Acertos
1
Erros
1
Non contestadas
16
Certeza
5.6%
Media
79.3%
Uroloxía
Acertos
0
Erros
0
Non contestadas
7
Certeza
0.0%
Media
80.7%
Xenética
Acertos
0
Erros
0
Non contestadas
6
Certeza
0.0%
Media
69.5%
Xeriatría
Acertos
1
Erros
0
Non contestadas
10
Certeza
9.1%
Media
77.5%
Xinecoloxía e Obstetricia
Acertos
1
Erros
3
Non contestadas
15
Certeza
5.3%
Media
86.7%

Desglose por Tipo de Pregunta

Anatomía
Acertos
0
Erros
0
Non contestadas
7
Certeza
0.0%
Media
78.6%
Bioestatística
Acertos
1
Erros
0
Non contestadas
3
Certeza
25.0%
Media
79.8%
Diagnóstico
Acertos
3
Erros
12
Non contestadas
73
Certeza
3.4%
Media
79.9%
Epidemioloxía
Acertos
0
Erros
1
Non contestadas
4
Certeza
0.0%
Media
76.7%
Ética
Acertos
1
Erros
0
Non contestadas
2
Certeza
33.3%
Media
74.1%
Farmacoloxía
Acertos
2
Erros
1
Non contestadas
10
Certeza
15.4%
Media
83.3%
Fisiopatoloxía
Acertos
0
Erros
4
Non contestadas
23
Certeza
0.0%
Media
76.1%
Interpretación
Acertos
2
Erros
8
Non contestadas
32
Certeza
4.8%
Media
70.7%
Legal
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
64.6%
Prevención
Acertos
0
Erros
0
Non contestadas
12
Certeza
0.0%
Media
75.6%
Probas
Acertos
0
Erros
2
Non contestadas
25
Certeza
0.0%
Media
77.9%
Prognóstico
Acertos
0
Erros
0
Non contestadas
7
Certeza
0.0%
Media
80.8%
Risco
Acertos
0
Erros
1
Non contestadas
4
Certeza
0.0%
Media
85.2%
Tratamento
Acertos
3
Erros
8
Non contestadas
70
Certeza
3.7%
Media
77.3%
#RespostaCorrectaEstado
1—B
2—A
3—C
4AB
5DA
6AC
7—C
8AA
9—A
10—D
11—D
12—D
13DB
14—D
15——Anulada
16—B
17—B
18—A
19—C
20CA
21—B
22—D
23—C
24—D
25—C
26——Anulada
27DC
28——Anulada
29—D
30—B
31—D
32—A
33—D
34—D
35—B
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45DD
46—A
47—A
48—A
49—D
50—B
51—C
52—B
53—D
54—B
55—A
56——Anulada
57—C
58—B
59—D
60AA
61—A
62BD
63—B
64—D
65—A
66—A
67AB
68AB
69—B
70BA
71—D
72—A
73—D
74—C
75—A
76—B
77—B
78—B
79—C
80—C
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88BD
89—B
90—A
91—B
92—C
93—B
94AC
95—A
96—C
97—D
98AC
99—A
100—C
101DB
102AD
103—A
104—C
105—A
106—C
107—B
108—D
109—B
110—C
111—A
112—C
113—B
114—D
115—D
116—C
117—A
118—D
119DC
120—B
121—D
122—C
123—C
124—C
125AD
126—D
127—B
128—D
129—A
130—D
131—D
132DA
133—B
134AC
135—B
136—C
137—A
138—D
139—D
140—B
141AA
142—A
143—B
144—B
145—D
146—C
147—B
148—A
149—A
150—D
151—A
152—A
153—B
154DB
155—B
156—C
157AA
158—C
159—C
160—A
161—A
162——Anulada
163—D
164—C
165—A
166AB
167—C
168—D
169—B
170—B
171—C
172—A
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180—A
181—B
182CC
183—B
184—B
185—B
186——Anulada
187—C
188—D
189DD
190—A
191—B
192—A
193—C
194—A
195—A
196—A
197—B
198—C
199—D
200—C
201DB
202—A
203—D
204—C
205—B
206—D
207—A
208—C
209—C
210—B