MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

290

#290 de 291 modelos — MIR 2024

Puntuación neta

2.33 pts

Certeza

5.5%

Correctas / Incorrectas

11 / 26

Custo total

$0.34

Rendemento Xeral

(vs. media)
Certeza

5.5%

avg: 80.5%

Puntuación neta

2.33 pts

avg: 150.85 pts

Acertos

11

avg: 161

Erros

26

avg: 30

Custo total

$0.34

avg: $3.32

Tempo promedio de resposta

30.6s

avg: 16.4s

Tokens saíntes

205K

avg: 427K

Tokens de razoamento

0

avg: 310K

Confianza promedia

24.0%

avg: 95.4%

Desglose por Materia

Alerxoloxía
Acertos
0
Erros
1
Non contestadas
2
Certeza
0.0%
Media
90.5%
Anestesioloxía e Reanimación
Acertos
0
Erros
0
Non contestadas
4
Certeza
0.0%
Media
87.1%
Cardioloxía
Acertos
0
Erros
2
Non contestadas
19
Certeza
0.0%
Media
79.7%
Coidados Paliativos
Acertos
0
Erros
1
Non contestadas
3
Certeza
0.0%
Media
88.2%
Dermatoloxía
Acertos
0
Erros
1
Non contestadas
13
Certeza
0.0%
Media
80.2%
Endocrinoloxía e Nutrición
Acertos
0
Erros
3
Non contestadas
16
Certeza
0.0%
Media
84.2%
Enfermidades Infecciosas
Acertos
1
Erros
2
Non contestadas
20
Certeza
4.3%
Media
81.8%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
6
Certeza
12.5%
Media
89.3%
Estatística
Acertos
1
Erros
0
Non contestadas
2
Certeza
33.3%
Media
91.1%
Farmacoloxía
Acertos
3
Erros
0
Non contestadas
20
Certeza
13.0%
Media
85.4%
Gastroenteroloxía
Acertos
0
Erros
5
Non contestadas
17
Certeza
0.0%
Media
70.5%
Hematoloxía
Acertos
2
Erros
0
Non contestadas
11
Certeza
15.4%
Media
81.5%
Inmunoloxía
Acertos
0
Erros
1
Non contestadas
7
Certeza
0.0%
Media
89.1%
Medicina Legal e Bioética
Acertos
0
Erros
0
Non contestadas
2
Certeza
0.0%
Media
91.7%
Nefroloxía
Acertos
1
Erros
0
Non contestadas
12
Certeza
7.7%
Media
80.8%
Neuroloxía
Acertos
3
Erros
3
Non contestadas
16
Certeza
13.6%
Media
83.7%
Oftalmoloxía
Acertos
0
Erros
1
Non contestadas
4
Certeza
0.0%
Media
80.0%
Oncoloxía Médica
Acertos
2
Erros
3
Non contestadas
16
Certeza
9.5%
Media
80.2%
ORL
Acertos
0
Erros
3
Non contestadas
4
Certeza
0.0%
Media
74.4%
Pediatría
Acertos
1
Erros
0
Non contestadas
16
Certeza
5.9%
Media
82.0%
Planificación e Xestión Sanitaria
Acertos
0
Erros
0
Non contestadas
2
Certeza
0.0%
Media
73.2%
Pneumoloxía
Acertos
2
Erros
2
Non contestadas
15
Certeza
10.5%
Media
80.6%
Psiquiatría
Acertos
0
Erros
1
Non contestadas
9
Certeza
0.0%
Media
89.5%
Radioloxía-Urxencias
Acertos
0
Erros
2
Non contestadas
12
Certeza
0.0%
Media
64.9%
Reumatoloxía
Acertos
0
Erros
1
Non contestadas
13
Certeza
0.0%
Media
81.4%
Traumatoloxía
Acertos
0
Erros
3
Non contestadas
12
Certeza
0.0%
Media
74.5%
Uroloxía
Acertos
1
Erros
1
Non contestadas
4
Certeza
16.7%
Media
78.2%
Xenética
Acertos
0
Erros
1
Non contestadas
6
Certeza
0.0%
Media
86.5%
Xeriatría
Acertos
1
Erros
0
Non contestadas
9
Certeza
10.0%
Media
86.9%
Xinecoloxía e Obstetricia
Acertos
1
Erros
2
Non contestadas
11
Certeza
7.1%
Media
81.2%

Desglose por Tipo de Pregunta

Anatomía
Acertos
0
Erros
3
Non contestadas
3
Certeza
0.0%
Media
79.8%
Bioestatística
Acertos
1
Erros
0
Non contestadas
4
Certeza
20.0%
Media
90.7%
Diagnóstico
Acertos
3
Erros
13
Non contestadas
57
Certeza
4.1%
Media
79.2%
Epidemioloxía
Acertos
1
Erros
1
Non contestadas
10
Certeza
8.3%
Media
81.2%
Ética
Acertos
0
Erros
0
Non contestadas
1
Certeza
0.0%
Media
94.5%
Farmacoloxía
Acertos
2
Erros
1
Non contestadas
22
Certeza
8.0%
Media
84.0%
Fisiopatoloxía
Acertos
2
Erros
4
Non contestadas
27
Certeza
6.1%
Media
85.4%
Interpretación
Acertos
3
Erros
5
Non contestadas
29
Certeza
8.1%
Media
69.6%
Prevención
Acertos
0
Erros
1
Non contestadas
11
Certeza
0.0%
Media
89.8%
Probas
Acertos
2
Erros
3
Non contestadas
16
Certeza
9.5%
Media
73.9%
Prognóstico
Acertos
1
Erros
0
Non contestadas
6
Certeza
14.3%
Media
83.9%
Risco
Acertos
1
Erros
0
Non contestadas
12
Certeza
7.7%
Media
83.6%
Tratamento
Acertos
2
Erros
10
Non contestadas
59
Certeza
2.8%
Media
81.3%
#RespostaCorrectaEstado
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Anulada
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Anulada
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Anulada
207—A
208—A
209CB
210—D