MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

290

#290 de 291 models — MIR 2024

Puntuació neta

2.33 pts

Certesa

5.5%

Correctes / Incorrectes

11 / 26

Cost total

$0.34

Rendiment General

(vs. mitjana)
Certesa

5.5%

avg: 80.5%

Puntuació neta

2.33 pts

avg: 150.85 pts

Encerts

11

avg: 161

Errors

26

avg: 30

Cost total

$0.34

avg: $3.32

Temps mitjà de resposta

30.6s

avg: 16.4s

Tokens eixints

205K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

24.0%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
87.1%
Cardiologia
Encerts
0
Errors
2
No contestades
19
Certesa
0.0%
Mitjana
79.7%
Cures Pal·liatives
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
88.2%
Dermatologia
Encerts
0
Errors
1
No contestades
13
Certesa
0.0%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
0
Errors
3
No contestades
16
Certesa
0.0%
Mitjana
84.2%
Epidemiologia
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
89.3%
Estadística
Encerts
1
Errors
0
No contestades
2
Certesa
33.3%
Mitjana
91.1%
Farmacologia
Encerts
3
Errors
0
No contestades
20
Certesa
13.0%
Mitjana
85.4%
Gastroenterologia
Encerts
0
Errors
5
No contestades
17
Certesa
0.0%
Mitjana
70.5%
Genètica
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
86.5%
Geriatria
Encerts
1
Errors
0
No contestades
9
Certesa
10.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
1
Errors
2
No contestades
11
Certesa
7.1%
Mitjana
81.2%
Hematologia
Encerts
2
Errors
0
No contestades
11
Certesa
15.4%
Mitjana
81.5%
Immunologia
Encerts
0
Errors
1
No contestades
7
Certesa
0.0%
Mitjana
89.1%
Malalties Infeccioses
Encerts
1
Errors
2
No contestades
20
Certesa
4.3%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
91.7%
Nefrologia
Encerts
1
Errors
0
No contestades
12
Certesa
7.7%
Mitjana
80.8%
Neurologia
Encerts
3
Errors
3
No contestades
16
Certesa
13.6%
Mitjana
83.7%
Oftalmologia
Encerts
0
Errors
1
No contestades
4
Certesa
0.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
2
Errors
3
No contestades
16
Certesa
9.5%
Mitjana
80.2%
ORL
Encerts
0
Errors
3
No contestades
4
Certesa
0.0%
Mitjana
74.4%
Pediatria
Encerts
1
Errors
0
No contestades
16
Certesa
5.9%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
73.2%
Pneumologia
Encerts
2
Errors
2
No contestades
15
Certesa
10.5%
Mitjana
80.6%
Psiquiatria
Encerts
0
Errors
1
No contestades
9
Certesa
0.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
0
Errors
2
No contestades
12
Certesa
0.0%
Mitjana
64.9%
Reumatologia
Encerts
0
Errors
1
No contestades
13
Certesa
0.0%
Mitjana
81.4%
Traumatologia
Encerts
0
Errors
3
No contestades
12
Certesa
0.0%
Mitjana
74.5%
Urologia
Encerts
1
Errors
1
No contestades
4
Certesa
16.7%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
3
No contestades
3
Certesa
0.0%
Mitjana
79.8%
Bioestadística
Encerts
1
Errors
0
No contestades
4
Certesa
20.0%
Mitjana
90.7%
Diagnòstic
Encerts
3
Errors
13
No contestades
57
Certesa
4.1%
Mitjana
79.2%
Epidemiologia
Encerts
1
Errors
1
No contestades
10
Certesa
8.3%
Mitjana
81.2%
Ètica
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
94.5%
Farmacologia
Encerts
2
Errors
1
No contestades
22
Certesa
8.0%
Mitjana
84.0%
Fisiopatologia
Encerts
2
Errors
4
No contestades
27
Certesa
6.1%
Mitjana
85.4%
Interpretació
Encerts
3
Errors
5
No contestades
29
Certesa
8.1%
Mitjana
69.6%
Prevenció
Encerts
0
Errors
1
No contestades
11
Certesa
0.0%
Mitjana
89.8%
Pronòstic
Encerts
1
Errors
0
No contestades
6
Certesa
14.3%
Mitjana
83.9%
Proves
Encerts
2
Errors
3
No contestades
16
Certesa
9.5%
Mitjana
73.9%
Risc
Encerts
1
Errors
0
No contestades
12
Certesa
7.7%
Mitjana
83.6%
Tractament
Encerts
2
Errors
10
No contestades
59
Certesa
2.8%
Mitjana
81.3%
#RespostaCorrectaEstat
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Anul·lada
65—D
66—C
67—B
68——Anul·lada
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Anul·lada
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Anul·lada
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Anul·lada
207—A
208—A
209CB
210—D