MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

318

#318 de 320 models — MIR 2024

Puntuació neta

2.33 pts

Certesa

5.5%

Correctes / Incorrectes

11 / 26

Cost total

$0.35

Rendiment General

(vs. mitjana)
Certesa

5.5%

avg: 81.3%

Puntuació neta

2.33 pts

avg: 153.08 pts

Encerts

11

avg: 163

Errors

26

avg: 29

Cost total

$0.35

avg: $3.09

Temps mitjà de resposta

31.1s

avg: 17.7s

Tokens eixints

209K

avg: 414K

Tokens de raonament

0

avg: 296K

Confiança mitjana

24.0%

avg: 95.7%

Desglossament per Assignatura

Al·lergologia
Encerts
0
Errors
1
No contestades
2
Certesa
0.0%
Mitjana
90.8%
Anestesiologia i Reanimació
Encerts
0
Errors
0
No contestades
4
Certesa
0.0%
Mitjana
87.7%
Cardiologia
Encerts
0
Errors
2
No contestades
19
Certesa
0.0%
Mitjana
80.4%
Cures Pal·liatives
Encerts
0
Errors
1
No contestades
3
Certesa
0.0%
Mitjana
88.6%
Dermatologia
Encerts
0
Errors
1
No contestades
13
Certesa
0.0%
Mitjana
81.0%
Endocrinologia i Nutrició
Encerts
0
Errors
3
No contestades
16
Certesa
0.0%
Mitjana
85.1%
Epidemiologia
Encerts
1
Errors
1
No contestades
6
Certesa
12.5%
Mitjana
89.7%
Estadística
Encerts
1
Errors
0
No contestades
2
Certesa
33.3%
Mitjana
91.6%
Farmacologia
Encerts
3
Errors
0
No contestades
20
Certesa
13.0%
Mitjana
85.8%
Gastroenterologia
Encerts
0
Errors
5
No contestades
17
Certesa
0.0%
Mitjana
71.5%
Genètica
Encerts
0
Errors
1
No contestades
6
Certesa
0.0%
Mitjana
87.1%
Geriatria
Encerts
1
Errors
0
No contestades
9
Certesa
10.0%
Mitjana
87.7%
Ginecologia i Obstetrícia
Encerts
1
Errors
2
No contestades
11
Certesa
7.1%
Mitjana
82.0%
Hematologia
Encerts
2
Errors
0
No contestades
11
Certesa
15.4%
Mitjana
82.4%
Immunologia
Encerts
0
Errors
1
No contestades
7
Certesa
0.0%
Mitjana
89.7%
Malalties Infeccioses
Encerts
1
Errors
2
No contestades
20
Certesa
4.3%
Mitjana
82.5%
Medicina Legal i Bioètica
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
91.8%
Nefrologia
Encerts
1
Errors
0
No contestades
12
Certesa
7.7%
Mitjana
81.8%
Neurologia
Encerts
3
Errors
3
No contestades
16
Certesa
13.6%
Mitjana
84.5%
Oftalmologia
Encerts
0
Errors
1
No contestades
4
Certesa
0.0%
Mitjana
81.3%
Oncologia Mèdica
Encerts
2
Errors
3
No contestades
16
Certesa
9.5%
Mitjana
80.9%
ORL
Encerts
0
Errors
3
No contestades
4
Certesa
0.0%
Mitjana
75.1%
Pediatria
Encerts
1
Errors
0
No contestades
16
Certesa
5.9%
Mitjana
82.9%
Planificació i Gestió Sanitària
Encerts
0
Errors
0
No contestades
2
Certesa
0.0%
Mitjana
75.1%
Pneumologia
Encerts
2
Errors
2
No contestades
15
Certesa
10.5%
Mitjana
81.6%
Psiquiatria
Encerts
0
Errors
1
No contestades
9
Certesa
0.0%
Mitjana
90.0%
Radiologia-Urgències
Encerts
0
Errors
2
No contestades
12
Certesa
0.0%
Mitjana
66.0%
Reumatologia
Encerts
0
Errors
1
No contestades
13
Certesa
0.0%
Mitjana
82.4%
Traumatologia
Encerts
0
Errors
3
No contestades
12
Certesa
0.0%
Mitjana
75.4%
Urologia
Encerts
1
Errors
1
No contestades
4
Certesa
16.7%
Mitjana
79.0%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
0
Errors
3
No contestades
3
Certesa
0.0%
Mitjana
81.1%
Bioestadística
Encerts
1
Errors
0
No contestades
4
Certesa
20.0%
Mitjana
91.3%
Diagnòstic
Encerts
3
Errors
13
No contestades
57
Certesa
4.1%
Mitjana
80.0%
Epidemiologia
Encerts
1
Errors
1
No contestades
10
Certesa
8.3%
Mitjana
82.1%
Ètica
Encerts
0
Errors
0
No contestades
1
Certesa
0.0%
Mitjana
94.0%
Farmacologia
Encerts
2
Errors
1
No contestades
22
Certesa
8.0%
Mitjana
84.7%
Fisiopatologia
Encerts
2
Errors
4
No contestades
27
Certesa
6.1%
Mitjana
86.1%
Interpretació
Encerts
3
Errors
5
No contestades
29
Certesa
8.1%
Mitjana
70.5%
Prevenció
Encerts
0
Errors
1
No contestades
11
Certesa
0.0%
Mitjana
90.3%
Pronòstic
Encerts
1
Errors
0
No contestades
6
Certesa
14.3%
Mitjana
84.6%
Proves
Encerts
2
Errors
3
No contestades
16
Certesa
9.5%
Mitjana
75.0%
Risc
Encerts
1
Errors
0
No contestades
12
Certesa
7.7%
Mitjana
84.5%
Tractament
Encerts
2
Errors
10
No contestades
59
Certesa
2.8%
Mitjana
82.1%
#RespostaCorrectaEstat
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Anul·lada
65—D
66—C
67—B
68——Anul·lada
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Anul·lada
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Anul·lada
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Anul·lada
207—A
208—A
209CB
210—D