MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

318

#318 320 modeloetatik — MIR 2024

Puntuazio garbia

2.33 pts

Ziurtasuna

5.5%

Zuzenak / Okerrak

11 / 26

Kostu osoa

$0.35

Errendimendu Orokorra

(vs. batez bestekoa)
Ziurtasuna

5.5%

avg: 81.3%

Puntuazio garbia

2.33 pts

avg: 153.08 pts

Zuzenak

11

avg: 163

Okerrak

26

avg: 29

Kostu osoa

$0.35

avg: $3.09

Batez besteko erantzun-denbora

31.1s

avg: 17.7s

Irteerako tokenak

209K

avg: 414K

Arrazonamendu tokenak

0

avg: 296K

Batez besteko konfiantza

24.0%

avg: 95.7%

Irakasgaien araberako xehetasuna

Alergologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
2
Ziurtasuna
0.0%
Batez bestekoa
90.8%
Anestesiologia eta Bizkortzea
Zuzenak
0
Okerrak
0
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
87.7%
Dermatologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
13
Ziurtasuna
0.0%
Batez bestekoa
81.0%
Endokrinologia eta Nutrizioa
Zuzenak
0
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
0.0%
Batez bestekoa
85.1%
Epidemiologia
Zuzenak
1
Okerrak
1
Erantzun gabeak
6
Ziurtasuna
12.5%
Batez bestekoa
89.7%
Erradiologia-Larrialdiak
Zuzenak
0
Okerrak
2
Erantzun gabeak
12
Ziurtasuna
0.0%
Batez bestekoa
66.0%
Erreumatologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
13
Ziurtasuna
0.0%
Batez bestekoa
82.4%
Estatistika
Zuzenak
1
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
33.3%
Batez bestekoa
91.6%
Farmakologia
Zuzenak
3
Okerrak
0
Erantzun gabeak
20
Ziurtasuna
13.0%
Batez bestekoa
85.8%
Gaixotasun Infekziosoak
Zuzenak
1
Okerrak
2
Erantzun gabeak
20
Ziurtasuna
4.3%
Batez bestekoa
82.5%
Gastroenterologia
Zuzenak
0
Okerrak
5
Erantzun gabeak
17
Ziurtasuna
0.0%
Batez bestekoa
71.5%
Genetika
Zuzenak
0
Okerrak
1
Erantzun gabeak
6
Ziurtasuna
0.0%
Batez bestekoa
87.1%
Geriatria
Zuzenak
1
Okerrak
0
Erantzun gabeak
9
Ziurtasuna
10.0%
Batez bestekoa
87.7%
Ginekologia eta Obstetrizia
Zuzenak
1
Okerrak
2
Erantzun gabeak
11
Ziurtasuna
7.1%
Batez bestekoa
82.0%
Hematologia
Zuzenak
2
Okerrak
0
Erantzun gabeak
11
Ziurtasuna
15.4%
Batez bestekoa
82.4%
Immunologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
7
Ziurtasuna
0.0%
Batez bestekoa
89.7%
Kardiologia
Zuzenak
0
Okerrak
2
Erantzun gabeak
19
Ziurtasuna
0.0%
Batez bestekoa
80.4%
Medikuntza Legala eta Bioetika
Zuzenak
0
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
0.0%
Batez bestekoa
91.8%
Nefrologia
Zuzenak
1
Okerrak
0
Erantzun gabeak
12
Ziurtasuna
7.7%
Batez bestekoa
81.8%
Neurologia
Zuzenak
3
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
13.6%
Batez bestekoa
84.5%
Oftalmologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
81.3%
Onkologia Medikoa
Zuzenak
2
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
9.5%
Batez bestekoa
80.9%
ORL
Zuzenak
0
Okerrak
3
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
75.1%
Osasun Plangintza eta Kudeaketa
Zuzenak
0
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
0.0%
Batez bestekoa
75.1%
Pediatria
Zuzenak
1
Okerrak
0
Erantzun gabeak
16
Ziurtasuna
5.9%
Batez bestekoa
82.9%
Pneumologia
Zuzenak
2
Okerrak
2
Erantzun gabeak
15
Ziurtasuna
10.5%
Batez bestekoa
81.6%
Psikiatria
Zuzenak
0
Okerrak
1
Erantzun gabeak
9
Ziurtasuna
0.0%
Batez bestekoa
90.0%
Traumatologia
Zuzenak
0
Okerrak
3
Erantzun gabeak
12
Ziurtasuna
0.0%
Batez bestekoa
75.4%
Urologia
Zuzenak
1
Okerrak
1
Erantzun gabeak
4
Ziurtasuna
16.7%
Batez bestekoa
79.0%
Zainketa Aringarriak
Zuzenak
0
Okerrak
1
Erantzun gabeak
3
Ziurtasuna
0.0%
Batez bestekoa
88.6%

Galdera motaren araberako xehetasuna

Anatomia
Zuzenak
0
Okerrak
3
Erantzun gabeak
3
Ziurtasuna
0.0%
Batez bestekoa
81.1%
Arriskua
Zuzenak
1
Okerrak
0
Erantzun gabeak
12
Ziurtasuna
7.7%
Batez bestekoa
84.5%
Biostatistika
Zuzenak
1
Okerrak
0
Erantzun gabeak
4
Ziurtasuna
20.0%
Batez bestekoa
91.3%
Diagnostikoa
Zuzenak
3
Okerrak
13
Erantzun gabeak
57
Ziurtasuna
4.1%
Batez bestekoa
80.0%
Epidemiologia
Zuzenak
1
Okerrak
1
Erantzun gabeak
10
Ziurtasuna
8.3%
Batez bestekoa
82.1%
Etika
Zuzenak
0
Okerrak
0
Erantzun gabeak
1
Ziurtasuna
0.0%
Batez bestekoa
94.0%
Farmakologia
Zuzenak
2
Okerrak
1
Erantzun gabeak
22
Ziurtasuna
8.0%
Batez bestekoa
84.7%
Fisiopatologia
Zuzenak
2
Okerrak
4
Erantzun gabeak
27
Ziurtasuna
6.1%
Batez bestekoa
86.1%
Interpretazioa
Zuzenak
3
Okerrak
5
Erantzun gabeak
29
Ziurtasuna
8.1%
Batez bestekoa
70.5%
Prebentzioa
Zuzenak
0
Okerrak
1
Erantzun gabeak
11
Ziurtasuna
0.0%
Batez bestekoa
90.3%
Probak
Zuzenak
2
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
9.5%
Batez bestekoa
75.0%
Pronostikoa
Zuzenak
1
Okerrak
0
Erantzun gabeak
6
Ziurtasuna
14.3%
Batez bestekoa
84.6%
Tratamendua
Zuzenak
2
Okerrak
10
Erantzun gabeak
59
Ziurtasuna
2.8%
Batez bestekoa
82.1%
#ErantzunaZuzenaEgoera
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Baliogabetua
65—D
66—C
67—B
68——Baliogabetua
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Baliogabetua
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Baliogabetua
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Baliogabetua
207—A
208—A
209CB
210—D