MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

290

#290 291 modeloetatik — MIR 2024

Puntuazio garbia

2.33 pts

Ziurtasuna

5.5%

Zuzenak / Okerrak

11 / 26

Kostu osoa

$0.34

Errendimendu Orokorra

(vs. batez bestekoa)
Ziurtasuna

5.5%

avg: 80.5%

Puntuazio garbia

2.33 pts

avg: 150.85 pts

Zuzenak

11

avg: 161

Okerrak

26

avg: 30

Kostu osoa

$0.34

avg: $3.32

Batez besteko erantzun-denbora

30.6s

avg: 16.4s

Irteerako tokenak

205K

avg: 427K

Arrazonamendu tokenak

0

avg: 310K

Batez besteko konfiantza

24.0%

avg: 95.4%

Irakasgaien araberako xehetasuna

Alergologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
2
Ziurtasuna
0.0%
Batez bestekoa
90.5%
Anestesiologia eta Bizkortzea
Zuzenak
0
Okerrak
0
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
87.1%
Dermatologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
13
Ziurtasuna
0.0%
Batez bestekoa
80.2%
Endokrinologia eta Nutrizioa
Zuzenak
0
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
0.0%
Batez bestekoa
84.2%
Epidemiologia
Zuzenak
1
Okerrak
1
Erantzun gabeak
6
Ziurtasuna
12.5%
Batez bestekoa
89.3%
Erradiologia-Larrialdiak
Zuzenak
0
Okerrak
2
Erantzun gabeak
12
Ziurtasuna
0.0%
Batez bestekoa
64.9%
Erreumatologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
13
Ziurtasuna
0.0%
Batez bestekoa
81.4%
Estatistika
Zuzenak
1
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
33.3%
Batez bestekoa
91.1%
Farmakologia
Zuzenak
3
Okerrak
0
Erantzun gabeak
20
Ziurtasuna
13.0%
Batez bestekoa
85.4%
Gaixotasun Infekziosoak
Zuzenak
1
Okerrak
2
Erantzun gabeak
20
Ziurtasuna
4.3%
Batez bestekoa
81.8%
Gastroenterologia
Zuzenak
0
Okerrak
5
Erantzun gabeak
17
Ziurtasuna
0.0%
Batez bestekoa
70.5%
Genetika
Zuzenak
0
Okerrak
1
Erantzun gabeak
6
Ziurtasuna
0.0%
Batez bestekoa
86.5%
Geriatria
Zuzenak
1
Okerrak
0
Erantzun gabeak
9
Ziurtasuna
10.0%
Batez bestekoa
86.9%
Ginekologia eta Obstetrizia
Zuzenak
1
Okerrak
2
Erantzun gabeak
11
Ziurtasuna
7.1%
Batez bestekoa
81.2%
Hematologia
Zuzenak
2
Okerrak
0
Erantzun gabeak
11
Ziurtasuna
15.4%
Batez bestekoa
81.5%
Immunologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
7
Ziurtasuna
0.0%
Batez bestekoa
89.1%
Kardiologia
Zuzenak
0
Okerrak
2
Erantzun gabeak
19
Ziurtasuna
0.0%
Batez bestekoa
79.7%
Medikuntza Legala eta Bioetika
Zuzenak
0
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
0.0%
Batez bestekoa
91.7%
Nefrologia
Zuzenak
1
Okerrak
0
Erantzun gabeak
12
Ziurtasuna
7.7%
Batez bestekoa
80.8%
Neurologia
Zuzenak
3
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
13.6%
Batez bestekoa
83.7%
Oftalmologia
Zuzenak
0
Okerrak
1
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
80.0%
Onkologia Medikoa
Zuzenak
2
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
9.5%
Batez bestekoa
80.2%
ORL
Zuzenak
0
Okerrak
3
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
74.4%
Osasun Plangintza eta Kudeaketa
Zuzenak
0
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
0.0%
Batez bestekoa
73.2%
Pediatria
Zuzenak
1
Okerrak
0
Erantzun gabeak
16
Ziurtasuna
5.9%
Batez bestekoa
82.0%
Pneumologia
Zuzenak
2
Okerrak
2
Erantzun gabeak
15
Ziurtasuna
10.5%
Batez bestekoa
80.6%
Psikiatria
Zuzenak
0
Okerrak
1
Erantzun gabeak
9
Ziurtasuna
0.0%
Batez bestekoa
89.5%
Traumatologia
Zuzenak
0
Okerrak
3
Erantzun gabeak
12
Ziurtasuna
0.0%
Batez bestekoa
74.5%
Urologia
Zuzenak
1
Okerrak
1
Erantzun gabeak
4
Ziurtasuna
16.7%
Batez bestekoa
78.2%
Zainketa Aringarriak
Zuzenak
0
Okerrak
1
Erantzun gabeak
3
Ziurtasuna
0.0%
Batez bestekoa
88.2%

Galdera motaren araberako xehetasuna

Anatomia
Zuzenak
0
Okerrak
3
Erantzun gabeak
3
Ziurtasuna
0.0%
Batez bestekoa
79.8%
Arriskua
Zuzenak
1
Okerrak
0
Erantzun gabeak
12
Ziurtasuna
7.7%
Batez bestekoa
83.6%
Biostatistika
Zuzenak
1
Okerrak
0
Erantzun gabeak
4
Ziurtasuna
20.0%
Batez bestekoa
90.7%
Diagnostikoa
Zuzenak
3
Okerrak
13
Erantzun gabeak
57
Ziurtasuna
4.1%
Batez bestekoa
79.2%
Epidemiologia
Zuzenak
1
Okerrak
1
Erantzun gabeak
10
Ziurtasuna
8.3%
Batez bestekoa
81.2%
Etika
Zuzenak
0
Okerrak
0
Erantzun gabeak
1
Ziurtasuna
0.0%
Batez bestekoa
94.5%
Farmakologia
Zuzenak
2
Okerrak
1
Erantzun gabeak
22
Ziurtasuna
8.0%
Batez bestekoa
84.0%
Fisiopatologia
Zuzenak
2
Okerrak
4
Erantzun gabeak
27
Ziurtasuna
6.1%
Batez bestekoa
85.4%
Interpretazioa
Zuzenak
3
Okerrak
5
Erantzun gabeak
29
Ziurtasuna
8.1%
Batez bestekoa
69.6%
Prebentzioa
Zuzenak
0
Okerrak
1
Erantzun gabeak
11
Ziurtasuna
0.0%
Batez bestekoa
89.8%
Probak
Zuzenak
2
Okerrak
3
Erantzun gabeak
16
Ziurtasuna
9.5%
Batez bestekoa
73.9%
Pronostikoa
Zuzenak
1
Okerrak
0
Erantzun gabeak
6
Ziurtasuna
14.3%
Batez bestekoa
83.9%
Tratamendua
Zuzenak
2
Okerrak
10
Erantzun gabeak
59
Ziurtasuna
2.8%
Batez bestekoa
81.3%
#ErantzunaZuzenaEgoera
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Baliogabetua
65—D
66—C
67—B
68——Baliogabetua
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Baliogabetua
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Baliogabetua
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Baliogabetua
207—A
208—A
209CB
210—D