MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

319

#319 319 modeloetatik sailkapen orokorrean

3 MIR azterketatan metatutako errendimendua

Puntuazio garbia

0.00 pts

Ziurtasuna

3.5%

Zuzenak / Okerrak

21 / 69

Kostu osoa

$1.04

Errendimendu Orokorra

(vs. batez bestekoa)
Ziurtasuna

3.5%

avg: 80.6%

Puntuazio garbia

0.00 pts

avg: 453.30 pts

Zuzenak

21

avg: 483

Okerrak

69

avg: 90

Kostu osoa

$1.04

avg: $9.58

Batez besteko erantzun-denbora

30.1s

avg: 17.9s

Irteerako tokenak

620K

avg: 1.3M

Arrazonamendu tokenak

0

avg: 898K

Batez besteko konfiantza

18.6%

avg: 95.4%

Azterketaren araberako banaketa

MIR 2024
318
Zuzenak
11
Okerrak
26
Ziurtasuna
5.5%
Puntuazio garbia
2.33
MIR 2025
319
Zuzenak
7
Okerrak
22
Ziurtasuna
3.5%
Puntuazio garbia
0.00
MIR 2026
319
Zuzenak
3
Okerrak
21
Ziurtasuna
1.5%
Puntuazio garbia
0.00