MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

319

#319 de 319 modelos — MIR 2026

Pontuação líquida

0.00 pts

Exatidão

1.5%

Corretas / Incorretas

3 / 21

Custo total

$0.32

Desempenho Geral

(vs. média)
Exatidão

1.5%

avg: 82.4%

Pontuação líquida

0.00 pts

avg: 156.14 pts

Acertos

3

avg: 165

Erros

21

avg: 26

Custo total

$0.32

avg: $3.12

Tempo médio de resposta

27.9s

avg: 17.4s

Tokens de saída

185K

avg: 415K

Tokens de raciocínio

0

avg: 295K

Confiança média

16.9%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
96.9%
Anestesiologia e Reanimação
Acertos
0
Erros
2
Sem resposta
5
Exatidão
0.0%
Média
71.0%
Cardiologia
Acertos
0
Erros
2
Sem resposta
23
Exatidão
0.0%
Média
78.4%
Cuidados Paliativos
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
80.8%
Dermatologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
73.2%
Doenças Infecciosas
Acertos
0
Erros
3
Sem resposta
11
Exatidão
0.0%
Média
79.0%
Endocrinologia e Nutrição
Acertos
0
Erros
3
Sem resposta
12
Exatidão
0.0%
Média
84.7%
Epidemiologia
Acertos
0
Erros
2
Sem resposta
5
Exatidão
0.0%
Média
81.3%
Estatística
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
84.5%
Farmacologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
79.6%
Gastrenterologia
Acertos
1
Erros
5
Sem resposta
24
Exatidão
3.3%
Média
80.2%
Genética
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
79.7%
Geriatria
Acertos
1
Erros
1
Sem resposta
11
Exatidão
7.7%
Média
83.7%
Ginecologia e Obstetrícia
Acertos
0
Erros
2
Sem resposta
10
Exatidão
0.0%
Média
85.2%
Hematologia
Acertos
0
Erros
0
Sem resposta
9
Exatidão
0.0%
Média
77.6%
Imunologia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
91.8%
Medicina Legal e Bioética
Acertos
0
Erros
0
Sem resposta
11
Exatidão
0.0%
Média
83.4%
Nefrologia
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
85.6%
Neurologia
Acertos
1
Erros
2
Sem resposta
10
Exatidão
7.7%
Média
89.0%
Oftalmologia
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
84.5%
Oncologia Médica
Acertos
1
Erros
3
Sem resposta
19
Exatidão
4.3%
Média
83.7%
ORL
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
85.0%
Pediatria
Acertos
1
Erros
1
Sem resposta
20
Exatidão
4.5%
Média
88.1%
Planeamento e Gestão em Saúde
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
79.4%
Pneumologia
Acertos
1
Erros
1
Sem resposta
14
Exatidão
6.3%
Média
83.6%
Psiquiatria
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
88.4%
Radiologia-Urgências
Acertos
0
Erros
2
Sem resposta
11
Exatidão
0.0%
Média
69.4%
Reumatologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
89.0%
Traumatologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
66.6%
Urologia
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
83.1%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
0
Sem resposta
3
Exatidão
0.0%
Média
83.4%
Bioestatística
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
84.5%
Diagnóstico
Acertos
1
Erros
6
Sem resposta
74
Exatidão
1.2%
Média
83.0%
Epidemiologia
Acertos
0
Erros
1
Sem resposta
8
Exatidão
0.0%
Média
89.1%
Ética
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
92.2%
Exames
Acertos
1
Erros
2
Sem resposta
30
Exatidão
3.0%
Média
81.2%
Farmacologia
Acertos
0
Erros
2
Sem resposta
13
Exatidão
0.0%
Média
83.1%
Fisiopatologia
Acertos
0
Erros
4
Sem resposta
22
Exatidão
0.0%
Média
85.0%
Interpretação
Acertos
0
Erros
3
Sem resposta
34
Exatidão
0.0%
Média
73.2%
Legal
Acertos
0
Erros
0
Sem resposta
9
Exatidão
0.0%
Média
82.9%
Prevenção
Acertos
0
Erros
2
Sem resposta
14
Exatidão
0.0%
Média
81.5%
Prognóstico
Acertos
0
Erros
0
Sem resposta
5
Exatidão
0.0%
Média
93.2%
Risco
Acertos
0
Erros
3
Sem resposta
12
Exatidão
0.0%
Média
85.0%
Tratamento
Acertos
2
Erros
8
Sem resposta
62
Exatidão
2.8%
Média
80.9%
#RespostaCorretaEstado
1—A
2—B
3AD
4—D
5—B
6—C
7—B
8—D
9—D
10—A
11—B
12—A
13——Anulada
14DC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25—C
26—A
27—B
28—D
29—A
30AD
31BC
32—C
33—B
34—B
35—C
36AD
37—D
38—A
39—C
40—A
41—D
42—A
43—B
44—B
45—B
46—B
47AD
48CC
49—C
50——Anulada
51CA
52—C
53—C
54DC
55—A
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64C—Anulada
65—C
66—C
67—C
68—A
69AB
70AB
71—B
72—B
73—B
74—A
75—C
76—C
77—A
78—D
79—A
80—D
81—C
82—D
83—B
84—A
85—D
86—A
87—B
88AB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97—B
98—A
99DB
100—C
101—C
102—A
103—C
104—C
105—C
106—B
107—C
108—A
109—C
110—C
111—B
112—C
113—C
114—D
115—B
116AD
117—C
118—B
119—A
120—A
121—C
122—B
123—B
124—B
125—C
126AB
127—C
128—B
129—C
130—C
131AB
132—B
133—C
134—B
135AC
136—B
137—D
138—B
139——Anulada
140—D
141—A
142——Anulada
143—A
144—D
145—C
146—C
147—B
148BC
149—B
150—B
151—B
152—C
153—C
154—D
155—B
156—A
157—D
158—B
159—C
160—A
161——Anulada
162—A
163—C
164—C
165AA
166—A
167BD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179—B
180—C
181—B
182—C
183—D
184—D
185—B
186AD
187CD
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196—A
197—C
198—A
199CB
200—D
201—C
202—A
203—A
204—C
205—B
206CC
207—A
208——Anulada
209—B
210—C