MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

290

#290 de 290 modelos — MIR 2026

Pontuação líquida

0.00 pts

Exatidão

1.5%

Corretas / Incorretas

3 / 21

Custo total

$0.32

Desempenho Geral

(vs. média)
Exatidão

1.5%

avg: 81.6%

Pontuação líquida

0.00 pts

avg: 154.00 pts

Acertos

3

avg: 163

Erros

21

avg: 28

Custo total

$0.32

avg: $3.33

Tempo médio de resposta

27.9s

avg: 16.2s

Tokens de saída

185K

avg: 430K

Tokens de raciocínio

0

avg: 310K

Confiança média

16.5%

avg: 95.1%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
96.9%
Anestesiologia e Reanimação
Acertos
0
Erros
2
Sem resposta
5
Exatidão
0.0%
Média
69.6%
Cardiologia
Acertos
0
Erros
2
Sem resposta
23
Exatidão
0.0%
Média
77.3%
Cuidados Paliativos
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
80.2%
Dermatologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
72.3%
Doenças Infecciosas
Acertos
0
Erros
3
Sem resposta
11
Exatidão
0.0%
Média
77.9%
Endocrinologia e Nutrição
Acertos
0
Erros
3
Sem resposta
12
Exatidão
0.0%
Média
84.0%
Epidemiologia
Acertos
0
Erros
2
Sem resposta
5
Exatidão
0.0%
Média
80.2%
Estatística
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
83.8%
Farmacologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
78.6%
Gastrenterologia
Acertos
1
Erros
5
Sem resposta
24
Exatidão
3.3%
Média
79.3%
Genética
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
78.7%
Geriatria
Acertos
1
Erros
1
Sem resposta
11
Exatidão
7.7%
Média
83.0%
Ginecologia e Obstetrícia
Acertos
0
Erros
2
Sem resposta
10
Exatidão
0.0%
Média
84.3%
Hematologia
Acertos
0
Erros
0
Sem resposta
9
Exatidão
0.0%
Média
76.6%
Imunologia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
91.4%
Medicina Legal e Bioética
Acertos
0
Erros
0
Sem resposta
11
Exatidão
0.0%
Média
82.9%
Nefrologia
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
85.1%
Neurologia
Acertos
1
Erros
2
Sem resposta
10
Exatidão
7.7%
Média
88.6%
Oftalmologia
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
83.7%
Oncologia Médica
Acertos
1
Erros
3
Sem resposta
19
Exatidão
4.3%
Média
83.0%
ORL
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
84.7%
Pediatria
Acertos
1
Erros
1
Sem resposta
20
Exatidão
4.5%
Média
87.6%
Planeamento e Gestão em Saúde
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
78.4%
Pneumologia
Acertos
1
Erros
1
Sem resposta
14
Exatidão
6.3%
Média
82.8%
Psiquiatria
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
87.9%
Radiologia-Urgências
Acertos
0
Erros
2
Sem resposta
11
Exatidão
0.0%
Média
67.7%
Reumatologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
88.4%
Traumatologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
65.2%
Urologia
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
82.5%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
0
Sem resposta
3
Exatidão
0.0%
Média
82.6%
Bioestatística
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
83.8%
Diagnóstico
Acertos
1
Erros
6
Sem resposta
74
Exatidão
1.2%
Média
82.2%
Epidemiologia
Acertos
0
Erros
1
Sem resposta
8
Exatidão
0.0%
Média
88.7%
Ética
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
92.0%
Exames
Acertos
1
Erros
2
Sem resposta
30
Exatidão
3.0%
Média
80.3%
Farmacologia
Acertos
0
Erros
2
Sem resposta
13
Exatidão
0.0%
Média
82.3%
Fisiopatologia
Acertos
0
Erros
4
Sem resposta
22
Exatidão
0.0%
Média
84.3%
Interpretação
Acertos
0
Erros
3
Sem resposta
34
Exatidão
0.0%
Média
72.0%
Legal
Acertos
0
Erros
0
Sem resposta
9
Exatidão
0.0%
Média
82.4%
Prevenção
Acertos
0
Erros
2
Sem resposta
14
Exatidão
0.0%
Média
80.6%
Prognóstico
Acertos
0
Erros
0
Sem resposta
5
Exatidão
0.0%
Média
93.2%
Risco
Acertos
0
Erros
3
Sem resposta
12
Exatidão
0.0%
Média
84.3%
Tratamento
Acertos
2
Erros
8
Sem resposta
62
Exatidão
2.8%
Média
80.1%
#RespostaCorretaEstado
1—A
2—B
3AD
4—D
5—B
6—C
7—B
8—D
9—D
10—A
11—B
12—A
13——Anulada
14DC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25—C
26—A
27—B
28—D
29—A
30AD
31BC
32—C
33—B
34—B
35—C
36AD
37—D
38—A
39—C
40—A
41—D
42—A
43—B
44—B
45—B
46—B
47AD
48CC
49—C
50——Anulada
51CA
52—C
53—C
54DC
55—A
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64C—Anulada
65—C
66—C
67—C
68—A
69AB
70AB
71—B
72—B
73—B
74—A
75—C
76—C
77—A
78—D
79—A
80—D
81—C
82—D
83—B
84—A
85—D
86—A
87—B
88AB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97—B
98—A
99DB
100—C
101—C
102—A
103—C
104—C
105—C
106—B
107—C
108—A
109—C
110—C
111—B
112—C
113—C
114—D
115—B
116AD
117—C
118—B
119—A
120—A
121—C
122—B
123—B
124—B
125—C
126AB
127—C
128—B
129—C
130—C
131AB
132—B
133—C
134—B
135AC
136—B
137—D
138—B
139——Anulada
140—D
141—A
142——Anulada
143—A
144—D
145—C
146—C
147—B
148BC
149—B
150—B
151—B
152—C
153—C
154—D
155—B
156—A
157—D
158—B
159—C
160—A
161——Anulada
162—A
163—C
164—C
165AA
166—A
167BD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179—B
180—C
181—B
182—C
183—D
184—D
185—B
186AD
187CD
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196—A
197—C
198—A
199CB
200—D
201—C
202—A
203—A
204—C
205—B
206CC
207—A
208——Anulada
209—B
210—C