MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

290

#290 de 290 modelos — MIR 2025

Pontuação líquida

0.00 pts

Exatidão

3.0%

Corretas / Incorretas

6 / 21

Custo total

$0.36

Desempenho Geral

(vs. média)
Exatidão

3.0%

avg: 75.9%

Pontuação líquida

0.00 pts

avg: 138.99 pts

Acertos

6

avg: 152

Erros

21

avg: 38

Custo total

$0.36

avg: $3.59

Tempo médio de resposta

31.9s

avg: 18.1s

Tokens de saída

215K

avg: 443K

Tokens de raciocínio

0

avg: 320K

Confiança média

17.8%

avg: 94.7%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
86.9%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
81.3%
Cardiologia
Acertos
0
Erros
4
Sem resposta
18
Exatidão
0.0%
Média
77.4%
Cuidados Paliativos
Acertos
2
Erros
0
Sem resposta
2
Exatidão
50.0%
Média
77.2%
Dermatologia
Acertos
0
Erros
0
Sem resposta
13
Exatidão
0.0%
Média
62.8%
Doenças Infecciosas
Acertos
0
Erros
4
Sem resposta
24
Exatidão
0.0%
Média
71.1%
Endocrinologia e Nutrição
Acertos
0
Erros
3
Sem resposta
13
Exatidão
0.0%
Média
82.5%
Epidemiologia
Acertos
1
Erros
0
Sem resposta
6
Exatidão
14.3%
Média
67.1%
Estatística
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
74.9%
Farmacologia
Acertos
2
Erros
1
Sem resposta
14
Exatidão
11.8%
Média
73.1%
Gastrenterologia
Acertos
0
Erros
2
Sem resposta
19
Exatidão
0.0%
Média
72.9%
Genética
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
68.2%
Geriatria
Acertos
1
Erros
0
Sem resposta
10
Exatidão
9.1%
Média
71.2%
Ginecologia e Obstetrícia
Acertos
1
Erros
3
Sem resposta
15
Exatidão
5.3%
Média
85.9%
Hematologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
81.8%
Imunologia
Acertos
1
Erros
0
Sem resposta
8
Exatidão
11.1%
Média
82.5%
Medicina Legal e Bioética
Acertos
1
Erros
0
Sem resposta
4
Exatidão
20.0%
Média
67.2%
Nefrologia
Acertos
0
Erros
4
Sem resposta
11
Exatidão
0.0%
Média
78.2%
Neurologia
Acertos
0
Erros
2
Sem resposta
18
Exatidão
0.0%
Média
76.2%
Oftalmologia
Acertos
0
Erros
0
Sem resposta
5
Exatidão
0.0%
Média
72.6%
Oncologia Médica
Acertos
2
Erros
2
Sem resposta
21
Exatidão
8.0%
Média
86.3%
ORL
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
73.8%
Pediatria
Acertos
1
Erros
6
Sem resposta
18
Exatidão
4.0%
Média
72.7%
Planeamento e Gestão em Saúde
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
81.6%
Pneumologia
Acertos
0
Erros
0
Sem resposta
14
Exatidão
0.0%
Média
73.0%
Psiquiatria
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
82.0%
Radiologia-Urgências
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
67.9%
Reumatologia
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
74.6%
Traumatologia
Acertos
1
Erros
1
Sem resposta
16
Exatidão
5.6%
Média
78.2%
Urologia
Acertos
0
Erros
0
Sem resposta
7
Exatidão
0.0%
Média
79.5%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
0
Sem resposta
7
Exatidão
0.0%
Média
77.1%
Bioestatística
Acertos
1
Erros
0
Sem resposta
3
Exatidão
25.0%
Média
78.4%
Diagnóstico
Acertos
2
Erros
11
Sem resposta
76
Exatidão
2.2%
Média
77.9%
Epidemiologia
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
75.0%
Ética
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
72.0%
Exames
Acertos
0
Erros
2
Sem resposta
24
Exatidão
0.0%
Média
76.3%
Farmacologia
Acertos
1
Erros
1
Sem resposta
11
Exatidão
7.7%
Média
82.4%
Fisiopatologia
Acertos
0
Erros
4
Sem resposta
23
Exatidão
0.0%
Média
72.6%
Interpretação
Acertos
2
Erros
8
Sem resposta
32
Exatidão
4.8%
Média
69.3%
Legal
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
63.6%
Prevenção
Acertos
0
Erros
0
Sem resposta
12
Exatidão
0.0%
Média
74.5%
Prognóstico
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
77.8%
Risco
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
84.3%
Tratamento
Acertos
3
Erros
8
Sem resposta
71
Exatidão
3.7%
Média
75.2%
#RespostaCorretaEstado
1—B
2—A
3—C
4AB
5DA
6AC
7—C
8AA
9—A
10—D
11—D
12—D
13DB
14—D
15——
16—B
17—B
18—A
19—C
20CA
21—B
22—D
23—C
24—D
25—C
26——Anulada
27DC
28——Anulada
29—D
30—B
31—D
32—A
33—D
34—D
35—B
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45DD
46—A
47—A
48—A
49—D
50—B
51—C
52—B
53—D
54—B
55—A
56——Anulada
57—C
58—B
59—D
60AA
61—A
62BD
63—B
64—D
65—A
66—A
67AB
68AB
69—B
70BA
71—D
72—A
73—D
74—C
75—A
76—B
77—B
78—B
79—C
80—C
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88BD
89—B
90—A
91—B
92—C
93—B
94AC
95—A
96—C
97—D
98AC
99—A
100—C
101DB
102AD
103—A
104—C
105—A
106—C
107—B
108—D
109—B
110—C
111—A
112—C
113—B
114—D
115—D
116—C
117—A
118—D
119DC
120—B
121—D
122—C
123—C
124—C
125—D
126—D
127—B
128—D
129—A
130—D
131—D
132DA
133—B
134AC
135—B
136—C
137—A
138—D
139—D
140—B
141AA
142—A
143—B
144—B
145—D
146—C
147—B
148—A
149—A
150—A
151—A
152—A
153—B
154DB
155—B
156—C
157—A
158—C
159—C
160—A
161—A
162——
163—D
164—C
165—A
166AB
167—C
168—D
169—B
170—B
171—C
172—A
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180—A
181—B
182CC
183—B
184—B
185—B
186——Anulada
187—C
188—D
189DD
190—A
191—B
192—A
193—C
194—A
195—A
196—A
197—B
198—C
199—D
200—C
201DB
202—A
203—D
204—C
205—B
206—D
207—A
208—C
209—C
210—B