MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

319

#319 de 319 modelos — MIR 2025

Pontuação líquida

0.00 pts

Exatidão

3.5%

Corretas / Incorretas

7 / 22

Custo total

$0.37

Desempenho Geral

(vs. média)
Exatidão

3.5%

avg: 77.9%

Pontuação líquida

0.00 pts

avg: 143.96 pts

Acertos

7

avg: 156

Erros

22

avg: 35

Custo total

$0.37

avg: $3.36

Tempo médio de resposta

33.4s

avg: 19.0s

Tokens de saída

226K

avg: 430K

Tokens de raciocínio

0

avg: 306K

Confiança média

16.4%

avg: 95.2%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.9%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
82.3%
Cardiologia
Acertos
0
Erros
4
Sem resposta
18
Exatidão
0.0%
Média
78.6%
Cuidados Paliativos
Acertos
2
Erros
0
Sem resposta
2
Exatidão
50.0%
Média
78.6%
Dermatologia
Acertos
0
Erros
0
Sem resposta
12
Exatidão
0.0%
Média
69.4%
Doenças Infecciosas
Acertos
0
Erros
4
Sem resposta
23
Exatidão
0.0%
Média
74.9%
Endocrinologia e Nutrição
Acertos
1
Erros
3
Sem resposta
12
Exatidão
6.3%
Média
83.5%
Epidemiologia
Acertos
1
Erros
0
Sem resposta
6
Exatidão
14.3%
Média
69.1%
Estatística
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
76.6%
Farmacologia
Acertos
3
Erros
1
Sem resposta
13
Exatidão
17.6%
Média
74.1%
Gastrenterologia
Acertos
0
Erros
3
Sem resposta
18
Exatidão
0.0%
Média
74.1%
Genética
Acertos
0
Erros
0
Sem resposta
6
Exatidão
0.0%
Média
69.5%
Geriatria
Acertos
1
Erros
0
Sem resposta
10
Exatidão
9.1%
Média
77.5%
Ginecologia e Obstetrícia
Acertos
1
Erros
3
Sem resposta
15
Exatidão
5.3%
Média
86.7%
Hematologia
Acertos
0
Erros
1
Sem resposta
10
Exatidão
0.0%
Média
82.7%
Imunologia
Acertos
1
Erros
0
Sem resposta
8
Exatidão
11.1%
Média
83.3%
Medicina Legal e Bioética
Acertos
1
Erros
0
Sem resposta
4
Exatidão
20.0%
Média
68.4%
Nefrologia
Acertos
1
Erros
4
Sem resposta
9
Exatidão
7.1%
Média
84.8%
Neurologia
Acertos
0
Erros
2
Sem resposta
18
Exatidão
0.0%
Média
77.3%
Oftalmologia
Acertos
0
Erros
0
Sem resposta
5
Exatidão
0.0%
Média
74.2%
Oncologia Médica
Acertos
2
Erros
2
Sem resposta
21
Exatidão
8.0%
Média
87.2%
ORL
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
74.8%
Pediatria
Acertos
1
Erros
6
Sem resposta
19
Exatidão
3.8%
Média
71.9%
Planeamento e Gestão em Saúde
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
82.6%
Pneumologia
Acertos
0
Erros
0
Sem resposta
14
Exatidão
0.0%
Média
80.4%
Psiquiatria
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
83.0%
Radiologia-Urgências
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
69.4%
Reumatologia
Acertos
0
Erros
2
Sem resposta
13
Exatidão
0.0%
Média
76.6%
Traumatologia
Acertos
1
Erros
1
Sem resposta
16
Exatidão
5.6%
Média
79.3%
Urologia
Acertos
0
Erros
0
Sem resposta
7
Exatidão
0.0%
Média
80.7%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
0
Sem resposta
7
Exatidão
0.0%
Média
78.6%
Bioestatística
Acertos
1
Erros
0
Sem resposta
3
Exatidão
25.0%
Média
79.8%
Diagnóstico
Acertos
3
Erros
12
Sem resposta
73
Exatidão
3.4%
Média
79.9%
Epidemiologia
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
76.7%
Ética
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
74.1%
Exames
Acertos
0
Erros
2
Sem resposta
25
Exatidão
0.0%
Média
77.9%
Farmacologia
Acertos
2
Erros
1
Sem resposta
10
Exatidão
15.4%
Média
83.3%
Fisiopatologia
Acertos
0
Erros
4
Sem resposta
23
Exatidão
0.0%
Média
76.1%
Interpretação
Acertos
2
Erros
8
Sem resposta
32
Exatidão
4.8%
Média
70.7%
Legal
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
64.6%
Prevenção
Acertos
0
Erros
0
Sem resposta
12
Exatidão
0.0%
Média
75.6%
Prognóstico
Acertos
0
Erros
0
Sem resposta
7
Exatidão
0.0%
Média
80.8%
Risco
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
85.2%
Tratamento
Acertos
3
Erros
8
Sem resposta
70
Exatidão
3.7%
Média
77.3%
#RespostaCorretaEstado
1—B
2—A
3—C
4AB
5DA
6AC
7—C
8AA
9—A
10—D
11—D
12—D
13DB
14—D
15——Anulada
16—B
17—B
18—A
19—C
20CA
21—B
22—D
23—C
24—D
25—C
26——Anulada
27DC
28——Anulada
29—D
30—B
31—D
32—A
33—D
34—D
35—B
36—D
37—C
38—C
39—D
40—A
41—D
42—C
43—B
44—D
45DD
46—A
47—A
48—A
49—D
50—B
51—C
52—B
53—D
54—B
55—A
56——Anulada
57—C
58—B
59—D
60AA
61—A
62BD
63—B
64—D
65—A
66—A
67AB
68AB
69—B
70BA
71—D
72—A
73—D
74—C
75—A
76—B
77—B
78—B
79—C
80—C
81—C
82—D
83—B
84—D
85—C
86—C
87—A
88BD
89—B
90—A
91—B
92—C
93—B
94AC
95—A
96—C
97—D
98AC
99—A
100—C
101DB
102AD
103—A
104—C
105—A
106—C
107—B
108—D
109—B
110—C
111—A
112—C
113—B
114—D
115—D
116—C
117—A
118—D
119DC
120—B
121—D
122—C
123—C
124—C
125AD
126—D
127—B
128—D
129—A
130—D
131—D
132DA
133—B
134AC
135—B
136—C
137—A
138—D
139—D
140—B
141AA
142—A
143—B
144—B
145—D
146—C
147—B
148—A
149—A
150—D
151—A
152—A
153—B
154DB
155—B
156—C
157AA
158—C
159—C
160—A
161—A
162——Anulada
163—D
164—C
165—A
166AB
167—C
168—D
169—B
170—B
171—C
172—A
173—A
174—B
175—B
176—C
177—C
178—A
179—D
180—A
181—B
182CC
183—B
184—B
185—B
186——Anulada
187—C
188—D
189DD
190—A
191—B
192—A
193—C
194—A
195—A
196—A
197—B
198—C
199—D
200—C
201DB
202—A
203—D
204—C
205—B
206—D
207—A
208—C
209—C
210—B