MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

318

#318 de 320 modelos — MIR 2024

Pontuação líquida

2.33 pts

Exatidão

5.5%

Corretas / Incorretas

11 / 26

Custo total

$0.35

Desempenho Geral

(vs. média)
Exatidão

5.5%

avg: 81.3%

Pontuação líquida

2.33 pts

avg: 153.08 pts

Acertos

11

avg: 163

Erros

26

avg: 29

Custo total

$0.35

avg: $3.09

Tempo médio de resposta

31.1s

avg: 17.7s

Tokens de saída

209K

avg: 414K

Tokens de raciocínio

0

avg: 296K

Confiança média

24.0%

avg: 95.7%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
90.8%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.7%
Cardiologia
Acertos
0
Erros
2
Sem resposta
19
Exatidão
0.0%
Média
80.4%
Cuidados Paliativos
Acertos
0
Erros
1
Sem resposta
3
Exatidão
0.0%
Média
88.6%
Dermatologia
Acertos
0
Erros
1
Sem resposta
13
Exatidão
0.0%
Média
81.0%
Doenças Infecciosas
Acertos
1
Erros
2
Sem resposta
20
Exatidão
4.3%
Média
82.5%
Endocrinologia e Nutrição
Acertos
0
Erros
3
Sem resposta
16
Exatidão
0.0%
Média
85.1%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
6
Exatidão
12.5%
Média
89.7%
Estatística
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
91.6%
Farmacologia
Acertos
3
Erros
0
Sem resposta
20
Exatidão
13.0%
Média
85.8%
Gastrenterologia
Acertos
0
Erros
5
Sem resposta
17
Exatidão
0.0%
Média
71.5%
Genética
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
87.1%
Geriatria
Acertos
1
Erros
0
Sem resposta
9
Exatidão
10.0%
Média
87.7%
Ginecologia e Obstetrícia
Acertos
1
Erros
2
Sem resposta
11
Exatidão
7.1%
Média
82.0%
Hematologia
Acertos
2
Erros
0
Sem resposta
11
Exatidão
15.4%
Média
82.4%
Imunologia
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
89.7%
Medicina Legal e Bioética
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
91.8%
Nefrologia
Acertos
1
Erros
0
Sem resposta
12
Exatidão
7.7%
Média
81.8%
Neurologia
Acertos
3
Erros
3
Sem resposta
16
Exatidão
13.6%
Média
84.5%
Oftalmologia
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
81.3%
Oncologia Médica
Acertos
2
Erros
3
Sem resposta
16
Exatidão
9.5%
Média
80.9%
ORL
Acertos
0
Erros
3
Sem resposta
4
Exatidão
0.0%
Média
75.1%
Pediatria
Acertos
1
Erros
0
Sem resposta
16
Exatidão
5.9%
Média
82.9%
Planeamento e Gestão em Saúde
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
75.1%
Pneumologia
Acertos
2
Erros
2
Sem resposta
15
Exatidão
10.5%
Média
81.6%
Psiquiatria
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
90.0%
Radiologia-Urgências
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
66.0%
Reumatologia
Acertos
0
Erros
1
Sem resposta
13
Exatidão
0.0%
Média
82.4%
Traumatologia
Acertos
0
Erros
3
Sem resposta
12
Exatidão
0.0%
Média
75.4%
Urologia
Acertos
1
Erros
1
Sem resposta
4
Exatidão
16.7%
Média
79.0%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
3
Sem resposta
3
Exatidão
0.0%
Média
81.1%
Bioestatística
Acertos
1
Erros
0
Sem resposta
4
Exatidão
20.0%
Média
91.3%
Diagnóstico
Acertos
3
Erros
13
Sem resposta
57
Exatidão
4.1%
Média
80.0%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
10
Exatidão
8.3%
Média
82.1%
Ética
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
94.0%
Exames
Acertos
2
Erros
3
Sem resposta
16
Exatidão
9.5%
Média
75.0%
Farmacologia
Acertos
2
Erros
1
Sem resposta
22
Exatidão
8.0%
Média
84.7%
Fisiopatologia
Acertos
2
Erros
4
Sem resposta
27
Exatidão
6.1%
Média
86.1%
Interpretação
Acertos
3
Erros
5
Sem resposta
29
Exatidão
8.1%
Média
70.5%
Prevenção
Acertos
0
Erros
1
Sem resposta
11
Exatidão
0.0%
Média
90.3%
Prognóstico
Acertos
1
Erros
0
Sem resposta
6
Exatidão
14.3%
Média
84.6%
Risco
Acertos
1
Erros
0
Sem resposta
12
Exatidão
7.7%
Média
84.5%
Tratamento
Acertos
2
Erros
10
Sem resposta
59
Exatidão
2.8%
Média
82.1%
#RespostaCorretaEstado
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Anulada
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Anulada
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Anulada
207—A
208—A
209CB
210—D