MedicalBenchmark
AlfredPros: CodeLLaMa 7B Instruct Solidity provider

CodeLLaMa 7B Instruct Solidity

290

#290 de 291 modelos — MIR 2024

Pontuação líquida

2.33 pts

Exatidão

5.5%

Corretas / Incorretas

11 / 26

Custo total

$0.34

Desempenho Geral

(vs. média)
Exatidão

5.5%

avg: 80.5%

Pontuação líquida

2.33 pts

avg: 150.85 pts

Acertos

11

avg: 161

Erros

26

avg: 30

Custo total

$0.34

avg: $3.32

Tempo médio de resposta

30.6s

avg: 16.4s

Tokens de saída

205K

avg: 427K

Tokens de raciocínio

0

avg: 310K

Confiança média

24.0%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
90.5%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.1%
Cardiologia
Acertos
0
Erros
2
Sem resposta
19
Exatidão
0.0%
Média
79.7%
Cuidados Paliativos
Acertos
0
Erros
1
Sem resposta
3
Exatidão
0.0%
Média
88.2%
Dermatologia
Acertos
0
Erros
1
Sem resposta
13
Exatidão
0.0%
Média
80.2%
Doenças Infecciosas
Acertos
1
Erros
2
Sem resposta
20
Exatidão
4.3%
Média
81.8%
Endocrinologia e Nutrição
Acertos
0
Erros
3
Sem resposta
16
Exatidão
0.0%
Média
84.2%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
6
Exatidão
12.5%
Média
89.3%
Estatística
Acertos
1
Erros
0
Sem resposta
2
Exatidão
33.3%
Média
91.1%
Farmacologia
Acertos
3
Erros
0
Sem resposta
20
Exatidão
13.0%
Média
85.4%
Gastrenterologia
Acertos
0
Erros
5
Sem resposta
17
Exatidão
0.0%
Média
70.5%
Genética
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
86.5%
Geriatria
Acertos
1
Erros
0
Sem resposta
9
Exatidão
10.0%
Média
86.9%
Ginecologia e Obstetrícia
Acertos
1
Erros
2
Sem resposta
11
Exatidão
7.1%
Média
81.2%
Hematologia
Acertos
2
Erros
0
Sem resposta
11
Exatidão
15.4%
Média
81.5%
Imunologia
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
89.1%
Medicina Legal e Bioética
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
91.7%
Nefrologia
Acertos
1
Erros
0
Sem resposta
12
Exatidão
7.7%
Média
80.8%
Neurologia
Acertos
3
Erros
3
Sem resposta
16
Exatidão
13.6%
Média
83.7%
Oftalmologia
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
80.0%
Oncologia Médica
Acertos
2
Erros
3
Sem resposta
16
Exatidão
9.5%
Média
80.2%
ORL
Acertos
0
Erros
3
Sem resposta
4
Exatidão
0.0%
Média
74.4%
Pediatria
Acertos
1
Erros
0
Sem resposta
16
Exatidão
5.9%
Média
82.0%
Planeamento e Gestão em Saúde
Acertos
0
Erros
0
Sem resposta
2
Exatidão
0.0%
Média
73.2%
Pneumologia
Acertos
2
Erros
2
Sem resposta
15
Exatidão
10.5%
Média
80.6%
Psiquiatria
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
89.5%
Radiologia-Urgências
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
64.9%
Reumatologia
Acertos
0
Erros
1
Sem resposta
13
Exatidão
0.0%
Média
81.4%
Traumatologia
Acertos
0
Erros
3
Sem resposta
12
Exatidão
0.0%
Média
74.5%
Urologia
Acertos
1
Erros
1
Sem resposta
4
Exatidão
16.7%
Média
78.2%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
3
Sem resposta
3
Exatidão
0.0%
Média
79.8%
Bioestatística
Acertos
1
Erros
0
Sem resposta
4
Exatidão
20.0%
Média
90.7%
Diagnóstico
Acertos
3
Erros
13
Sem resposta
57
Exatidão
4.1%
Média
79.2%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
10
Exatidão
8.3%
Média
81.2%
Ética
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
94.5%
Exames
Acertos
2
Erros
3
Sem resposta
16
Exatidão
9.5%
Média
73.9%
Farmacologia
Acertos
2
Erros
1
Sem resposta
22
Exatidão
8.0%
Média
84.0%
Fisiopatologia
Acertos
2
Erros
4
Sem resposta
27
Exatidão
6.1%
Média
85.4%
Interpretação
Acertos
3
Erros
5
Sem resposta
29
Exatidão
8.1%
Média
69.6%
Prevenção
Acertos
0
Erros
1
Sem resposta
11
Exatidão
0.0%
Média
89.8%
Prognóstico
Acertos
1
Erros
0
Sem resposta
6
Exatidão
14.3%
Média
83.9%
Risco
Acertos
1
Erros
0
Sem resposta
12
Exatidão
7.7%
Média
83.6%
Tratamento
Acertos
2
Erros
10
Sem resposta
59
Exatidão
2.8%
Média
81.3%
#RespostaCorretaEstado
1DB
2AD
3—B
4—C
5—C
6—B
7CD
8—C
9—A
10DD
11—D
12—A
13—C
14—A
15—B
16AA
17—C
18DA
19—B
20CC
21—D
22—B
23—A
24—A
25—C
26—B
27AC
28—A
29—B
30AC
31—D
32—A
33—C
34—B
35—D
36—D
37—A
38—A
39AC
40—B
41—C
42—D
43CA
44—D
45—D
46BB
47—C
48—C
49—B
50—C
51—A
52DD
53—C
54—B
55—C
56—D
57CA
58CA
59—A
60—A
61BA
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71DB
72—D
73—B
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84—C
85—A
86AA
87DB
88—D
89—B
90—A
91—D
92—A
93—C
94—B
95CD
96—B
97—B
98—B
99—A
100—B
101DA
102—D
103—B
104—D
105—B
106CC
107—C
108—B
109—D
110CD
111—B
112—C
113——Anulada
114—D
115—D
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124DD
125—B
126AD
127—A
128—B
129—D
130—C
131—C
132—D
133CA
134—C
135—A
136BD
137—A
138—C
139—A
140—C
141—B
142—C
143—A
144DD
145—C
146CC
147—C
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155—D
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163DB
164—B
165—A
166—C
167DA
168—B
169BC
170—A
171—D
172—B
173—A
174—B
175—A
176—C
177—C
178—B
179—C
180——Anulada
181—B
182—D
183AC
184—A
185—C
186—D
187—A
188—C
189—D
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197AA
198—B
199—D
200—A
201—B
202—D
203CB
204—D
205—D
206——Anulada
207—A
208—A
209CB
210—D