MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

320

#320 de 320 modelos — MIR 2024

Pontuação líquida

0.00 pts

Exatidão

3.5%

Corretas / Incorretas

7 / 37

Custo total

$0.65

Desempenho Geral

(vs. média)
Exatidão

3.5%

avg: 81.3%

Pontuação líquida

0.00 pts

avg: 153.08 pts

Acertos

7

avg: 163

Erros

37

avg: 29

Custo total

$0.65

avg: $3.09

Tempo médio de resposta

66.2s

avg: 17.7s

Tokens de saída

455K

avg: 414K

Tokens de raciocínio

0

avg: 296K

Confiança média

22.9%

avg: 95.7%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
90.8%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.7%
Cardiologia
Acertos
1
Erros
7
Sem resposta
13
Exatidão
4.8%
Média
80.4%
Cuidados Paliativos
Acertos
0
Erros
1
Sem resposta
3
Exatidão
0.0%
Média
88.6%
Dermatologia
Acertos
1
Erros
2
Sem resposta
11
Exatidão
7.1%
Média
81.0%
Doenças Infecciosas
Acertos
0
Erros
6
Sem resposta
17
Exatidão
0.0%
Média
82.5%
Endocrinologia e Nutrição
Acertos
1
Erros
2
Sem resposta
16
Exatidão
5.3%
Média
85.1%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
6
Exatidão
12.5%
Média
89.7%
Estatística
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
91.6%
Farmacologia
Acertos
1
Erros
3
Sem resposta
19
Exatidão
4.3%
Média
85.8%
Gastrenterologia
Acertos
1
Erros
4
Sem resposta
17
Exatidão
4.5%
Média
71.5%
Genética
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
87.1%
Geriatria
Acertos
0
Erros
0
Sem resposta
10
Exatidão
0.0%
Média
87.7%
Ginecologia e Obstetrícia
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
82.0%
Hematologia
Acertos
0
Erros
2
Sem resposta
11
Exatidão
0.0%
Média
82.4%
Imunologia
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
89.7%
Medicina Legal e Bioética
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
91.8%
Nefrologia
Acertos
0
Erros
1
Sem resposta
12
Exatidão
0.0%
Média
81.8%
Neurologia
Acertos
2
Erros
3
Sem resposta
17
Exatidão
9.1%
Média
84.5%
Oftalmologia
Acertos
2
Erros
0
Sem resposta
3
Exatidão
40.0%
Média
81.3%
Oncologia Médica
Acertos
1
Erros
5
Sem resposta
15
Exatidão
4.8%
Média
80.9%
ORL
Acertos
0
Erros
2
Sem resposta
5
Exatidão
0.0%
Média
75.1%
Pediatria
Acertos
0
Erros
4
Sem resposta
13
Exatidão
0.0%
Média
82.9%
Planeamento e Gestão em Saúde
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
75.1%
Pneumologia
Acertos
1
Erros
2
Sem resposta
16
Exatidão
5.3%
Média
81.6%
Psiquiatria
Acertos
0
Erros
2
Sem resposta
8
Exatidão
0.0%
Média
90.0%
Radiologia-Urgências
Acertos
0
Erros
1
Sem resposta
13
Exatidão
0.0%
Média
66.0%
Reumatologia
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
82.4%
Traumatologia
Acertos
0
Erros
5
Sem resposta
10
Exatidão
0.0%
Média
75.4%
Urologia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
79.0%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
81.1%
Bioestatística
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
91.3%
Diagnóstico
Acertos
3
Erros
9
Sem resposta
61
Exatidão
4.1%
Média
80.0%
Epidemiologia
Acertos
1
Erros
2
Sem resposta
9
Exatidão
8.3%
Média
82.1%
Ética
Acertos
0
Erros
1
Sem resposta
0
Exatidão
0.0%
Média
94.0%
Exames
Acertos
0
Erros
4
Sem resposta
17
Exatidão
0.0%
Média
75.0%
Farmacologia
Acertos
1
Erros
2
Sem resposta
22
Exatidão
4.0%
Média
84.7%
Fisiopatologia
Acertos
0
Erros
9
Sem resposta
24
Exatidão
0.0%
Média
86.1%
Interpretação
Acertos
1
Erros
3
Sem resposta
33
Exatidão
2.7%
Média
70.5%
Prevenção
Acertos
1
Erros
2
Sem resposta
9
Exatidão
8.3%
Média
90.3%
Prognóstico
Acertos
1
Erros
0
Sem resposta
6
Exatidão
14.3%
Média
84.6%
Risco
Acertos
0
Erros
1
Sem resposta
12
Exatidão
0.0%
Média
84.5%
Tratamento
Acertos
4
Erros
16
Sem resposta
51
Exatidão
5.6%
Média
82.1%
#RespostaCorretaEstado
1—B
2—D
3—B
4—C
5—C
6—B
7—D
8—C
9—A
10—D
11—D
12DA
13—C
14—A
15—B
16—A
17DC
18—A
19—B
20—C
21—D
22—B
23AA
24—A
25—C
26CB
27—C
28—A
29DB
30—C
31AD
32BA
33—C
34—B
35—D
36—D
37—A
38—A
39—C
40—B
41—C
42—D
43—A
44—D
45CD
46—B
47—C
48—C
49—B
50—C
51AA
52BD
53—C
54—B
55AC
56—D
57—A
58AA
59—A
60—A
61—A
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71—B
72BD
73DB
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84DC
85—A
86—A
87—B
88—D
89CB
90—A
91AD
92—A
93BC
94—B
95DD
96—B
97—B
98CB
99—A
100CB
101—A
102—D
103—B
104CD
105AB
106—C
107—C
108—B
109—D
110—D
111—B
112—C
113A—Anulada
114—D
115AD
116CA
117—D
118—D
119—A
120—C
121—A
122DB
123—D
124—D
125—B
126—D
127AA
128—B
129BD
130—C
131—C
132—D
133CA
134AC
135CA
136—D
137—A
138—C
139AA
140—C
141—B
142—C
143—A
144—D
145—C
146—C
147AC
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155BD
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163AB
164DB
165—A
166—C
167—A
168—B
169—C
170—A
171BD
172AB
173—A
174—B
175AA
176—C
177—C
178—B
179—C
180——Anulada
181—B
182AD
183—C
184—A
185—C
186—D
187BA
188—C
189CD
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197—A
198AB
199—D
200—A
201—B
202—D
203—B
204—D
205—D
206——Anulada
207—A
208—A
209—B
210AD