MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

291

#291 de 291 modelos — MIR 2024

Pontuação líquida

0.00 pts

Exatidão

3.5%

Corretas / Incorretas

7 / 35

Custo total

$0.63

Desempenho Geral

(vs. média)
Exatidão

3.5%

avg: 80.5%

Pontuação líquida

0.00 pts

avg: 150.85 pts

Acertos

7

avg: 161

Erros

35

avg: 30

Custo total

$0.63

avg: $3.32

Tempo médio de resposta

66.5s

avg: 16.4s

Tokens de saída

444K

avg: 427K

Tokens de raciocínio

0

avg: 310K

Confiança média

22.7%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
90.5%
Anestesiologia e Reanimação
Acertos
0
Erros
0
Sem resposta
4
Exatidão
0.0%
Média
87.1%
Cardiologia
Acertos
1
Erros
6
Sem resposta
14
Exatidão
4.8%
Média
79.7%
Cuidados Paliativos
Acertos
0
Erros
1
Sem resposta
3
Exatidão
0.0%
Média
88.2%
Dermatologia
Acertos
1
Erros
1
Sem resposta
12
Exatidão
7.1%
Média
80.2%
Doenças Infecciosas
Acertos
0
Erros
5
Sem resposta
18
Exatidão
0.0%
Média
81.8%
Endocrinologia e Nutrição
Acertos
1
Erros
2
Sem resposta
16
Exatidão
5.3%
Média
84.2%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
6
Exatidão
12.5%
Média
89.3%
Estatística
Acertos
0
Erros
1
Sem resposta
2
Exatidão
0.0%
Média
91.1%
Farmacologia
Acertos
1
Erros
3
Sem resposta
19
Exatidão
4.3%
Média
85.4%
Gastrenterologia
Acertos
1
Erros
4
Sem resposta
17
Exatidão
4.5%
Média
70.5%
Genética
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
86.5%
Geriatria
Acertos
0
Erros
0
Sem resposta
10
Exatidão
0.0%
Média
86.9%
Ginecologia e Obstetrícia
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
81.2%
Hematologia
Acertos
0
Erros
2
Sem resposta
11
Exatidão
0.0%
Média
81.5%
Imunologia
Acertos
0
Erros
1
Sem resposta
7
Exatidão
0.0%
Média
89.1%
Medicina Legal e Bioética
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
91.7%
Nefrologia
Acertos
0
Erros
1
Sem resposta
12
Exatidão
0.0%
Média
80.8%
Neurologia
Acertos
2
Erros
3
Sem resposta
17
Exatidão
9.1%
Média
83.7%
Oftalmologia
Acertos
2
Erros
0
Sem resposta
3
Exatidão
40.0%
Média
80.0%
Oncologia Médica
Acertos
1
Erros
5
Sem resposta
15
Exatidão
4.8%
Média
80.2%
ORL
Acertos
0
Erros
2
Sem resposta
5
Exatidão
0.0%
Média
74.4%
Pediatria
Acertos
0
Erros
4
Sem resposta
13
Exatidão
0.0%
Média
82.0%
Planeamento e Gestão em Saúde
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
73.2%
Pneumologia
Acertos
1
Erros
1
Sem resposta
17
Exatidão
5.3%
Média
80.6%
Psiquiatria
Acertos
0
Erros
2
Sem resposta
8
Exatidão
0.0%
Média
89.5%
Radiologia-Urgências
Acertos
0
Erros
1
Sem resposta
13
Exatidão
0.0%
Média
64.9%
Reumatologia
Acertos
0
Erros
2
Sem resposta
12
Exatidão
0.0%
Média
81.4%
Traumatologia
Acertos
0
Erros
5
Sem resposta
10
Exatidão
0.0%
Média
74.5%
Urologia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
78.2%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
79.8%
Bioestatística
Acertos
0
Erros
1
Sem resposta
4
Exatidão
0.0%
Média
90.7%
Diagnóstico
Acertos
3
Erros
8
Sem resposta
62
Exatidão
4.1%
Média
79.2%
Epidemiologia
Acertos
1
Erros
2
Sem resposta
9
Exatidão
8.3%
Média
81.2%
Ética
Acertos
0
Erros
1
Sem resposta
0
Exatidão
0.0%
Média
94.5%
Exames
Acertos
0
Erros
4
Sem resposta
17
Exatidão
0.0%
Média
73.9%
Farmacologia
Acertos
1
Erros
2
Sem resposta
22
Exatidão
4.0%
Média
84.0%
Fisiopatologia
Acertos
0
Erros
9
Sem resposta
24
Exatidão
0.0%
Média
85.4%
Interpretação
Acertos
1
Erros
3
Sem resposta
33
Exatidão
2.7%
Média
69.6%
Prevenção
Acertos
1
Erros
2
Sem resposta
9
Exatidão
8.3%
Média
89.8%
Prognóstico
Acertos
1
Erros
0
Sem resposta
6
Exatidão
14.3%
Média
83.9%
Risco
Acertos
0
Erros
1
Sem resposta
12
Exatidão
0.0%
Média
83.6%
Tratamento
Acertos
4
Erros
14
Sem resposta
53
Exatidão
5.6%
Média
81.3%
#RespostaCorretaEstado
1—B
2—D
3—B
4—C
5—C
6—B
7—D
8—C
9—A
10—D
11—D
12DA
13—C
14—A
15—B
16—A
17DC
18—A
19—B
20—C
21—D
22—B
23AA
24—A
25—C
26CB
27—C
28—A
29DB
30—C
31AD
32BA
33—C
34—B
35—D
36—D
37—A
38—A
39—C
40—B
41—C
42—D
43—A
44—D
45CD
46—B
47—C
48—C
49—B
50—C
51AA
52BD
53—C
54—B
55AC
56—D
57—A
58AA
59—A
60—A
61—A
62—D
63AD
64——Anulada
65—D
66—C
67—B
68——Anulada
69—A
70—B
71—B
72BD
73DB
74—C
75—B
76—A
77—D
78—C
79—B
80—A
81—C
82—C
83—B
84DC
85—A
86—A
87—B
88—D
89CB
90—A
91AD
92—A
93BC
94—B
95DD
96—B
97—B
98CB
99—A
100CB
101—A
102—D
103—B
104CD
105AB
106—C
107—C
108—B
109—D
110—D
111—B
112—C
113A—Anulada
114—D
115AD
116CA
117—D
118—D
119—A
120—C
121—A
122—B
123—D
124—D
125—B
126—D
127AA
128—B
129BD
130—C
131—C
132—D
133CA
134AC
135CA
136—D
137—A
138—C
139AA
140—C
141—B
142—C
143—A
144—D
145—C
146—C
147AC
148—A
149—C
150—D
151—A
152—A
153—C
154—B
155BD
156—C
157—C
158—D
159—D
160—B
161—B
162—B
163AB
164DB
165—A
166—C
167—A
168—B
169—C
170—A
171—D
172AB
173—A
174—B
175AA
176—C
177—C
178—B
179—C
180——Anulada
181—B
182AD
183—C
184—A
185—C
186—D
187BA
188—C
189CD
190—D
191—B
192—B
193—C
194—C
195—C
196—B
197—A
198AB
199—D
200—A
201—B
202—D
203—B
204—D
205—D
206——Anulada
207—A
208—A
209—B
210AD