MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

289

#289 de 290 modelos — MIR 2026

Pontuação líquida

9.33 pts

Exatidão

8.5%

Corretas / Incorretas

17 / 23

Custo total

$0.68

Desempenho Geral

(vs. média)
Exatidão

8.5%

avg: 81.6%

Pontuação líquida

9.33 pts

avg: 154.00 pts

Acertos

17

avg: 163

Erros

23

avg: 28

Custo total

$0.68

avg: $3.33

Tempo médio de resposta

72.4s

avg: 16.2s

Tokens de saída

484K

avg: 430K

Tokens de raciocínio

0

avg: 310K

Confiança média

19.4%

avg: 95.1%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
96.9%
Anestesiologia e Reanimação
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
69.6%
Cardiologia
Acertos
1
Erros
4
Sem resposta
20
Exatidão
4.0%
Média
77.3%
Cuidados Paliativos
Acertos
1
Erros
1
Sem resposta
4
Exatidão
16.7%
Média
80.2%
Dermatologia
Acertos
1
Erros
0
Sem resposta
10
Exatidão
9.1%
Média
72.3%
Doenças Infecciosas
Acertos
2
Erros
2
Sem resposta
10
Exatidão
14.3%
Média
77.9%
Endocrinologia e Nutrição
Acertos
1
Erros
0
Sem resposta
14
Exatidão
6.7%
Média
84.0%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
5
Exatidão
14.3%
Média
80.2%
Estatística
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
83.8%
Farmacologia
Acertos
4
Erros
0
Sem resposta
7
Exatidão
36.4%
Média
78.6%
Gastrenterologia
Acertos
2
Erros
6
Sem resposta
22
Exatidão
6.7%
Média
79.3%
Genética
Acertos
2
Erros
0
Sem resposta
9
Exatidão
18.2%
Média
78.7%
Geriatria
Acertos
2
Erros
2
Sem resposta
9
Exatidão
15.4%
Média
83.0%
Ginecologia e Obstetrícia
Acertos
1
Erros
1
Sem resposta
10
Exatidão
8.3%
Média
84.3%
Hematologia
Acertos
0
Erros
0
Sem resposta
9
Exatidão
0.0%
Média
76.6%
Imunologia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
91.4%
Medicina Legal e Bioética
Acertos
2
Erros
0
Sem resposta
9
Exatidão
18.2%
Média
82.9%
Nefrologia
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
85.1%
Neurologia
Acertos
0
Erros
3
Sem resposta
10
Exatidão
0.0%
Média
88.6%
Oftalmologia
Acertos
0
Erros
0
Sem resposta
5
Exatidão
0.0%
Média
83.7%
Oncologia Médica
Acertos
3
Erros
4
Sem resposta
16
Exatidão
13.0%
Média
83.0%
ORL
Acertos
0
Erros
3
Sem resposta
5
Exatidão
0.0%
Média
84.7%
Pediatria
Acertos
2
Erros
3
Sem resposta
17
Exatidão
9.1%
Média
87.6%
Planeamento e Gestão em Saúde
Acertos
2
Erros
0
Sem resposta
8
Exatidão
20.0%
Média
78.4%
Pneumologia
Acertos
1
Erros
2
Sem resposta
13
Exatidão
6.3%
Média
82.8%
Psiquiatria
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
87.9%
Radiologia-Urgências
Acertos
1
Erros
2
Sem resposta
10
Exatidão
7.7%
Média
67.7%
Reumatologia
Acertos
2
Erros
0
Sem resposta
9
Exatidão
18.2%
Média
88.4%
Traumatologia
Acertos
1
Erros
0
Sem resposta
10
Exatidão
9.1%
Média
65.2%
Urologia
Acertos
1
Erros
1
Sem resposta
6
Exatidão
12.5%
Média
82.5%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
0
Sem resposta
3
Exatidão
0.0%
Média
82.6%
Bioestatística
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
83.8%
Diagnóstico
Acertos
5
Erros
11
Sem resposta
65
Exatidão
6.2%
Média
82.2%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
7
Exatidão
11.1%
Média
88.7%
Ética
Acertos
1
Erros
0
Sem resposta
5
Exatidão
16.7%
Média
92.0%
Exames
Acertos
4
Erros
7
Sem resposta
22
Exatidão
12.1%
Média
80.3%
Farmacologia
Acertos
3
Erros
2
Sem resposta
10
Exatidão
20.0%
Média
82.3%
Fisiopatologia
Acertos
1
Erros
1
Sem resposta
24
Exatidão
3.8%
Média
84.3%
Interpretação
Acertos
3
Erros
4
Sem resposta
30
Exatidão
8.1%
Média
72.0%
Legal
Acertos
2
Erros
0
Sem resposta
7
Exatidão
22.2%
Média
82.4%
Prevenção
Acertos
2
Erros
1
Sem resposta
13
Exatidão
12.5%
Média
80.6%
Prognóstico
Acertos
0
Erros
2
Sem resposta
3
Exatidão
0.0%
Média
93.2%
Risco
Acertos
2
Erros
0
Sem resposta
13
Exatidão
13.3%
Média
84.3%
Tratamento
Acertos
4
Erros
10
Sem resposta
58
Exatidão
5.6%
Média
80.1%
#RespostaCorretaEstado
1—A
2BB
3CD
4—D
5—B
6—C
7—B
8—D
9—D
10AA
11CB
12—A
13——Anulada
14CC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25AC
26—A
27—B
28—D
29AA
30—D
31—C
32—C
33DB
34—B
35DC
36—D
37—D
38AA
39—C
40—A
41—D
42—A
43—B
44CB
45AB
46—B
47—D
48—C
49—C
50——Anulada
51—A
52—C
53AC
54—C
55AA
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64——Anulada
65—C
66CC
67—C
68—A
69—B
70—B
71BB
72—B
73—B
74AA
75—C
76—C
77—A
78—D
79—A
80—D
81AC
82—D
83—B
84—A
85—D
86AA
87—B
88DB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97AB
98—A
99—B
100—C
101BC
102—A
103BC
104CC
105—C
106—B
107—C
108—A
109AC
110—C
111—B
112—C
113CC
114—D
115—B
116—D
117—C
118—B
119—A
120—A
121—C
122—B
123AB
124—B
125—C
126—B
127—C
128CB
129—C
130—C
131—B
132—B
133—C
134—B
135—C
136BB
137—D
138—B
139——Anulada
140—D
141—A
142——Anulada
143—A
144—D
145—C
146—C
147—B
148—C
149AB
150—B
151—B
152—C
153CC
154—D
155—B
156—A
157BD
158—B
159—C
160—A
161A—Anulada
162AA
163DC
164DC
165—A
166—A
167AD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179BB
180—C
181—B
182—C
183—D
184—D
185—B
186—D
187—D
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196AA
197AC
198—A
199—B
200—D
201—C
202—A
203—A
204—C
205—B
206BC
207—A
208D—Anulada
209—B
210—C