MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

317

#317 de 319 modelos — MIR 2026

Pontuação líquida

10.33 pts

Exatidão

9.0%

Corretas / Incorretas

18 / 23

Custo total

$0.70

Desempenho Geral

(vs. média)
Exatidão

9.0%

avg: 82.4%

Pontuação líquida

10.33 pts

avg: 156.14 pts

Acertos

18

avg: 165

Erros

23

avg: 26

Custo total

$0.70

avg: $3.12

Tempo médio de resposta

72.4s

avg: 17.4s

Tokens de saída

497K

avg: 415K

Tokens de raciocínio

0

avg: 295K

Confiança média

19.7%

avg: 95.4%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
0
Sem resposta
1
Exatidão
0.0%
Média
96.9%
Anestesiologia e Reanimação
Acertos
0
Erros
1
Sem resposta
6
Exatidão
0.0%
Média
71.0%
Cardiologia
Acertos
1
Erros
4
Sem resposta
20
Exatidão
4.0%
Média
78.4%
Cuidados Paliativos
Acertos
1
Erros
1
Sem resposta
4
Exatidão
16.7%
Média
80.8%
Dermatologia
Acertos
1
Erros
0
Sem resposta
10
Exatidão
9.1%
Média
73.2%
Doenças Infecciosas
Acertos
2
Erros
2
Sem resposta
10
Exatidão
14.3%
Média
79.0%
Endocrinologia e Nutrição
Acertos
1
Erros
0
Sem resposta
14
Exatidão
6.7%
Média
84.7%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
5
Exatidão
14.3%
Média
81.3%
Estatística
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
84.5%
Farmacologia
Acertos
4
Erros
0
Sem resposta
7
Exatidão
36.4%
Média
79.6%
Gastrenterologia
Acertos
2
Erros
6
Sem resposta
22
Exatidão
6.7%
Média
80.2%
Genética
Acertos
2
Erros
0
Sem resposta
9
Exatidão
18.2%
Média
79.7%
Geriatria
Acertos
2
Erros
2
Sem resposta
9
Exatidão
15.4%
Média
83.7%
Ginecologia e Obstetrícia
Acertos
1
Erros
1
Sem resposta
10
Exatidão
8.3%
Média
85.2%
Hematologia
Acertos
0
Erros
0
Sem resposta
9
Exatidão
0.0%
Média
77.6%
Imunologia
Acertos
0
Erros
1
Sem resposta
5
Exatidão
0.0%
Média
91.8%
Medicina Legal e Bioética
Acertos
2
Erros
0
Sem resposta
9
Exatidão
18.2%
Média
83.4%
Nefrologia
Acertos
0
Erros
1
Sem resposta
9
Exatidão
0.0%
Média
85.6%
Neurologia
Acertos
0
Erros
3
Sem resposta
10
Exatidão
0.0%
Média
89.0%
Oftalmologia
Acertos
0
Erros
0
Sem resposta
5
Exatidão
0.0%
Média
84.5%
Oncologia Médica
Acertos
4
Erros
4
Sem resposta
15
Exatidão
17.4%
Média
83.7%
ORL
Acertos
0
Erros
3
Sem resposta
5
Exatidão
0.0%
Média
85.0%
Pediatria
Acertos
2
Erros
3
Sem resposta
17
Exatidão
9.1%
Média
88.1%
Planeamento e Gestão em Saúde
Acertos
2
Erros
0
Sem resposta
8
Exatidão
20.0%
Média
79.4%
Pneumologia
Acertos
1
Erros
2
Sem resposta
13
Exatidão
6.3%
Média
83.6%
Psiquiatria
Acertos
0
Erros
0
Sem resposta
8
Exatidão
0.0%
Média
88.4%
Radiologia-Urgências
Acertos
1
Erros
2
Sem resposta
10
Exatidão
7.7%
Média
69.4%
Reumatologia
Acertos
2
Erros
0
Sem resposta
9
Exatidão
18.2%
Média
89.0%
Traumatologia
Acertos
1
Erros
0
Sem resposta
10
Exatidão
9.1%
Média
66.6%
Urologia
Acertos
2
Erros
1
Sem resposta
5
Exatidão
25.0%
Média
83.1%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
0
Erros
0
Sem resposta
3
Exatidão
0.0%
Média
83.4%
Bioestatística
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
84.5%
Diagnóstico
Acertos
5
Erros
11
Sem resposta
65
Exatidão
6.2%
Média
83.0%
Epidemiologia
Acertos
1
Erros
1
Sem resposta
7
Exatidão
11.1%
Média
89.1%
Ética
Acertos
1
Erros
0
Sem resposta
5
Exatidão
16.7%
Média
92.2%
Exames
Acertos
4
Erros
7
Sem resposta
22
Exatidão
12.1%
Média
81.2%
Farmacologia
Acertos
3
Erros
2
Sem resposta
10
Exatidão
20.0%
Média
83.1%
Fisiopatologia
Acertos
1
Erros
1
Sem resposta
24
Exatidão
3.8%
Média
85.0%
Interpretação
Acertos
3
Erros
4
Sem resposta
30
Exatidão
8.1%
Média
73.2%
Legal
Acertos
2
Erros
0
Sem resposta
7
Exatidão
22.2%
Média
82.9%
Prevenção
Acertos
2
Erros
1
Sem resposta
13
Exatidão
12.5%
Média
81.5%
Prognóstico
Acertos
0
Erros
2
Sem resposta
3
Exatidão
0.0%
Média
93.2%
Risco
Acertos
2
Erros
0
Sem resposta
13
Exatidão
13.3%
Média
85.0%
Tratamento
Acertos
5
Erros
10
Sem resposta
57
Exatidão
6.9%
Média
80.9%
#RespostaCorretaEstado
1—A
2BB
3CD
4—D
5—B
6—C
7—B
8—D
9—D
10AA
11CB
12—A
13——Anulada
14CC
15—A
16—C
17—C
18—D
19—B
20—B
21—B
22—C
23—B
24—A
25AC
26—A
27—B
28—D
29AA
30—D
31—C
32—C
33DB
34—B
35DC
36—D
37—D
38AA
39—C
40—A
41—D
42—A
43—B
44CB
45AB
46—B
47—D
48—C
49—C
50——Anulada
51—A
52—C
53AC
54—C
55AA
56—A
57—A
58—A
59—B
60—B
61—C
62—B
63—B
64——Anulada
65—C
66CC
67—C
68—A
69—B
70—B
71BB
72—B
73—B
74AA
75—C
76—C
77—A
78—D
79—A
80—D
81AC
82—D
83—B
84—A
85DD
86AA
87—B
88DB
89—B
90—C
91—A
92—C
93—D
94—C
95—C
96—B
97AB
98—A
99—B
100—C
101BC
102—A
103BC
104CC
105—C
106—B
107—C
108—A
109AC
110—C
111—B
112—C
113CC
114—D
115—B
116—D
117—C
118—B
119—A
120—A
121—C
122—B
123AB
124—B
125—C
126—B
127—C
128CB
129—C
130—C
131—B
132—B
133—C
134—B
135—C
136BB
137—D
138—B
139——Anulada
140—D
141—A
142——Anulada
143—A
144—D
145—C
146—C
147—B
148—C
149AB
150—B
151—B
152—C
153CC
154—D
155—B
156—A
157BD
158—B
159—C
160—A
161A—Anulada
162AA
163DC
164DC
165—A
166—A
167AD
168—C
169—B
170—B
171—A
172—B
173—D
174—C
175—B
176—A
177—D
178—D
179BB
180—C
181—B
182—C
183—D
184—D
185—B
186—D
187—D
188—C
189—C
190—B
191—D
192—D
193—C
194—C
195—D
196AA
197AC
198—A
199—B
200—D
201—C
202—A
203—A
204—C
205—B
206BC
207—A
208D—Anulada
209—B
210—C