MedicalBenchmark
AllenAI: Olmo 3 7B Instruct provider

Olmo 3 7B Instruct

276

#276 de 290 modelosMIR 2026

Pontuação líquida

56.33 pts

Exatidão

44.0%

Corretas / Incorretas

88 / 95

Custo total

$0.05

Desempenho Geral

(vs. média)
Exatidão

44.0%

avg: 81.6%

Pontuação líquida

56.33 pts

avg: 154.00 pts

Acertos

88

avg: 163

Erros

95

avg: 28

Custo total

$0.05

avg: $3.33

Tempo médio de resposta

17.6s

avg: 16.2s

Tokens de saída

172K

avg: 430K

Tokens de raciocínio

0

avg: 310K

Confiança média

84.9%

avg: 95.1%

Desagregação por Disciplina

Alergologia
Acertos
0
Erros
1
Sem resposta
0
Exatidão
0.0%
Média
96.9%
Anestesiologia e Reanimação
Acertos
3
Erros
3
Sem resposta
1
Exatidão
42.9%
Média
69.6%
Cardiologia
Acertos
8
Erros
17
Sem resposta
0
Exatidão
32.0%
Média
77.3%
Cuidados Paliativos
Acertos
2
Erros
4
Sem resposta
0
Exatidão
33.3%
Média
80.2%
Dermatologia
Acertos
7
Erros
3
Sem resposta
1
Exatidão
63.6%
Média
72.3%
Doenças Infecciosas
Acertos
7
Erros
5
Sem resposta
2
Exatidão
50.0%
Média
77.9%
Endocrinologia e Nutrição
Acertos
8
Erros
7
Sem resposta
0
Exatidão
53.3%
Média
84.0%
Epidemiologia
Acertos
1
Erros
4
Sem resposta
2
Exatidão
14.3%
Média
80.2%
Estatística
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
83.8%
Farmacologia
Acertos
4
Erros
6
Sem resposta
1
Exatidão
36.4%
Média
78.6%
Gastrenterologia
Acertos
18
Erros
11
Sem resposta
1
Exatidão
60.0%
Média
79.3%
Genética
Acertos
5
Erros
5
Sem resposta
1
Exatidão
45.5%
Média
78.7%
Geriatria
Acertos
6
Erros
7
Sem resposta
0
Exatidão
46.2%
Média
83.0%
Ginecologia e Obstetrícia
Acertos
4
Erros
7
Sem resposta
1
Exatidão
33.3%
Média
84.3%
Hematologia
Acertos
3
Erros
4
Sem resposta
2
Exatidão
33.3%
Média
76.6%
Imunologia
Acertos
5
Erros
1
Sem resposta
0
Exatidão
83.3%
Média
91.4%
Medicina Legal e Bioética
Acertos
4
Erros
6
Sem resposta
1
Exatidão
36.4%
Média
82.9%
Nefrologia
Acertos
3
Erros
6
Sem resposta
1
Exatidão
30.0%
Média
85.1%
Neurologia
Acertos
4
Erros
7
Sem resposta
2
Exatidão
30.8%
Média
88.6%
Oftalmologia
Acertos
1
Erros
4
Sem resposta
0
Exatidão
20.0%
Média
83.7%
Oncologia Médica
Acertos
12
Erros
10
Sem resposta
1
Exatidão
52.2%
Média
83.0%
ORL
Acertos
4
Erros
3
Sem resposta
1
Exatidão
50.0%
Média
84.7%
Pediatria
Acertos
12
Erros
8
Sem resposta
2
Exatidão
54.5%
Média
87.6%
Planeamento e Gestão em Saúde
Acertos
4
Erros
3
Sem resposta
3
Exatidão
40.0%
Média
78.4%
Pneumologia
Acertos
11
Erros
5
Sem resposta
0
Exatidão
68.8%
Média
82.8%
Psiquiatria
Acertos
3
Erros
4
Sem resposta
1
Exatidão
37.5%
Média
87.9%
Radiologia-Urgências
Acertos
2
Erros
10
Sem resposta
1
Exatidão
15.4%
Média
67.7%
Reumatologia
Acertos
6
Erros
3
Sem resposta
2
Exatidão
54.5%
Média
88.4%
Traumatologia
Acertos
5
Erros
5
Sem resposta
1
Exatidão
45.5%
Média
65.2%
Urologia
Acertos
3
Erros
5
Sem resposta
0
Exatidão
37.5%
Média
82.5%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
82.6%
Bioestatística
Acertos
0
Erros
1
Sem resposta
1
Exatidão
0.0%
Média
83.8%
Diagnóstico
Acertos
27
Erros
48
Sem resposta
6
Exatidão
33.3%
Média
82.2%
Epidemiologia
Acertos
3
Erros
4
Sem resposta
2
Exatidão
33.3%
Média
88.7%
Ética
Acertos
4
Erros
2
Sem resposta
0
Exatidão
66.7%
Média
92.0%
Exames
Acertos
15
Erros
17
Sem resposta
1
Exatidão
45.5%
Média
80.3%
Farmacologia
Acertos
8
Erros
6
Sem resposta
1
Exatidão
53.3%
Média
82.3%
Fisiopatologia
Acertos
14
Erros
9
Sem resposta
3
Exatidão
53.8%
Média
84.3%
Interpretação
Acertos
13
Erros
20
Sem resposta
4
Exatidão
35.1%
Média
72.0%
Legal
Acertos
4
Erros
4
Sem resposta
1
Exatidão
44.4%
Média
82.4%
Prevenção
Acertos
7
Erros
7
Sem resposta
2
Exatidão
43.8%
Média
80.6%
Prognóstico
Acertos
2
Erros
1
Sem resposta
2
Exatidão
40.0%
Média
93.2%
Risco
Acertos
5
Erros
9
Sem resposta
1
Exatidão
33.3%
Média
84.3%
Tratamento
Acertos
35
Erros
32
Sem resposta
5
Exatidão
48.6%
Média
80.1%
#RespostaCorretaEstado
1BA
2CB
3AD
4CD
5BB
6C
7AB
8BD
9DD
10AA
11AB
12AA
13BAnulada
14BC
15BA
16CC
17CC
18BD
19DB
20BB
21BB
22CC
23CB
24DA
25AC
26A
27BB
28CD
29CA
30D
31DC
32BC
33B
34AB
35CC
36CD
37DD
38AA
39CC
40CA
41CD
42AA
43BB
44BB
45B
46BB
47DD
48CC
49CC
50AAnulada
51BA
52BC
53DC
54BC
55CA
56CA
57A
58BA
59DB
60BB
61CC
62B
63AB
64CAnulada
65DC
66DC
67CC
68AA
69BB
70BB
71AB
72BB
73BB
74AA
75BC
76CC
77AA
78CD
79AA
80DD
81CC
82CD
83BB
84BA
85BD
86DA
87BB
88CB
89BB
90CC
91AA
92AC
93BD
94BC
95AC
96B
97CB
98AA
99BB
100CC
101CC
102A
103CC
104DC
105CC
106CB
107CC
108BA
109AC
110AC
111AB
112CC
113CC
114DD
115AB
116CD
117CC
118AB
119DA
120CA
121AC
122AB
123CB
124DB
125BC
126BB
127CC
128BB
129BC
130CC
131BB
132CB
133CC
134CB
135BC
136AB
137CD
138B
139CAnulada
140DD
141BA
142BAnulada
143AA
144DD
145C
146AC
147BB
148C
149BB
150BB
151BB
152CC
153CC
154BD
155BB
156CA
157DD
158BB
159BC
160AA
161CAnulada
162AA
163BC
164AC
165BA
166DA
167D
168AC
169B
170CB
171AA
172AB
173DD
174AC
175BB
176A
177CD
178AD
179B
180CC
181DB
182CC
183D
184DD
185AB
186DD
187DD
188CC
189CC
190AB
191BD
192BD
193CC
194CC
195AD
196DA
197CC
198DA
199BB
200AD
201AC
202BA
203AA
204AC
205BB
206CC
207AA
208DAnulada
209CB
210BC