MedicalBenchmark
AllenAI: Olmo 3 7B Think provider

Olmo 3 7B Think

287

#287 de 319 modelosMIR 2025

Pontuação líquida

66.33 pts

Exatidão

49.5%

Corretas / Incorretas

99 / 98

Custo total

$0.14

Desempenho Geral

(vs. média)
Exatidão

49.5%

avg: 77.9%

Pontuação líquida

66.33 pts

avg: 143.96 pts

Acertos

99

avg: 156

Erros

98

avg: 35

Custo total

$0.14

avg: $3.36

Tempo médio de resposta

15.3s

avg: 19.0s

Tokens de saída

613K

avg: 430K

Tokens de raciocínio

547K

avg: 306K

Confiança média

97.3%

avg: 95.2%

Desagregação por Disciplina

Alergologia
Acertos
1
Erros
3
Sem resposta
0
Exatidão
25.0%
Média
87.9%
Anestesiologia e Reanimação
Acertos
1
Erros
5
Sem resposta
0
Exatidão
16.7%
Média
82.3%
Cardiologia
Acertos
7
Erros
15
Sem resposta
0
Exatidão
31.8%
Média
78.6%
Cuidados Paliativos
Acertos
1
Erros
3
Sem resposta
0
Exatidão
25.0%
Média
78.6%
Dermatologia
Acertos
6
Erros
6
Sem resposta
0
Exatidão
50.0%
Média
69.4%
Doenças Infecciosas
Acertos
12
Erros
15
Sem resposta
0
Exatidão
44.4%
Média
74.9%
Endocrinologia e Nutrição
Acertos
10
Erros
5
Sem resposta
1
Exatidão
62.5%
Média
83.5%
Epidemiologia
Acertos
4
Erros
3
Sem resposta
0
Exatidão
57.1%
Média
69.1%
Estatística
Acertos
3
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
76.6%
Farmacologia
Acertos
11
Erros
6
Sem resposta
0
Exatidão
64.7%
Média
74.1%
Gastrenterologia
Acertos
8
Erros
13
Sem resposta
0
Exatidão
38.1%
Média
74.1%
Genética
Acertos
2
Erros
4
Sem resposta
0
Exatidão
33.3%
Média
69.5%
Geriatria
Acertos
6
Erros
5
Sem resposta
0
Exatidão
54.5%
Média
77.5%
Ginecologia e Obstetrícia
Acertos
13
Erros
6
Sem resposta
0
Exatidão
68.4%
Média
86.7%
Hematologia
Acertos
9
Erros
2
Sem resposta
0
Exatidão
81.8%
Média
82.7%
Imunologia
Acertos
4
Erros
4
Sem resposta
1
Exatidão
44.4%
Média
83.3%
Medicina Legal e Bioética
Acertos
3
Erros
2
Sem resposta
0
Exatidão
60.0%
Média
68.4%
Nefrologia
Acertos
10
Erros
4
Sem resposta
0
Exatidão
71.4%
Média
84.8%
Neurologia
Acertos
11
Erros
8
Sem resposta
1
Exatidão
55.0%
Média
77.3%
Oftalmologia
Acertos
1
Erros
4
Sem resposta
0
Exatidão
20.0%
Média
74.2%
Oncologia Médica
Acertos
17
Erros
8
Sem resposta
0
Exatidão
68.0%
Média
87.2%
ORL
Acertos
3
Erros
5
Sem resposta
0
Exatidão
37.5%
Média
74.8%
Pediatria
Acertos
9
Erros
17
Sem resposta
0
Exatidão
34.6%
Média
71.9%
Planeamento e Gestão em Saúde
Acertos
1
Erros
1
Sem resposta
0
Exatidão
50.0%
Média
82.6%
Pneumologia
Acertos
5
Erros
9
Sem resposta
0
Exatidão
35.7%
Média
80.4%
Psiquiatria
Acertos
6
Erros
2
Sem resposta
0
Exatidão
75.0%
Média
83.0%
Radiologia-Urgências
Acertos
7
Erros
7
Sem resposta
0
Exatidão
50.0%
Média
69.4%
Reumatologia
Acertos
6
Erros
9
Sem resposta
0
Exatidão
40.0%
Média
76.6%
Traumatologia
Acertos
8
Erros
9
Sem resposta
1
Exatidão
44.4%
Média
79.3%
Urologia
Acertos
4
Erros
3
Sem resposta
0
Exatidão
57.1%
Média
80.7%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
3
Erros
3
Sem resposta
1
Exatidão
42.9%
Média
78.6%
Bioestatística
Acertos
4
Erros
0
Sem resposta
0
Exatidão
100.0%
Média
79.8%
Diagnóstico
Acertos
44
Erros
43
Sem resposta
1
Exatidão
50.0%
Média
79.9%
Epidemiologia
Acertos
2
Erros
3
Sem resposta
0
Exatidão
40.0%
Média
76.7%
Ética
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
74.1%
Exames
Acertos
17
Erros
10
Sem resposta
0
Exatidão
63.0%
Média
77.9%
Farmacologia
Acertos
10
Erros
3
Sem resposta
0
Exatidão
76.9%
Média
83.3%
Fisiopatologia
Acertos
12
Erros
13
Sem resposta
2
Exatidão
44.4%
Média
76.1%
Interpretação
Acertos
18
Erros
23
Sem resposta
1
Exatidão
42.9%
Média
70.7%
Legal
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
64.6%
Prevenção
Acertos
5
Erros
7
Sem resposta
0
Exatidão
41.7%
Média
75.6%
Prognóstico
Acertos
3
Erros
4
Sem resposta
0
Exatidão
42.9%
Média
80.8%
Risco
Acertos
1
Erros
4
Sem resposta
0
Exatidão
20.0%
Média
85.2%
Tratamento
Acertos
41
Erros
40
Sem resposta
0
Exatidão
50.6%
Média
77.3%
#RespostaCorretaEstado
1BB
2AA
3DC
4DB
5AA
6CC
7BC
8CA
9CA
10AD
11DD
12CD
13AB
14BD
15CAnulada
16DB
17AB
18CA
19BC
20AA
21BB
22DD
23C
24BD
25CC
26DAnulada
27BC
28DAnulada
29BD
30BB
31DD
32AA
33DD
34AD
35BB
36BD
37DC
38BC
39DD
40AA
41DD
42CC
43DB
44DD
45DD
46AA
47AA
48AA
49BD
50BB
51DC
52CB
53AD
54DB
55CA
56BAnulada
57CC
58BB
59DD
60BA
61BA
62DD
63BB
64BD
65CA
66AA
67BB
68DB
69AB
70DA
71CD
72CA
73BD
74CC
75AA
76BB
77BB
78BB
79DC
80CC
81AC
82CD
83BB
84DD
85DC
86BC
87CA
88DD
89CB
90AA
91B
92DC
93BB
94AC
95AA
96DC
97DD
98DC
99BA
100BC
101AB
102DD
103AA
104BC
105AA
106CC
107CB
108BD
109BB
110CC
111BA
112BC
113AB
114AD
115BD
116CC
117AA
118CD
119CC
120DB
121AD
122AC
123CC
124BC
125BD
126DD
127BB
128DD
129BA
130DD
131DD
132AA
133AB
134CC
135CB
136DC
137AA
138DD
139DD
140BB
141AA
142AA
143BB
144BB
145DD
146CC
147DB
148DA
149CA
150DD
151AA
152AA
153B
154BB
155AB
156CC
157AA
158CC
159CC
160BA
161CA
162CAnulada
163CD
164CC
165AA
166BB
167AC
168BD
169CB
170AB
171DC
172BA
173DA
174CB
175CB
176AC
177CC
178BA
179DD
180AA
181BB
182BC
183DB
184BB
185DB
186DAnulada
187CC
188DD
189BD
190AA
191AB
192BA
193CC
194CA
195AA
196AA
197BB
198BC
199DD
200CC
201BB
202BA
203DD
204BC
205BB
206CD
207AA
208CC
209CC
210BB