MedicalBenchmark
Sao10K: Llama 3 8B Lunaris provider

Llama 3 8B Lunaris

289

#289 de 319 modelosMIR 2025

Pontuação líquida

55.33 pts

Exatidão

43.0%

Corretas / Incorretas

86 / 92

Custo total

$0.01

Desempenho Geral

(vs. média)
Exatidão

43.0%

avg: 77.9%

Pontuação líquida

55.33 pts

avg: 143.96 pts

Acertos

86

avg: 156

Erros

92

avg: 35

Custo total

$0.01

avg: $3.36

Tempo médio de resposta

5.7s

avg: 19.0s

Tokens de saída

72K

avg: 430K

Tokens de raciocínio

0

avg: 306K

Confiança média

87.9%

avg: 95.2%

Desagregação por Disciplina

Alergologia
Acertos
3
Erros
1
Sem resposta
0
Exatidão
75.0%
Média
87.9%
Anestesiologia e Reanimação
Acertos
1
Erros
4
Sem resposta
1
Exatidão
16.7%
Média
82.3%
Cardiologia
Acertos
7
Erros
11
Sem resposta
4
Exatidão
31.8%
Média
78.6%
Cuidados Paliativos
Acertos
0
Erros
3
Sem resposta
1
Exatidão
0.0%
Média
78.6%
Dermatologia
Acertos
5
Erros
3
Sem resposta
4
Exatidão
41.7%
Média
69.4%
Doenças Infecciosas
Acertos
12
Erros
11
Sem resposta
4
Exatidão
44.4%
Média
74.9%
Endocrinologia e Nutrição
Acertos
10
Erros
3
Sem resposta
3
Exatidão
62.5%
Média
83.5%
Epidemiologia
Acertos
2
Erros
4
Sem resposta
1
Exatidão
28.6%
Média
69.1%
Estatística
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
76.6%
Farmacologia
Acertos
7
Erros
7
Sem resposta
3
Exatidão
41.2%
Média
74.1%
Gastrenterologia
Acertos
8
Erros
10
Sem resposta
3
Exatidão
38.1%
Média
74.1%
Genética
Acertos
2
Erros
3
Sem resposta
1
Exatidão
33.3%
Média
69.5%
Geriatria
Acertos
5
Erros
6
Sem resposta
0
Exatidão
45.5%
Média
77.5%
Ginecologia e Obstetrícia
Acertos
12
Erros
6
Sem resposta
1
Exatidão
63.2%
Média
86.7%
Hematologia
Acertos
5
Erros
5
Sem resposta
1
Exatidão
45.5%
Média
82.7%
Imunologia
Acertos
4
Erros
4
Sem resposta
1
Exatidão
44.4%
Média
83.3%
Medicina Legal e Bioética
Acertos
2
Erros
2
Sem resposta
1
Exatidão
40.0%
Média
68.4%
Nefrologia
Acertos
10
Erros
2
Sem resposta
2
Exatidão
71.4%
Média
84.8%
Neurologia
Acertos
7
Erros
11
Sem resposta
2
Exatidão
35.0%
Média
77.3%
Oftalmologia
Acertos
2
Erros
3
Sem resposta
0
Exatidão
40.0%
Média
74.2%
Oncologia Médica
Acertos
12
Erros
11
Sem resposta
2
Exatidão
48.0%
Média
87.2%
ORL
Acertos
2
Erros
5
Sem resposta
1
Exatidão
25.0%
Média
74.8%
Pediatria
Acertos
14
Erros
11
Sem resposta
1
Exatidão
53.8%
Média
71.9%
Planeamento e Gestão em Saúde
Acertos
0
Erros
2
Sem resposta
0
Exatidão
0.0%
Média
82.6%
Pneumologia
Acertos
4
Erros
8
Sem resposta
2
Exatidão
28.6%
Média
80.4%
Psiquiatria
Acertos
3
Erros
5
Sem resposta
0
Exatidão
37.5%
Média
83.0%
Radiologia-Urgências
Acertos
6
Erros
8
Sem resposta
0
Exatidão
42.9%
Média
69.4%
Reumatologia
Acertos
6
Erros
7
Sem resposta
2
Exatidão
40.0%
Média
76.6%
Traumatologia
Acertos
8
Erros
9
Sem resposta
1
Exatidão
44.4%
Média
79.3%
Urologia
Acertos
3
Erros
4
Sem resposta
0
Exatidão
42.9%
Média
80.7%

Desagregação por Tipo de Pergunta

Anatomia
Acertos
2
Erros
4
Sem resposta
1
Exatidão
28.6%
Média
78.6%
Bioestatística
Acertos
1
Erros
3
Sem resposta
0
Exatidão
25.0%
Média
79.8%
Diagnóstico
Acertos
40
Erros
41
Sem resposta
7
Exatidão
45.5%
Média
79.9%
Epidemiologia
Acertos
1
Erros
3
Sem resposta
1
Exatidão
20.0%
Média
76.7%
Ética
Acertos
1
Erros
2
Sem resposta
0
Exatidão
33.3%
Média
74.1%
Exames
Acertos
9
Erros
14
Sem resposta
4
Exatidão
33.3%
Média
77.9%
Farmacologia
Acertos
6
Erros
5
Sem resposta
2
Exatidão
46.2%
Média
83.3%
Fisiopatologia
Acertos
8
Erros
11
Sem resposta
8
Exatidão
29.6%
Média
76.1%
Interpretação
Acertos
18
Erros
19
Sem resposta
5
Exatidão
42.9%
Média
70.7%
Legal
Acertos
2
Erros
1
Sem resposta
1
Exatidão
50.0%
Média
64.6%
Prevenção
Acertos
8
Erros
2
Sem resposta
2
Exatidão
66.7%
Média
75.6%
Prognóstico
Acertos
2
Erros
3
Sem resposta
2
Exatidão
28.6%
Média
80.8%
Risco
Acertos
1
Erros
4
Sem resposta
0
Exatidão
20.0%
Média
85.2%
Tratamento
Acertos
41
Erros
34
Sem resposta
6
Exatidão
50.6%
Média
77.3%
#RespostaCorretaEstado
1AB
2CA
3CC
4AB
5AA
6CC
7CC
8AA
9CA
10DD
11CD
12DD
13AB
14BD
15CAnulada
16BB
17AB
18BA
19CC
20DA
21BB
22DD
23AC
24AD
25CC
26Anulada
27DC
28AAnulada
29BD
30BB
31BD
32DA
33DD
34AD
35BB
36AD
37CC
38BC
39DD
40BA
41DD
42BC
43BB
44DD
45AD
46AA
47A
48CA
49BD
50BB
51DC
52BB
53CD
54DB
55CA
56CAnulada
57CC
58BB
59BD
60BA
61AA
62DD
63BB
64DD
65AA
66AA
67BB
68CB
69AB
70DA
71BD
72CA
73AD
74DC
75AA
76BB
77BB
78BB
79AC
80BC
81AC
82CD
83DB
84DD
85BC
86BC
87AA
88CD
89CB
90AA
91BB
92C
93BB
94CC
95CA
96CC
97D
98DC
99A
100C
101AB
102DD
103AA
104CC
105AA
106DC
107CB
108AD
109AB
110CC
111A
112BC
113BB
114BD
115CD
116BC
117AA
118CD
119CC
120AB
121D
122CC
123CC
124BC
125DD
126BD
127AB
128DD
129A
130DD
131DD
132AA
133BB
134CC
135CB
136CC
137CA
138AD
139DD
140B
141BA
142BA
143BB
144BB
145BD
146CC
147CB
148BA
149DA
150AD
151DA
152AA
153B
154BB
155BB
156CC
157AA
158C
159BC
160AA
161A
162BAnulada
163DD
164BC
165DA
166B
167AC
168BD
169B
170B
171DC
172BA
173A
174BB
175CB
176CC
177CC
178BA
179D
180AA
181B
182AC
183DB
184BB
185CB
186DAnulada
187CC
188DD
189BD
190BA
191CB
192BA
193CC
194AA
195AA
196AA
197BB
198C
199D
200BC
201BB
202BA
203DD
204C
205B
206CD
207AA
208CC
209CC
210B