MedicalBenchmark
Sao10K: Llama 3.1 70B Hanami x1 provider

Llama 3.1 70B Hanami x1

236

#236 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

431.00 pts

Exatidão

77.5%

Corretas / Incorretas

465 / 102

Custo total

$1.87

Desempenho Geral

(vs. média)
Exatidão

77.5%

avg: 80.6%

Pontuação líquida

431.00 pts

avg: 453.30 pts

Acertos

465

avg: 483

Erros

102

avg: 90

Custo total

$1.87

avg: $9.58

Tempo médio de resposta

31.4s

avg: 17.9s

Tokens de saída

315K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

92.7%

avg: 95.4%

Desagregação por Exame

MIR 2024
242
Corretas
155
Incorretas
34
Exatidão
77.5%
Pontuação líquida
143.66
MIR 2025
241
Corretas
147
Incorretas
46
Exatidão
73.5%
Pontuação líquida
131.66
MIR 2026
219
Corretas
163
Incorretas
22
Exatidão
81.5%
Pontuação líquida
155.66