MedicalBenchmark
NousResearch: Hermes 2 Pro - Llama-3 8B provider

Hermes 2 Pro - Llama-3 8B

302

#302 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

146.33 pts

Exatidão

40.3%

Corretas / Incorretas

242 / 287

Custo total

$0.08

Desempenho Geral

(vs. média)
Exatidão

40.3%

avg: 80.6%

Pontuação líquida

146.33 pts

avg: 453.30 pts

Acertos

242

avg: 483

Erros

287

avg: 90

Custo total

$0.08

avg: $9.58

Tempo médio de resposta

4.1s

avg: 17.9s

Tokens de saída

268K

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

84.5%

avg: 95.4%

Desagregação por Exame

MIR 2024
309
Corretas
72
Incorretas
105
Exatidão
36.0%
Pontuação líquida
37.00
MIR 2025
298
Corretas
78
Incorretas
101
Exatidão
39.0%
Pontuação líquida
44.33
MIR 2026
298
Corretas
92
Incorretas
81
Exatidão
46.0%
Pontuação líquida
65.00