MedicalBenchmark
EleutherAI: Llemma 7b provider

Llemma 7b

318

#318 de 319 modelos no ranking geral

Desempenho acumulado em 3 exames MIR

Pontuação líquida

8.33 pts

Exatidão

7.0%

Corretas / Incorretas

42 / 101

Custo total

$1.98

Desempenho Geral

(vs. média)
Exatidão

7.0%

avg: 80.6%

Pontuação líquida

8.33 pts

avg: 453.30 pts

Acertos

42

avg: 483

Erros

101

avg: 90

Custo total

$1.98

avg: $9.58

Tempo médio de resposta

69.0s

avg: 17.9s

Tokens de saída

1.4M

avg: 1.3M

Tokens de raciocínio

0

avg: 898K

Confiança média

22.8%

avg: 95.4%

Desagregação por Exame

MIR 2024
320
Corretas
7
Incorretas
37
Exatidão
3.5%
Pontuação líquida
0.00
MIR 2025
316
Corretas
17
Incorretas
41
Exatidão
8.5%
Pontuação líquida
3.33
MIR 2026
317
Corretas
18
Incorretas
23
Exatidão
9.0%
Pontuação líquida
10.33