MedicalBenchmark
Bienvenidos a MedBench: El mayor benchmark médico en español

Bienvenidos a MedBench: El mayor benchmark médico en español

Presentamos MedBench, una plataforma para evaluar modelos de lenguaje en el ámbito médico utilizando preguntas del examen MIR.

Equipo MedBench23 de enero de 20242 min de lectura
anunciobenchmarkMIRIA médica

Introducción

Nos complace presentar MedBench, la mayor plataforma de benchmark médico enfocada en evaluar modelos de inteligencia artificial utilizando preguntas reales del examen MIR (Médico Interno Residente) de España.

¿Por qué MedBench?

La evaluación de modelos de lenguaje en el ámbito médico presenta desafíos únicos:

  • Precisión crítica: En medicina, los errores pueden tener consecuencias graves
  • Conocimiento especializado: Se requiere comprensión profunda de múltiples especialidades
  • Razonamiento clínico: No basta con memorizar, hay que saber aplicar el conocimiento

Características principales

Preguntas del MIR

Utilizamos preguntas oficiales del examen MIR, lo que garantiza:

  1. Calidad y relevancia clínica
  2. Cobertura de todas las especialidades médicas
  3. Diferentes niveles de dificultad
  4. Actualización constante con nuevas convocatorias

Métricas detalladas

Evaluamos cada modelo en múltiples dimensiones:

  • Precisión global: Porcentaje de respuestas correctas
  • Puntuación neta: Considerando penalización por errores
  • Desglose por especialidad: Rendimiento en cada área médica
  • Nivel de confianza: Certeza del modelo en sus respuestas

Próximos pasos

Estamos trabajando en:

  • Ampliar el conjunto de preguntas
  • Añadir más modelos al ranking
  • Implementar análisis comparativos
  • Desarrollar herramientas para investigadores

Únete a la comunidad

Si eres investigador, desarrollador o profesional médico interesado en la IA aplicada a la salud, te invitamos a:

¡Gracias por tu interés en MedBench!