¿Cuándo podemos confiar en la inteligencia artificial para realizar revisiones sistemáticas?
La incorporación de inteligencia artificial (IA) a las revisiones sistemáticas plantea una cuestión fundamental: no se trata únicamente de determinar si una herramienta puede realizar una tarea, sino de establecer cuándo es metodológicamente aceptable delegársela. Este fue el eje central del webinar When to Trust the Machine, organizado por Covidence con motivo del Día Mundial de la Atención Sanitaria Basada en la Evidencia.
Durante la sesión se presentó un marco de evaluación de herramientas de IA basado en tres dimensiones: las consecuencias de los errores, el grado de supervisión humana y el rendimiento demostrado de los modelos.
Tres preguntas antes de utilizar inteligencia artificial
La primera pregunta es ¿qué ocurre si la IA se equivoca? No todos los errores tienen las mismas consecuencias. Un error ortográfico puede corregirse fácilmente, mientras que la exclusión incorrecta de un estudio relevante puede modificar las conclusiones de una revisión sistemática sin que nadie llegue a detectar el problema.
La segunda pregunta es ¿quién toma la decisión final? Los ponentes distinguieron tres niveles de intervención humana:
- Control completo: la IA organiza o destaca información, pero todas las decisiones corresponden al investigador.
- Confirmación humana: la IA propone decisiones que deben ser aceptadas o rechazadas individualmente.
- Supervisión parcial: la IA toma decisiones y los investigadores revisan únicamente una muestra de ellas.
La tercera pregunta es ¿qué rendimiento debe demostrar la herramienta? La respuesta depende de las dos dimensiones anteriores. Cuanto mayores sean las consecuencias de un error y menor sea la supervisión humana, más exigente deberá ser el rendimiento del sistema.
Este enfoque cuestiona la utilización de indicadores generales de precisión como único criterio para determinar si una herramienta es adecuada.
Una precisión media elevada puede ocultar errores inaceptables
Uno de los ejemplos más interesantes del webinar fue una herramienta desarrollada para excluir automáticamente referencias que no cumplían los criterios de elegibilidad de una revisión sistemática.
Durante su evaluación, el sistema alcanzó una sensibilidad (recall) media del 98,6 %, aparentemente suficiente para justificar su utilización. Sin embargo, el rendimiento variaba considerablemente entre revisiones, con valores comprendidos entre el 65,7 % y el 100 %.
Esto significaba que, en determinadas revisiones, la herramienta podía excluir incorrectamente aproximadamente un tercio de los estudios relevantes.
Aunque el rendimiento medio superaba el umbral previamente establecido, los desarrolladores decidieron no implementar la funcionalidad porque no podían predecir en qué revisiones se producirían esos resultados deficientes.
En contraste, se presentó el clasificador de ensayos clínicos aleatorizados de Cochrane, utilizado para identificar referencias que probablemente no corresponden a ensayos aleatorizados. Este sistema había alcanzado una sensibilidad del 99,5 %, con un intervalo de confianza estrecho y validación independiente, lo que justificó su incorporación a Covidence.
La enseñanza metodológica es especialmente relevante: el rendimiento promedio de una herramienta no garantiza que sea suficientemente segura para una revisión concreta. Es necesario examinar la variabilidad de sus resultados y establecer los criterios de aceptación antes de evaluar su funcionamiento.
La extracción de datos asistida por IA: un escenario diferente
El webinar también presentó funcionalidades de extracción de datos asistida por inteligencia artificial.
En este caso, la IA propone información extraída de los artículos y muestra los fragmentos originales que sustentan cada propuesta. Los investigadores pueden comprobar directamente la fuente y aceptar, modificar o rechazar los datos sugeridos.
Para uno de los campos evaluados, relacionado con la identificación de fuentes de financiación, se comunicó una sensibilidad del 100 % y una precisión del 92,2 %, con un límite inferior del intervalo de confianza del 88,6 %.
La diferencia respecto a la exclusión automática de estudios es importante: los errores pueden detectarse mediante la verificación individual de las propuestas y, además, sus consecuencias pueden ser menos graves dependiendo de la variable.
No obstante, estas funcionalidades presentan limitaciones. Durante el webinar se explicó que las sugerencias se generan a partir del PDF principal y no incorporan automáticamente la información de los materiales suplementarios. También se señaló que las evaluaciones de los modelos se habían realizado fundamentalmente con documentos en inglés.
Por tanto, la utilidad de estas herramientas debe valorarse en función de las características de cada revisión y de los datos que se pretende extraer.
Transparencia, validación y responsabilidad científica
Otro aspecto destacado fue la necesidad de documentar adecuadamente el uso de inteligencia artificial.
Los ponentes señalaron que las herramientas deberían proporcionar información sobre sus procedimientos de validación, rendimiento, limitaciones y condiciones de utilización. También deberían permitir identificar qué decisiones han sido automatizadas y ofrecer mecanismos para verificarlas.
En este contexto, se mencionaron las recomendaciones de organizaciones internacionales dedicadas a la síntesis de evidencia, así como las orientaciones RAISE para el uso responsable de IA.
Una consideración especialmente importante es que la responsabilidad sobre la revisión sistemática continúa correspondiendo a sus autores, incluso cuando utilizan herramientas automatizadas.
Esto implica justificar su utilización, describir las tareas en las que han intervenido y explicar cómo se ha verificado la información generada.
También se abordaron cuestiones relacionadas con la confidencialidad, las licencias de acceso a los artículos y las políticas institucionales sobre el procesamiento de documentos mediante modelos de lenguaje.
¿Qué deberíamos exigir a una herramienta de IA?
El webinar concluyó proponiendo seis preguntas prácticas para valorar su utilización:
- ¿Cuáles serían las consecuencias de un error y podría pasar inadvertido?
- ¿Qué proporción de las decisiones automatizadas será revisada por personas?
- ¿Cuál es el peor fallo razonablemente posible?
- ¿Los resultados de rendimiento representan únicamente una media o también reflejan su variabilidad?
- ¿Se ha validado la herramienta con datos comparables a los de nuestra revisión?
- ¿Podemos comprobar qué ha hecho la herramienta y desactivar sus funciones automatizadas?
Estas preguntas permiten trasladar la discusión desde las capacidades tecnológicas hacia los requisitos metodológicos que deben cumplir las herramientas.
Reflexión final
La inteligencia artificial ofrece oportunidades importantes para reducir la carga de trabajo asociada a las revisiones sistemáticas. Sin embargo, su incorporación no debería justificarse exclusivamente por el tiempo que permite ahorrar.
El criterio fundamental debe ser si una determinada automatización puede utilizarse sin comprometer la validez, reproducibilidad y transparencia de la síntesis de evidencia.
En definitiva, no deberíamos preguntarnos solamente cuánto trabajo puede realizar la IA, sino qué decisiones podemos delegarle, con qué garantías y bajo qué condiciones de supervisión humana.
Fuente: Webinar When to Trust the Machine, Covidence, celebrado con motivo del World Evidence-Based Healthcare Day.
Vídeo completo: https://www.youtube.com/watch?v=em2OGkVkOjs
Este artículo sintetiza los principales contenidos del webinar.
