El GRADE Working Group presenta GRADErater: hacia una evaluación más rápida, transparente y reproducible de la certeza de la evidencia
La evaluación de la certeza de la evidencia mediante el sistema GRADE constituye uno de los pasos más importantes en la elaboración de revisiones sistemáticas, evaluaciones de tecnologías sanitarias y guías de práctica clínica. Sin embargo, también es uno de los procesos más complejos y que más tiempo consume.
Con el objetivo de mejorar esta situación, el GRADE Working Group acaba de presentar un artículo en el que describe el desarrollo de GRADErater (GRADE Rating Automation Through Enhanced Reasoning), la futura herramienta oficial para apoyar la evaluación automatizada de la certeza de la evidencia.
Pero el aspecto más interesante del proyecto probablemente no sea que utilice inteligencia artificial, sino cómo pretende utilizarla.
No es una IA que «decide»
Frente a la tendencia actual de utilizar modelos generativos para resolver prácticamente cualquier tarea, el GRADE Working Group ha optado deliberadamente por otro enfoque.
GRADErater no pretende sustituir al evaluador, sino automatizar aquellas partes del proceso que pueden expresarse mediante reglas metodológicas objetivas.
El propio artículo establece varios principios fundamentales:
- cumplimiento estricto de la metodología GRADE vigente;
- transparencia completa de las reglas utilizadas;
- supervisión humana obligatoria;
- algoritmos basados en reglas explícitas;
- facilidad de uso;
- comprensibilidad para los usuarios;
- mejora continua.
En otras palabras, la herramienta propondrá una valoración, pero será siempre el evaluador quien mantenga la decisión final.
¿Por qué no utilizar directamente modelos generativos?
El artículo resulta especialmente interesante porque explica por qué el grupo ha decidido no utilizar inicialmente modelos generativos (LLMs) para valorar la certeza de la evidencia.
Los autores consideran que, para esta tarea concreta, los sistemas basados en reglas presentan ventajas importantes:
- producen resultados reproducibles;
- ofrecen la justificación exacta de cada decisión;
- evitan las alucinaciones;
- son mucho más transparentes;
- tienen menor coste computacional y menor impacto ambiental.
La IA generativa podría incorporarse más adelante, pero para tareas auxiliares, como preparar datos, asistir al usuario o integrarse con el chatbot del GRADE Book, no para sustituir las decisiones metodológicas principales.
¿Qué automatizará exactamente?
GRADErater permitirá introducir los datos del metaanálisis y generará automáticamente sugerencias para los distintos dominios de GRADE.
Entre otras funciones:
- realizará los cálculos estadísticos necesarios;
- convertirá los efectos relativos en efectos absolutos cuando corresponda;
- aplicará las reglas oficiales de GRADE;
- propondrá el nivel de certeza;
- explicará el motivo de cada sugerencia;
- permitirá modificar manualmente cualquier decisión.
También incorporará representaciones gráficas como forest plots, network plots y tablas de ranking de intervenciones.
Una herramienta basada en los nuevos desarrollos metodológicos de GRADE
El proyecto aprovecha algunos de los avances metodológicos más recientes del sistema GRADE, especialmente la utilización de múltiples umbrales de decisión (decision thresholds) para clasificar la magnitud de los efectos.
Estos umbrales permiten transformar reglas metodológicas complejas en algoritmos explícitos capaces de sugerir automáticamente cuándo corresponde disminuir uno o más niveles la certeza de la evidencia, por ejemplo debido a imprecisión.
Antes de convertirse en una herramienta oficial
GRADErater todavía no está finalizado.
Actualmente se encuentra en fase de validación mediante la comparación entre las evaluaciones realizadas exclusivamente por expertos y las sugeridas automáticamente por la herramienta. Los autores analizarán la concordancia entre ambos enfoques, revisarán las discrepancias y modificarán las reglas hasta alcanzar consenso dentro del GRADE Working Group.
Posteriormente, la herramienta se integrará en GRADEpro y continuará evolucionando mediante la incorporación de nuevas funcionalidades y el feedback de los usuarios.
¿Qué supone para quienes trabajamos con evidencia?
Este proyecto representa probablemente uno de los desarrollos metodológicos más importantes de GRADE en los últimos años.
Más que intentar sustituir el razonamiento metodológico mediante inteligencia artificial, propone automatizar de forma transparente aquellas decisiones que pueden expresarse mediante reglas explícitas, reservando el juicio experto para los aspectos donde realmente sigue siendo imprescindible.
Si el proyecto alcanza los resultados esperados, podría reducir considerablemente el tiempo necesario para realizar evaluaciones GRADE, aumentar la consistencia entre evaluadores y mejorar la reproducibilidad del proceso sin renunciar al control humano.
