AMSTAR 2: La Herramienta Clave para Evaluar la Calidad de las Revisiones Sistemáticas

¿Qué es una revisión sistemática y por qué debería importarnos?

Las revisiones sistemáticas son una herramienta esencial en la investigación científica y la toma de decisiones en campos como la medicina, la salud pública, la política y la educación, lo que sin lugar a dudas incluye al campo de la Nutrición Humana y Dietética. Estas revisiones representan un esfuerzo exhaustivo por recopilar, sintetizar y evaluar la evidencia existente sobre un tema particular, con el objetivo de proporcionar una visión general y confiable de lo que la investigación científica ha descubierto hasta la fecha.

Imagina que tienes que tomar una decisión importante relacionada con tu salud, como elegir una intervención dietética entre todas las opciones posibles o determinar si una intervención es efectiva. Las revisiones sistemáticas te brindan la información necesaria para tomar decisiones informadas y basadas en la evidencia. Pero, ¿cómo podemos estar seguros de que una revisión sistemática en particular es de alta calidad y confiable?

Aquí es donde entra en juego una herramienta fundamental llamada AMSTAR 2 (A MeaSurement Tool to Assess systematic Reviews 2). AMSTAR 2 es una herramienta de evaluación diseñada para ayudarnos a determinar la calidad y confiabilidad de las revisiones sistemáticas y metaanálisis. En esta entrada de blog, exploraremos en detalle qué es AMSTAR 2, cómo se utiliza y algunos errores comunes que debemos evitar al evaluar revisiones sistemáticas.

AMSTAR 2: La Lupa para Evaluar Revisiones Sistemáticas

Antes de sumergirnos en AMSTAR 2, es importante comprender por qué esta herramienta es esencial. Las revisiones sistemáticas a menudo se utilizan como base para la toma de decisiones críticas en la atención médica y otros campos. Si una revisión sistemática es de baja calidad o tiene sesgos, las decisiones basadas en sus conclusiones pueden ser incorrectas o incluso perjudiciales. Por lo tanto, es crucial contar con una herramienta que nos ayude a evaluar de manera crítica la calidad de estas revisiones.

Los 16 Ítems de Evaluación de AMSTAR 2

AMSTAR 2 consta de 16 ítems de evaluación, cada uno de los cuales se relaciona con aspectos específicos de la metodología de la revisión sistemática. Estos ítems se agrupan en los siguientes dominios:

Pregunta de investigación: evalúa si la revisión tiene una pregunta de investigación claramente formulada y apropiada.
Establecimiento de la metodología antes de realizar la revisión: examina si la metodología para la elaboración de la revisión (el protocolo) se estableció antes de ejecutar la revisión, y si dicha descripción incluye ciertos aspectos.
Diseño de investigación que se incluirá en la revisión: los autores deben explicar que tipo de investigación será de interés para recopilar evidencias, explicando las razones de dicha elección (sólo ensayos controlados aleatorizados, estudios de cohortes, transversales, etc).
Estrategia de búsqueda: examina si la estrategia de búsqueda es adecuada y si se realiza una búsqueda completa de la literatura.
Selección de estudios: evalúa si la selección de estudios se realizó por duplicado o no.
Recopilación y extracción de datos: verifica si el proceso de extracción de datos se hizo por duplicado o no.
Listado de estudios excluidos y razón de exclusión: los autores deben explicar por qué un artículo es excluido durante la selección a texto completo.
Características de los estudios incluidos: verifica si se presentan de manera completa y apropiada las características de los estudios incluidos.
Detección y evaluación del riesgo de sesgo: evalúa si se realiza una evaluación adecuada del riesgo de sesgo en los estudios incluidos. Hay dos subapartados, uno para evaluación del riesgo de sesgo de ensayos controlados aleatorizados y otro para no-aleatorizados y observacionales.
Fuentes de financiación de los estudios incluidos: verificar si se ha informado sobre las fuentes de financiación de los estudios individuales incluidos en la revisión
Meta-análisis adecuado: en casos de que se haya realizado meta-análisis, ¿se hizo de forma apropiada?
Consideración del riesgo de sesgo en el meta-análisis: verifica si se evalúa el impacto del riesgo de sesgo de los estudios individuales el meta-análisis.
Consideración del riesgo de sesgo para interpretar y discutir los resultados: verifica si se tuvo en cuenta el riesgo de sesgo de los estudios individuales para interpretar y discutir adecuadamente los resultados.
Consideración de la heterogeneidad: verifica si los autores investigan de forma satisfactoria el nivel y fuentes de heterogeneidad
Sesgo de publicación: se evalúa si se investigó el sesgo de publicación (en específico el sesgo de estudio pequeño), y si se tuvo en cuenta para interpretar los resultados.
Conflictos de interés: los autores deben ofrecer una declarativa de conflictos de interés adecuados.

Cómo Utilizar AMSTAR 2

Ahora que hemos revisado los 16 ítems de AMSTAR 2, es importante comprender cómo utilizar esta herramienta de manera efectiva para evaluar una revisión sistemática. Aquí tienes un resumen de los pasos clave:

Paso 1 – Familiarízate con la Revisión Sistemática: Antes de comenzar la evaluación, lee la revisión sistemática en su totalidad para comprender su alcance, los métodos utilizados y los resultados presentados.

Paso 2 – Aplicación de AMSTAR 2: Evalúa cada ítem. Para cada uno de los 16 ítems de AMSTAR 2, determina si la revisión sistemática cumple con ese criterio. Utiliza la escala de respuestas que te ofrece la herramienta: en todos los ítems encontrarás la posibilidad de calificarlo «Sí» (si se cumple completamente), «No» (si no se cumple), y para algunos ítems encontrarás además una tercera posibilidad “Parcialmente Si” (cumple solo parcialmente). Cuando existe esta tercera posibilidad, la propia herramienta te propone algunas consideraciones que te permitirán dirimir si debes contestar “Si” o “Parcialmente sí”.

Proporciona justificaciones: Es crucial explicar por qué has calificado un ítem de cierta manera. Proporciona comentarios adicionales si es necesario para respaldar tus evaluaciones.

Paso 3 – Interpretación de la evaluación de una revisión sistemática con AMSTAR 2:

Antes de ver cómo interpretar los resultados, hay que tener claro que esta herramienta nos permite establecer el grado de confianza general en la revisión, es decir, el riesgo de que esta revisión esté bien o mal ejecutada. Esto nada tiene que ver con la confianza en las evidencias que encuentre esta revisión.

Dicho esto, hay que tener claro también que no todos los ítems de AMSTAR 2 son igual de importantes, existen 7 dominios que se consideran críticos:

Protocolo registrado antes del inicio de la revisión (ítem 2)
Adecuación de la búsqueda bibliográfica (ítem 4)
Justificación para excluir estudios individuales (ítem 7)
Riesgo de sesgo por la inclusión de estudios individuales en la revisión (ítem 9)
Idoneidad de los métodos metanalíticos (ítem 11)
Consideración del riesgo de sesgo al interpretar los resultados de la revisión (ítem 13)
Evaluación de la presencia y probable impacto del sesgo de publicación (ítem 15)

Diremos que tenemos un grado de confianza general en la revisión:

Alta: ninguna o sólo una debilidad (ítem) no crítica. La revisión sistemática proporciona un resumen preciso y completo de los resultados de los estudios disponibles que abordan la cuestión de interés.
Moderada: más de una debilidad (ítem) no crítica. La revisión sistemática tiene más de una debilidad, pero sin defectos críticos. Puede proporcionar un resumen preciso de los resultados de los estudios disponibles que se incluyeron en la revisión. Cabe mencionar que múltiples debilidades no críticas pueden llevarnos a disminuir la confianza en la revisión y puede ser apropiado bajar la evaluación general de confianza moderada a baja.
Baja: un defecto (ítem) crítico con o sin debilidades no críticas. La revisión tiene un defecto crítico y puede no proporcionar un resumen preciso y completo de los estudios disponibles que abordan la cuestión de interés.
Muy baja: más de un defecto (ítem) crítico con o sin debilidades no críticas. La revisión tiene más de un defecto crítico y no se debe confiar en ella para proporcionar un resumen preciso y completo de los estudios disponibles.

IMPORTANTE: Sabemos que hay algo de subjetividad en estas evaluaciones, y por eso recomendamos realizar evaluación de las revisiones con AMSTAR2 por duplicado y a ciegas.

Errores comunes al usar AMSTAR 2 y cómo evitarlos

A pesar de la utilidad y facilidad de uso de AMSTAR 2, existen errores comunes que debemos evitar al utilizar esta herramienta:

Confundir la confianza en la revisión con la confianza en las evidencias: AMSTAR 2 se enfoca a evaluar la metodología de la revisión y consecuencia establecer la confianza en dicha revisión, y no en la confianza de los resultados de los estudios primarios incluidos. No confundas la confianza en la revisión, con la confianza en las evidencias.
Calcular un score de calificación general: uno de los errores más comunes es calcular un score general para establecer la calidad metodológica de la revisión sistemática. Los autores de la herramienta dicen específicamente en repetidas ocasiones: “AMSTAR 2 is not intended to generate an overall score” ; “We strongly recommend that individual item ratings are not combined to create an overall score”; “We stress that responses to AMSTAR 2 items should not be used to derive an overall score”. A pesar de estas recomendaciones, son mucho los autores que generan, de forma errónea un score: ejemplo 1, ejemplo 2.
Falta de Comprensión de los Ítems: Es fundamental comprender completamente los 16 ítems de AMSTAR 2 antes de evaluar una revisión sistemática. La falta de comprensión puede llevar a una evaluación incorrecta. En el artículo “AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both”, apartado “Rationale for selection of items” encontraréis muy buenas explicaciones de lo que significa cada ítem.
No Proporcionar Justificaciones: Es importante explicar por qué calificaste un ítem de cierta manera. La falta de justificaciones puede hacer que otros no comprendan tu razonamiento.
No Considerar la Contextualización: AMSTAR 2 debe aplicarse considerando el contexto de la revisión sistemática. Lo que puede ser aceptable en una revisión puede no serlo en otra.
No realizar el proceso por duplicado: aunque no sea una ley escrita, la evaluación del grado de confianza en las revisiones sistemáticas con AMSTAR 2 tiene, a nuestro parecer, algo de subjetividad. Por esta razón, creemos que la evaluación por duplicado y a ciegas (dos investigadores/as, sin saber uno/a del otro/a), usando el consenso ante las discrepancias, puede ofrecer una evaluación más consistente.

Conclusiones

En resumen, AMSTAR 2 es una herramienta fundamental para evaluar la calidad de las revisiones sistemáticas. Estas revisiones desempeñan un papel crítico en la toma de decisiones basadas en la evidencia en una variedad de campos. Al comprender cómo utilizar AMSTAR 2 de manera efectiva y evitar los errores comunes, podemos garantizar que nuestras decisiones estén respaldadas por evidencias más sólidas y confiables. La calidad de las revisiones sistemáticas es esencial para la toma de decisiones informadas y la mejora continua de la atención nutricional y la investigación científica.