Operational performance, concordance, and coincidence between passive and active safety event reporting systems in the surgery service in a teaching hospital in Colombia

Estrada-Orozco, Kelly; Villate-Soto, Steffany L; Gaitán-Duarte, Hernando

Abstract Introduction:

Reporting systems (RSs) are the first step to improve patient safety in health institutions, consequently determining their performance is relevant.

Objective:

To determine the performance in terms of positive predictive value (PPV), the concordance, and the coincidence of passive and active RSs in the detection of true clinical incidents and reportable events with unwanted effects (REUWEs), in a teaching hospital in Bogotá, Colombia.

Methods:

Cross-sectional study, assembled in a retrospective cohort, consisting of hospitalized patients (>12hours) in the surgery service, between May and July 2017. The PPV was calculated for the detection of patients with clinical incidents or REUWE in both RS. Concordance and coincidence between RS were determined.

Results:

The incidence of REUWE from the passive RS was lower than the incidence from the active RS (2% vs 11.8%), the PPV for the identification of patients with clinical incidents and REUWE was similar (PPV patients with clinical incidents: passive 95% confidence interval [CI] 34.6-66.2 vs active 95% CI 45.1-71.7; and PPV patients with REUWE: passive 95% CI 36.8-65.4 vs active 95% CI 29.3-54.9). Concordance was acceptable (Kappa 0.38) and the coincidence of patients and their REUWEs was 15.38%.

Conclusion:

In the active and passive RSs, the detection of true clinical incidents and REUWE (PPV) was similar and the concordance in the detection of subjects with REUWE was acceptable. However, the coincidence between the REUWEs in the patients detected by each RS was substantially different and should be considered when analyzing the information coming from one or another RS.

Resumen Introducción:

Los sistemas de reporte (SR) son el primer paso para mejorar la seguridad del paciente en las instituciones de salud y de allí la importancia de determinar su desempeño.

Objetivo:

Determinar, en términos de valor predictivo positivo (VPP), el desempeño, la concordancia y la coincidencia de SR pasivos y activos en la detección de incidentes clínicos verdaderos y de eventos reportables con efectos no deseados (EREND) en un hospital de enseñanza de Bogotá, Colombia.

Métodos:

Estudio de corte transversal ensamblado en una cohorte retrospectiva constituida por pacientes hospitalizados (> 12 horas) en el servicio de cirugía, entre mayo y julio de 2017. Se calculó el VPP para la detección de pacientes con incidentes clínicos o EREND en ambos SR. Se determinó la concordancia y la coincidencia entre los SR.

Resultados:

La incidencia de EREND a partir del sistema pasivo de reporte fue menor que la incidencia a partir del sistema activo (2% vs. 11,8%). El VPP para la identificación de pacientes con incidentes clínicos y EREND fue semejante (VPP para pacientes con incidentes clínicos: pasivo, IC 95%; 34,6-66,2 vs. activo, IC 95%; 45,171,7; y VPP para pacientes con EREND: pasivo, IC 95%; 36,8-65,4 vs. activo, IC 95%; 29,3-54,9). La concordancia fue aceptable (Kappa 0,38) y la coincidencia entre pacientes y sus EREND fue de 15,38%.

Conclusiones:

En los SR activo y pasivo la detección de incidentes clínicos verdaderos y EREND (VPP) fue semejante, y la concordancia en la detección de sujetos con EREND fue aceptable. Sin embargo, la coincidencia entre EREND en los pacientes detectados por cada sistema de reporte fue sustancialmente diferente, lo cual se debe tomar en consideración al analizar la información derivada de uno u otro SR.