I. INTRODUCCIÓN

Todos los centros de salud buscan utilizar sus recursos de la forma más eficiente posible. Para lograr esto, se requiere de herramientas de apoyo para la toma de decisiones que les ayuden en la programación de sus recursos.

La programación de citas de pacientes (PAS, por sus siglas en inglés) es una actividad de vital importante para todos los centros de salud, ya que un paciente requiere de recursos tanto humanos como materiales (médicos, enfermeras, tecnólogos, equipos, box, etc.) para su atención. Entre las decisiones del problema PAS se incluyen la asignación de un médico al paciente, un box de atención, además de la búsqueda del mejor tiempo de atención para todos los pacientes ⁽¹⁾. Existen diversas fuentes de incertidumbre que afectan la PAS como impuntualidad de los pacientes, el retraso de los médicos, las visitas sin cita previa y/o las urgencias, pero el mayor impacto lo producen los pacientes que, por diversas razones, no asiste a su cita médica, afectando los ingresos del centro de salud, y la eficiencia en el uso de los recursos ⁽²⁾. Además, la salud de los propios pacientes se puede ver afectada por el aumento en los tiempos de espera indirectos producto del ausentismo. Las citas médicas a las cuales no asiste el paciente se pueden clasificar como “perdidas” para la institución de salud en cuestión, puesto que conducen a un control deficiente de la utilización de los recursos destinados a esta.

Algunos de los motivos más frecuentes de inasistencia son el olvido de la cita programada y la poca comunicación con el establecimiento. Aquellos pacientes con un mayor nivel de inasistencia son aquellos con actividades relacionadas al servicio de urgencias y de atención postoperatoria.

Para reducir el ausentismo, los centros de salud alrededor del mundo utilizan diversas estrategias, tales como los recordatorios (vía telefónica, mensajes y correos) lo que es insuficiente para la prestación del servicio y la gestión de la demanda de estas citas médicas. Además, cabe mencionar que en China es un problema persistente ⁽³⁾. En el estudio de ⁽²⁾, realizado en una clínica de Estados Unidos, mencionan la mala comunicación que existe entre distintas áreas de esta, haciendo más lento el proceso de atención del paciente y no atendiéndolos en sus horarios correspondientes.

Para hacer frente al a este problema, diversos estudios proponen considerar el “ausentismo” al momento de realizar la PAS. Entre algunas estrategias que se han aplicado a la PAS se encuentra el overbooking, que permite mejorar la ocupación del bloque de atención ⁽¹⁾, ⁽³⁾. Lamentablemente, no es fácil para los servicios hospitalarios poder predecir el nivel de ausentismo de un paciente. Por lo tanto, uno de los principales desafíos para crear PAS más eficientes, consiste en poder predecir de forma correcta la probabilidad de asistencia o inasistencia.

Dada la información disponible en los centros médicos en la actualidad, una herramienta que permite la predicción del ausentismo o inasistencia es Machine Learning. Algunos autores ⁽⁴⁾ utilizan algoritmos de Machine Learning para clasificar los perfiles de los usuarios y determinar las probabilidades de asistencia de los pacientes a su cita médica. Otras investigaciones ⁽⁵⁾ comparan algoritmos de Machine Learning menos frecuentes como técnicas de Bagging, Random Forest y Boosting, las cuales muestran un alto rendimiento predictivo. Trabajos como el de AlMuhaideb et al ⁽⁶⁾ utiliza datos históricos de una clínica y emplea algoritmos de Machine Learning para predecir la inasistencia de los pacientes a las intervenciones, permitiendo reconocer aquellos con alto riesgo de no presentarse, reduciendo así los costos asociados a la tasa de inasistencia. Otros autores ⁽⁷⁾ comparan distintos modelos de predicción como AdaBoost, Logistic Regression, Random Forest, Naive Bayes y multicapa perceptrón, junto a un modelo de optimización, para realizar la PAS basándose en probabilidades de asistencia que dependen de la etnia del paciente (blanco, afroamericano, asiático y otros). Sin embargo, Mohammadi et al ⁽⁸⁾ y Devasahay et al ⁽⁹⁾ también prueban distintos modelos para predecir la inasistencia de diferentes clínicas o centros de atención, determinando que los modelos de Naive Bayes, Decision Tree y Logistic Regression logran las mejores estadísticas de predicción.

Las variables más utilizadas en la investigación del problema PAS son: la edad, el género, el día de la semana, el tiempo de espera entre la fecha de la consulta y la cita, las ausencias anteriores, la hora de la cita y la distancia con respecto al establecimiento, fecha de creación de la cita, la fecha de registro, la hora de llegada del paciente, el ingreso estimado y la zona donde vive el paciente ⁽⁵⁾, ⁽¹⁰⁾.

El Hospital Clínico Regional Dr. Guillermo Grant Benavente en la ciudad de Concepción, Chile, es un hospital de alta complejidad que atiende a gran parte de la población de la provincia de Concepción y que posee un alto nivel de ausentismo a citas médicas. Este hospital actualmente no incorpora en sus sistemas de agendamiento la probabilidad de que un paciente no asista, lo que no permite generar una planificación eficiente. Dado los buenos resultados de la aplicación de algoritmos de Machine Learning para predecir la asistencia o inasistencia a citas médicas, este trabajo propone el uso de estos algoritmos para predecir el nivel de ausentismo de un paciente a citas médicas en las tres especialidades con mayor inasistencia de pacientes que son Ginecología, Neurología y Otorrinolaringología. Para esto se considera una base de datos de cerca de 7.000 registros de citas médicas.

II. DESARROLLO

B. Transformación

Consiste en transformar los registros de forma apropiada para la extracción de información. Se decide añadir una nueva variable que contabilice el número de veces que el paciente ha asistido y faltado a sus citas médicas, como se observa en la Fig. 1.

Fig. 1 Nuevo atributo creado a partir del historial del paciente. 

Antes de comenzar con la determinación de factores relevantes para la aplicación de los algoritmos, es importante conocer a priori algunas características presentes en la base de datos. Como se observa en la Fig. 2, las edades de los pacientes que más se ausentan a su cita médica comprenden entre 1 y 15 años y luego tienen un alza entre los 18 y 40 años aproximadamente, con un total de 15.333 registros.

Fig. 2 Histograma de edades de registros de citas médicas con ausentismo. 

D. Minería de datos

En la etapa de minería de datos se determinan los algoritmos de Machine Learning. Como se señaló anteriormente, se probaron cinco algoritmos: Árbol de Decisión, Red Neuronal, Support Vector Machine, Regresión Logística y Naive Bayes.

Los algoritmos se aplicaron utilizando el software RapidMiner. Este permite el desarrollo de procesos mediante el encadenamiento de operadores a través de un entorno gráfico, utilizado en investigación y aplicaciones empresariales

El proceso de entrenamiento, validación y prueba de los modelos se muestra en la Fig. 3. La primera fila muestra el conjunto de datos de enero a mayo de 2021. Los primeros cuatro meses son para el entrenamiento del modelo, y el quinto mes es para el ajuste de parámetros y validación. Luego del ajuste de parámetros y validación, se entrenan los algoritmos con la información hasta mayo y se prueba su desempeño con el mes de junio de 2021. Debido a la existencia de un desbalance de clases (asistente y ausente), se utiliza la técnica “SMOTE” para generar un conjunto de datos balanceados para el proceso de entrenamiento, validación y prueba. Para ajustar los parámetros de los algoritmos y probar si el desempeño se utilizó validación cruzada.

Fig. 3 Conjunto de entrenamiento y validación para el modelo. 

La Tabla 1 muestra, que, a partir de las cuatro medidas de avaluación utilizadas, los algoritmos de mejor desempeño son Support Vector Machine, Red Neuronal y Árbol de Decisión.

Tabla 1 Resultados de desempeño de modelos aplicados. 

	Exactitud	Precisión	Exhaustividad	ABC
Árbol de decisión	0,7453 ± 0,0219	0,7582	0,7202	0,800 ± 0,027
Red neuronal	0,7586 ± 0,0227	0,7723	0,7334	0,828 ± 0,020
SVM	0,7267 ± 0,0173	0,6595	0,9372	0,851 ± 0,018
Regresión logística	0,6747 ± 0,0256	0,6984	0,6149	0,734 ± 0,026
Naive Bayes	0,6371 ± 0,0168	0,6659	0,55	0,701 ± 0,018

III. METODOLOGÍA

Este trabajo consistió en la medición de la predicción de ausencias médicas en las especialidades de mayor ausentismo, Ginecología, Neurología y Otorrinolaringología del Hospital Clínico Regional Dr. Guillermo Grant Benavente, por esas tres, las de mayor concurrencia de pacientes y, por ende, las de mayor falta de los mismos.

Para preprocesar los cerca de 7.000 registros de citas médicas, entrenar los algoritmos de Machine Learning y evaluar sus resultados, se aplicó el proceso de Descubrimiento de Conocimiento en Bases de Datos (KDD).

Fig. 4 Proceso de descubrimiento de conocimiento en bases de datos. 

El proceso KDD involucra cinco fases que se pueden observar en la Fig. 4 y que se describen a continuación ⁽¹¹⁾

Los algoritmos de Machine Learning supervisado seleccionados según su aplicación en la literatura son:

Para la evaluación de los algoritmos de Machine Learning, se utilizarán cuatro medidas de desempeño, accuracy, precisión, recall y AUC. Las primeras tres medidas se basan en datos resumidos en la matriz de desempeño de cada modelo llamada matriz de confusión, donde el accuracy representa la proporción total de predicciones correctamente clasificadas por el modelo, el precision corresponde al porcentaje de elementos correctamente clasificados como clase 1 y el recall indica el porcentaje de observaciones que pertenecen a la clase 1 y que fueron correctamente clasificadas por el modelo. La matriz de confusión, mostrada en la Tabla 2, es una herramienta que muestra, explícita y efectivamente, el comportamiento de los algoritmos teniendo como ventaja la fácil interpretación de los resultados obtenidos.

Las filas de la matriz representan los valores de las clases predictivas y las columnas, los valores de las clases actuales. El valor de “True Positives (TP)” representa los elementos de la clase 1 que fueron correctamente predichos por el modelo y “Falses Negatives (FN)” representan los elementos de la clase 1 que fueron incorrectamente predichos, es decir los errores tipo I. Asimismo, “True Negatives (TN)” son los elementos de la clase 0 que fueron correctamente predichos por el modelo y “Falses Positives (FP)” los elementos que fueron incorrectamente predichos, es decir los errores tipo II ⁽¹²⁾(Tabla 2).

El resultado de la predicción de un algoritmo de Machine Learning supervisado de clasificación es un valor entre 0 y 1 y no un 0 o un 1. Por regla general si este valor es mayor o igual a 0,5 se determina que la predicción será de la clase 1 y si es menor a este valor de la clase 0. A este valor de decisión se le conoce como valor de umbral. La variación de este valor de umbral afecta los valores de la matriz de confusión y, por tanto, los valores de las medidas de desempeño. Una forma de medir el desempeño predictivo de un algoritmo considerando todos los valores de umbral posibles es mediante la curva ROC y el valor del área bajo su curva AUC ⁽¹³⁾. La curva ROC en una gráfica que relaciona la tasa verdadero positivo con la tasa falso positivo, para distintos valores de umbral. El valor del AUC varía entre 0 y 1. A mayor valor, mejor es el desempeño de un algoritmo.

IV. RESULTADOS

En la Tabla 1 se comparan los resultados de los diferentes modelos. Se observa que todos tienen un desempeño superior al 60% en cada una de las métricas analizadas. Por lo tanto, todos los modelos pueden dar una estimación aceptable sobre la predicción de ausencia del paciente. La técnica que mejor se adapta al comportamiento de los datos fue la de Support Vector Machine (SVM), el cual fue seleccionado dado su alto valor de Recall y AUC.

Un resultado importante de la aplicación del algoritmo SVM es la obtención de los pesos de las variables consideradas. El algoritmo maximiza la separación de las clases y el hiperplano de separación permiten evidenciar la importancia de cada atributo en la separación de las clases. La importancia de cada atributo se muestra en la Tabla 3. Dado estos valores, es posible caracterizar a los pacientes con mayor nivel de ausentismo. Estas características son:

En la Tabla 3 se observa el peso de cada atributo considerado para el estudio con su respectivo peso.

E. Costos de clasificación e implementación del modelo

Para un análisis más profundo para la implantación de este modelo, se analizan los costos de error de clasificación. Como se observa en la matriz de confusión de la Fig. 2, existen dos tipos de errores el tipo I y tipo II. En esta investigación el error tipo I ocurre cuando un algoritmo predice que un paciente asistirá a su cita médica, pero en realidad no lo hará. El error tipo II ocurre cuando el algoritmo predice que un paciente se ausentará cuando realmente asistirá a su cita médica. Ambos errores están asociados a un costo económico para el hospital al utilizar un algoritmo de Machine Learning. Llamaremos a CEI como el costo del error tipo I y a CEII como el costo de error tipo II. Llamaremos TFN a la tasa de ocurrencia del error tipo I, es decir los falsos negativos dividido los fasos negativos más los verdaderos positivos y llamaremos TFP a la tasa de ocurrencia de los falsos positivos, es decir, los falsos positivos dividido por los falsos positivos más los verdaderos negativos.

De esta forma, el costo esperado por error de clasificación queda expresado de la siguiente manera:

E(Costo) = TFN * CE I + TFP *CE II (1)

Si expresamos esta curva de costos en términos de los ejes de la curva ROC, es decir reemplazando en la ecuación (1) E(Costo) = 0 y (2) TFN = 1 - TTP, la curva de costos queda representada por la siguiente ecuación :

TPP = CEICEII * Tasa FP + 1 (3)

Al intersecar esta curva de costos con la curva ROC podemos obtener el valor de umbral de clasificación que minimiza el costo de error de clasificación E(Costo).

De acuerdo a la información del hospital el costo del error tipo I implica tiempo ocioso del box y equipos, acumulación del tiempo de espera por el servicio, horas laborales adicionales del médico y personal asociado. Por otro lado, el costo del error tipo II está asociado a tomar acciones preventivas como llamada recordatoria para la cita médica del paciente y el costo de oportunidad de la utilización del box de atención. Se estima para la relación de costos CEICEII un valor de 3/7.

El procedimiento se llevó a cabo mediante el software RapidMiner con el operador “Find Threshold”, el que permite encontrar el umbral óptimo para el modelo. En la Fig. 5 se presenta la curva ROC y su respectiva función de costos asociados al problema de clasificación de ausentismo en los pacientes mediante el algoritmo de Support Vector Machine. La línea tangente de color azul representa la función de costos, la curva hacia debajo de color verde es el umbral, mientras que la curva hacia arriba de color rosado corresponde a la curva ROC. La intersección entre estas dos curvas corresponde al valor del umbral óptimo.

Para esta instancia de clasificación binomial (dos valores), la regla de probabilidad implica que cada registro tiende a pertenecer a una clase u otra. Por defecto, los pacientes con probabilidad de ausentismo tienen un valor menor a 0,5 y aquellos pacientes que si asistirán a su cita médica tienen un valor mayor o igual a 0,5. Para cada modelo se establecen distintos valores de umbrales, los cuales permiten determinar una probabilidad por la cual los registros serán clasificados. El valor del umbral que minimiza el costo de error de clasificación se observa en la intersección antes mencionada, resultando un valor de 0,4380. Esto quiere decir que al clasificar a un paciente que no asistirá a la cita médica, debe tener una probabilidad mayor a 0,4380.

Fig. 5 Curva ROC, función de costos y umbral óptimo. 

Mediante este valor, en la Fig. 6 se observa la propuesta para la implementación de la metodología de aplicación del algoritmo SVM. Se comienza por establecer la base de datos de cierto período en específico y los pacientes de estudio. Luego se requiere la obtener de variables relevantes para el modelo, seguido de la aplicación del algoritmo de predicción. Finalmente, se realiza la aplicación de las estrategias de ocupación médica como lo son el overbooking, la cancelación de citas médicas, los llamados recordatorios, entre otros.

Fig. 6 Diagrama del proceso de identificación y contramedidas para pacientes con ausentismo. 

La predicción del ausentismo de los pacientes ha sido estudiada desde los años 80 y, de acuerdo a la literatura estudiada, diferentes investigaciones han aplicado algoritmos de la minería de datos para predecir este comportamiento ⁽⁶⁾. Las principales técnicas utilizadas en la literatura son con el método de Regresión Logística, Random Forest y Árbol de Decisión, pues obtienen un desempeño superior al 60% de AUC. Las variables más frecuentes utilizadas en la literatura se encontraban disponibles en la base de datos del Hospital Regional de Concepción. Sin embargo, en el proceso de KDD se eliminan algunas variables como el día de la cita médica y la comuna de residencia del paciente. Aun así, el algoritmo entrenado muestra un valor de AUC = 85,1% que supera el valor 79,2% presentado en ⁽¹⁵⁾.

Kaplan-Lewis y Percac-Lima ⁽³⁾, mencionan que la principal estrategia implementada para el agendamiento de citas son los programas basados en tecnologías de la información para generar contacto con los usuarios mediante diferentes medios, ya sea por mensajería instantánea, mensajes de confirmación o e-mails. Como el Hospital Regional de Concepción es un recinto de gran complejidad, el sistema de programación de citas debería incluir estas tecnologías u otras tecnologías y registrar el motivo específico de inasistencia del paciente, de manera de contar con información adicional para el proceso de predicción.

CONCLUSIONES

La aplicación de técnicas de Machine Learning, permiten predecir el nivel de inasistencia de un paciente a su cita médica. De los modelos entrenados, el de mejor desempeño resultó ser Support Vector Machine, SVM. Mediante su aplicación se pudo determinar las variables más influyentes y mediante su análisis se determinó que los pacientes con mayor nivel de inasistencia son quienes poseen alguna de estas características: Pacientes con cita médica mediante el sistema de interconsulta del hospital, pacientes que tienen una nueva consulta, pacientes con cita postoperatoria, pacientes de lactancia materna, pacientes de telemedicina, pacientes derivados desde centros de atención familiar de otras comunas.

El algoritmo entrenado, Support Vector Machine, muestra un valor de AUC = 85,1% que supera el valor 79,2% presentado en la literatura. La utilización este algoritmo de machine learning, permitirá al Hospital Clínico Regional Dr. Guillermo Grant Benavente, identificar aquellos pacientes con mayor probabilidad de inasistencia, priorizar las acciones para evitar su inasistencia. El nivel de ausentismo de cada paciente puede ser utilizado como dato de entrada para herramientas de apoyo para la toma de decisiones que puedan complementarse con estrategias de overbooking, recordatorios o números de emergencia.

Como trabajo futuro se considera desarrollar algoritmos exactos y aproximados para la programación de citas médicas, los que consideren la inasistencia del paciente, estrategias de overbooking y que sean alimentados con la información proporcionada por la metodología propuesta en esta investigación.