Quantification model of excellence level on EFQM enablers and its application on an inpatient service

Modelo de cuantificación del nivel de excelencia de los agentes facilitadores EFQM y su aplicación en un servicio de hospitalización

Jorge Pérez Rave, Daniel La Rotta, Víctor Villa, Guillermo Restrepo, Paula A. Zapata

Grupo de investigación Gestión de la Calidad, Departamento de Ingeniería Industrial, Universidad de Antioquia, UdeA, Calle 67 # 53-108, Bloque 21-oficina 406. Medellín, Colombia. ejipr056@udea.edu.co

Abstract

The traditional method of evaluation in excellence models is influenced, among other aspects, by the assessor´s mental models, which, based on reports written by the organization and the evidence he requests, throws a position about the performance of the firm. This method does not guarantee reproducibility of the results, neither an objective scrutiny of others, in addition it increases implicit subjectivity and, as a consequence, may undermine the validity of the results. This paper proposes a quantification model of EFQM enablers (E) level´s of excellence, which isolates the implicit subjectivity of the assessor, to ensure reproducibility of results, based on mathematical modeling, and self-administered questionnaires, under a Likert scale. Furthermore, it allows to incorporate relative importance not only of EFQM excellence model criteria, but also of different views within of the assessed firm. This study proposes also two indicators, which allows identifying areas for improvement on the organization. The model is applied on the inpatient service of a Colombian health institution. Particulary the service receives a score of 3,86 in his enablers excellence ´s performance, including a punctuation for each enabler: Leadership (3,7), People (3,78), Strategy (3,9), Partnerships and Resources (4,12) and Processes and services (3,96).

Keywords: EFQM Model, multicriteria evaluation, mathematical modelling, service quality, health services quality, EFQM enablers.

Resumen

El método de evaluación tradicional bajo modelos de excelencia se ve influenciado, entre otros, por el modelo mental del evaluador, quien con base en informes producidos por la entidad y en evidencias solicitadas, juzga el funcionamiento global de la firma. Este método no garantiza reproducibilidad de los resultados, tampoco hace viable el escrutinio objetivo por terceros, acrecienta la subjetividad en el proceso y en consecuencia, puede restar validez a los resultados. Se propone un modelo de cuantificación del nivel de excelencia de los agentes facilitadores EFQM, que aísla la subjetividad implícita en el evaluador, y garantiza reproducibilidad de los resultados con base en modelación matemática y cuestionarios auto-administrados, bajo un escalamiento tipo Likert de 1 a 5. Igualmente, posibilita incorporar la importancia relativa de diferentes miradas al interior de la firma a evaluar. Incorpora adicionalmente dos indicadores que orientan las oportunidades de mejoramiento para la entidad. El modelo es aplicado al servicio de hospitalización de una firma de salud de Colombia, obteniendo, entre otros, los siguientes resultados: Excelencia global en Agentes Facilitadores (3,86), Liderazgo (3,77), Personas (3,78), Estrategia (3,9), Alianzas y recursos (4,12) y Procesos y servicios (3,96).

1. Introducción

Las organizaciones de salud, en busca de mejores niveles de desempeño, vienen encontrando en los modelos de excelencia, una herramienta de gestión integral para avanzar en favor de sus grupos de interés. Delimitando al Modelo EFQM, éste se fundamenta en la filosofía Total Quality Management [1] y trata la excelencia en función de los resultados sobre los grupos de interés, y los medios o agentes facilitadores (AF) para lograrlos (liderazgo, estrategia, procesos, productos y servicios, personas, alianzas y recursos). La evaluación bajo este modelo se configura en el REDER [2]. A través de él se evalúa el establecimiento de resultados (R), la planificación de los enfoques (E), el despliegue sistemático de los mismos (D), así como su evaluación, revisión y perfeccionamiento (ER) [3]. Tradicionalmente, dicha evaluación se obtiene a través del análisis cualitativo de informes proporcionados por la organización, que dan cuenta de su desempeño frente a cada criterio.

Estos documentos son entregados a un grupo de evaluadores elegido para ello, quienes analizan, verifican, cuantifican y definen el nivel de excelencia que caracteriza a la organización [3]. Una de las oportunidades de mejora respecto a estas valoraciones, se debe a la manera en que la evaluación se ve influenciada por el modelo mental de los evaluadores, posibilitando sesgos en el resultado final [4-6]. Bajo dicha evaluación no puede garantizarse que al reproducir el método, a través de los mismos expertos (o de diferentes), se llegue al mismo resultado, aun cuando las fuentes de información y momentos de medición sean equivalentes. Por ello, hoy día, para contrarrestar estas dificultades, diversos estudios vienen incorporando herramientas del pensamiento “duro” en el descrito proceso, entre ellos: [5-10].

A nivel pragmático, en el caso objeto de este estudio, otra oportunidad de mejora pudo ser identificada; se trata de la necesidad de que la evaluación posibilite vincular el peso de diferentes miradas directivas al interior de la firma; la primera, proveniente de aquellos dirigentes contratados por la entidad, y la segunda, alusiva a directivos que ejercen en esta entidad, pero que son contratados por otra. Ello hace viable considerar una estructura multicriterio, apoyada en modelación matemática, que permita ponderar las diferentes miradas, a la vez que posibilite reproducibilidad de los métodos y los resultados.

Bajo esta contextualización e ilustrando para el servicio de hospitalización objeto de estudio, el problema fue representando así: ¿Cómo cuantificar el nivel de excelencia de los agentes facilitadores EFQM (AF), en el servicio de hospitalización, integrando desde un enfoque multicriterio diferentes miradas directivas, y garantizando reproducibilidad del método y ausencia de sesgos del evaluador?

Esta pregunta fue sistematizada en cuatro específicas: P.1 ¿Qué formulación multicriterio permite evaluar el nivel de excelencia de los agentes facilitadores EFQM, en el servicio de hospitalización, integrando las miradas directivas del servicio (mirada A y mirada B), con los criterios y subcriterios facilitadores del modelo EFQM?; P.2 ¿Cuál es el nivel de excelencia de los agentes facilitadores EFQM, como resultado de la modelación del servicio de hospitalización?; P.3 ¿Qué tan sensible es el nivel de excelencia del servicio ante cambios en el peso de las miradas directivas?; P.4 ¿Cuáles son las principales brechas del servicio de hospitalización frente al referente de excelencia, en cuanto a los agentes facilitadores EFQM?

2. Referencial teórico

La búsqueda se hizo a través de SCOPUS® y Google Scholar, extrayendo un total de 43 documentos. A modo de evidencia, pero teniendo presente las restricciones de extensión del manuscrito, vale citar los siguientes: En [5] se propone una herramienta para comparar el rendimiento de unidades de negocio bajo criterios EFQM; se emplea como insumo el informe de desempeño de las firma bajo REDER, pero incorpora cuestionario estructurado. Se expone un método para realizar benchmarking entre unidades de negocio y se propone un método para definir los pesos específicos de cada criterio y subcriterio. En [6] desarrollan un modelo para jerarquizar organizaciones, basado en DEA (Data Enveloment Analysis). Tiene como insumos el informe de desempeño EFQM bajo REDER. Muestran al DEA como una herramienta de evaluación pertinente, en relación con entradas y salidas proporcionales a los recursos de cada compañía.

En [7] desarrollan un sistema de medición de la gestión de la excelencia bajo principios EFQM usando lógica difusa. En [8-9], proponen un método de identificación de áreas de mejora. Estos últimos dos estudios emplean análisis multicriterio, pero además [9] lo complementa con lógica difusa. Los tres estudios tienen como insumos la evaluación tradicional bajo informe de desempeño de la firma y REDER, donde se combinan posiciones de los evaluadores y los evaluados. En [10] proponen un método de medición de la gestión de la excelencia bajo principios EFQM, incorporando cuestionarios estructurados. Basados en los resultados cuantitativos de los niveles de excelencia, medidos en una escala propuesta por ellos, detectan también fortalezas y áreas de mejora.

El presente trabajo se enmarca en estas tendencias, adicionando particularidades contextuales (miradas directivas), pero además: 1. proponiendo nuevos indicadores; 2. delimitando a los A.F; 3. integrando en un solo modelo tres elementos: cuestionario estructurado, modelación matemática, y evaluación multicriterio.

3. Excelencia en los agentes facilitadores (AF) EFQM

Con base en lo planteado por el Modelo EFQM (2010) [3] para los agentes facilitadores (AF), el equipo investigador acuerda definir la variable Excelencia en Agentes Facilitadores como: grado en que una organización diseña y despliega la misión y la visión, y las sostiene por medio de un liderazgo compartido, de valores y principios éticos, y de una estrategia enfocada en los grupos de interés, con la participación y desarrollo de las personas de la organización y de sus aliados, gestionando los procesos con el máximo valor agregado, de forma que se potencie la posterior satisfacción conjunta y sobresaliente de las necesidades y expectativas de clientes, empleados, accionistas, proveedores y el resto de la sociedad.

Para abordar este constructo, apoyados en los subcriterios y descripciones del modelo EFQM (2010) [3], se diseñó un cuestionario estructurado por cada criterio de AF. En total, se incluyeron 288 ítems con aseveraciones sobre prácticas de excelencia, bajo un escalamiento tipo Likert, que va desde Totalmente en desacuerdo (1), hasta totalmente de acuerdo (5), cuya respuesta de parte de los directivos tomó un tiempo máximo de 40 minutos, distribuidos en dos sesiones de trabajo.

4. Materiales y métodos

La estructura tradicional de evaluación bajo el modelo EFQM se basa en la matriz REDER, y con base en ella, con rigor cualitativo, se analiza el cumplimiento de los subcriterios, luego de los criterios, y finalmente, se da una posición global sobre el constructo excelencia. Las diferencias de esta con la estructura de evaluación propuesta se basan en adicionar diversos componentes, a continuación descritos:  

Estructura: las miradas que se adicionan son las de los directivos vinculados a la firma A y los vinculados a la B (subcontratados). Estas miradas no son fijas en la estructura, sino que están presentes cada vez que se evalúe alguna componente de la estructura original. Por ejemplo, si se va a evaluar la excelencia en un determinado criterio de AF, éste se convierte en el nivel superior y los subcriterios en el nivel inferior y, en medio, se ubican las miradas A y B, dando un tratamiento multicriterio que posibilita probar diferentes pesos para dichas visiones y efectuar análisis de sensibilidad. Así mismo, si se desea evaluar en todo el grupo de AF, ese se convierte en el nivel superior y los criterios en el nivel inferior (ver Figura 1) y, de nuevo, en medio se ubicaran las miradas A y B.

5. Resultados

Los resultados se exponen para cada una de las preguntas específicas de investigación

5.1. Formulación (P.1)

- Variables y parámetros:

PEAF: Puntaje asociado al nivel de excelencia del grupo o componente de AF EFQM. Este se emplea global para todo el grupo, e indexado en i (mirada: entidad, grupo, zona, sector,…), j (directivo), k (criterio), l (subcriterio) ym(ítem del cuestionario). Con i: 1,…n (total de miradas); j: 1,… di (número de directivos vinculados a la mirada i); k: 1,… ci(número de criterios estudiados desde la mirada i); l: 1,… sik (número de subcriterios que conforman el k-ésimo criterio de AF, estudiado desde la mirada i) y m: 1,… Itilk (la cantidad de ítems del l-ésimo subcriterio del criterio k, que fueron administrados a la mirada i).

IR: Importancia relativa. Indexada en i (mirada), k (criterio), y l (subcriterio del k-ésimo criterio).

pCPE: Porcentaje de cumplimiento de prácticas de excelencia. Con alcance global para todo el grupo de AF EFQM, como indexada en i (miradas), j (directivo), k (criterios), l (subcriterios), ym(ítems).

BPE: Brecha del objeto de estudio frente a las prácticas de excelencia tomadas como referentes; es el complemento de pCPE. También, aparte de emplearse global, se indexa en i, j, k, l, m.

NEAF: Categorización del nivel de excelencia. Aplica para todo el grupo de AF EFQM, como indexada en un elemento específico de estos (i, j, k, l, o m).

Grupo de Agentes facilitadores Criterio 1 Criterio 5 Subcriterio 1 Subcriterio l Ítems 1,…m Adiciones Puntaje global nivel superior Puntaje nivel inmediatamente inferior Mirada (A) Mirada (B) Estructura tradicional de evaluación Pesos Modelación multicriterio (miradas, criterios, subcriterios, ítems) Informe de desempeño de la firma Modelación matemática Pensamiento “blando” Pensamiento “duro” REDER Posiciones: evaluador + evaluados Análisis de sensibilidad Brechas Referente Pesos fijos Pesos fijos Modelos mentales Actitudes exclusivas de la firma Cinco cuestionarios autodiligenciados Total autoevaluación 288 Preguntas cerradas solo para AF Likert de 5 ptos Figura 1. Adiciones a la estructura tradicional de evaluación de AF bajo el modelo EFQM.

- Ecuaciones:

Para todo el grupo de AF:

Nótese que (1) es la suma ponderada entre el puntaje obtenido en cada mirada y su importancia relativa; en tanto, (2) es un promedio aritmético, asumiendo del mismo peso la perspectiva de todos los directivos al interior de una misma mirada (por ello la agrupación en miradas: firma, zona, bloque, tipología, etc.). Esta estructura, como se explicó en la sección 4, se transversaliza hacia los niveles inferiores del modelo, dependiendo de las indexaciones de interés: miradas (i), directivos (j), criterios (k), subcriterios (l) e ítems (m). Pasando a otro tipo de variable, para el cumplimiento de prácticas EFQM, a nivel global, se tiene la ecuación (3).

Esa misma estructura aplica para diferentes indexaciones; por ejemplo, para el subcriterio l del criterio k (ecuación 4) y hasta para los ítems.

Dada la escala Likert usada para valorar los ítems de los cuestionarios, PEAFmax corresponde a un puntaje de 5. El complemento del pCPE es la brecha del objeto de estudio respecto al cumplimiento de las prácticas de excelencia referentes. Ilustrando a modo global, la brecha frente a las prácticas de excelencia (BPE) puede expresarse como en la ecuación 5.

Para categorizar la excelencia de los agentes facilitadores EFQM (NEAF), se proponen cinco regiones (Tabla 1): incipiente, básico, moderado, avanzado y maduro.

Los rangos de dichos niveles tienen la misma amplitud (0,8). Esta nueva variable, aparte de referirse al nivel global, también se indexa en criterios (NEAF_k), subcriterios (NEAF_kl) e ítems (NEAF_klm).

El nivel de excelencia obtenido como resultado de la valoración de un determinado directivo j, adscrito a la mirada i (NEAF_ij), puede ser igual o diferente al obtenido para todo el grupo de AF (Ej: avanzado), o también, puede pertenecer o no a un rango de niveles de interés (Ej: moderado o más bajo). La modelación de este evento se hizo por medio de una variable tipo Bernoulli, denominada EDA(región)ij, entendida como el evento de que el nivel de excelencia deducido para el directivo j, adscrito a la mirada i, pertenezca a una región de interés (nivel o rango de niveles). Los valores de esta variable están dados por la ecuación 6.

Esta variable, aparte de referirse al nivel global, también se indexa en los criterios (EDA(región) ijk), subcriterios (EDA(región)ijkl) e ítems (EDA(región)ijklm), teniendo la misma estructura que la ecuación 6. Así mismo, da lugar a proponer el GAD(región), entendido como el grado de acuerdo entre directivos respecto a una determinada región de interés, el cual también aplica globalmente como indexado en criterios (GAD(región)_k), subcriterios (GAD(región)_kl) e ítems (GAD(región)_klm). Este indicador, dependiendo del número de directivos considerados, puede expresarse como porcentaje (0-100%) o como fracción (Ej: 1/7, uno de siete directivos). La expresión global de este indicador se plasma en la ecuación 7.

Donde nd es el total de directivos que se abordaron (incluyendo todas las miradas), el cual aplica globalmente o indexado en cuanto a criterios, subcriterios e ítems.

En la Tabla 2 se presentan las características predefinidas para la aplicación del modelo en la institución de salud, acompañados de su justificación. Analizando el nivel global de excelencia que caracteriza al servicio de hospitalización, puede verse, en la Figura 2, que aún no se llega a un estado de madurez, arrojando una brecha (BPE) de 22,8% frente al cumplimiento cabal de los estándares sometidos a ensayo.

Dicho nivel de excelencia (NEAF) está “avanzado”, con un puntaje global de 3,86. Teniendo presente el referente de exigencia empleado, si bien este nivel es satisfactorio, y a pesar de que la firma tiene elevado reconocimiento nacional y progreso en temas de acreditación en salud, con el uso del modelo propuesto se evidencia la posibilidad de intervenciones de mejoramiento para trascender hacia un cumplimiento, como mínimo, del 84% en las prácticas asociadas a la excelencia organizacional (pCPE). Personalizando por directivo (PEAFij), la Figura 3 muestra los puntajes de la excelencia en los AF del servicio de hospitalización, los cuales varían entre 3,27 y 4,17. Se evidencia, además, alto nivel de acuerdo entre los directivos con respecto a este nivel, con un GAD (avanzado) de 6/7 u 85.7%.

Nuevamente, los puntajes se ubican en el nivel “avanzado”. Se destaca Alianzas y Recursos, con un puntaje próximo a ingresar a la región de madurez. El modelo propuesto también posibilita ahondar en las puntuaciones y niveles de excelencia, en función de directivo y criterio (PEAF_ijk), según Figura 5.

Lo anterior puede complementarse con el del GAD para deducir, entre otros, qué tanto consenso hay en que el nivel de excelencia de la firma puede aceptarse en el rango “avanzado” y, a su vez, según los criterios, y demás.

5.3. Sensibilidad del nivel de excelencia ante cambios en el peso de las miradas (P.3)

Se probaron siete escenarios de pesos para las dos miradas incorporadas: desde A (20%) y B (80%) hasta A (80%) y B (20%), con cambios de 10%. Se evidenció que, en el rango de prueba de los pesos de las miradas directivas (A y B), las variaciones del puntaje global de la excelencia enAF son mínimas, oscilando entre 3,76 y 3,88; todos estos valores llevan a la misma conclusión que se tenía sobre la excelencia del servicio: nivel “avanzado”.

5.4. Brechas frente al referente de excelencia (P.4)

Dependiendo de los hallazgos encontrados para cada firma específica, el valor de inclusión en la criticidad debe variar, propiciando así la búsqueda constante de oportunidades de mejora (no es lo mismo una firma donde la brecha máxima es de 33%, a aquella en la que es del 10%). Por ello, el analista debe observar las brechas y definir el criterio paramétrico de criticidad. En la Figura 6, además, se resalta en un óvalo aquellas brechas cuyos valores superan

20%. Esta figura provee más información que puede respaldar la criticidad. Por ejemplo, para liderazgo, las brechas más altas pertenecen a: subcriterio 2 (impulso a la mejora y al rendimiento del sistema de gestión de la organización, brecha de 26%); subcriterio 3 (implicación con los grupos de interés externos, brecha de 33%); y subcriterio 5 (compromiso con la flexibilidad de la organización y con la gestión del cambio, brecha de 23%).

Para ilustrar las posibilidades de profundización que ofrecen los resultados del modelo, a continuación, se introduce en la identificación de ítems críticos del AF denominado Liderazgo. La Figura 7 muestra, para los subcriterios con brechas superiores al 20%, la distribución de los ítems, según los niveles de excelencia en los que resultaron ubicados.

En dicha figura pueden identificarse igualmente los ítems percibidos como más críticos, es decir aquellos que se ubican en niveles de menor desarrollo. Se nota que a pesar de que dos de estos subcriterios presentaron un nivel “avanzado” (LS2 y LS5), en ellos prevalecen ítems ubicados en el nivel moderado (26% de los ítems de LS2 y 14% para LS5); asimismo, si bien el subcriterio 3 de liderazgo se ubicó “moderado”, el 12% de los ítems que definen este subcriterio no llegaron a este nivel, sino que se encuentran en la región “básico”. Por medio de este análisis, puede verse la posibilidad de profundización en los aspectos percibidos como más desfavorables por los directivos, pasando desde lo global, hasta lo particular.

6. Conclusiones

Entre los primeros están, puntajes ponderados según importancia relativa de miradas, criterios y subcriterios (PEAF); otros basados en proporciones (BPE: brecha entre el servicio y las prácticas de excelencia), y otros que aportan sobre el consenso entre los directivos (GAD). De tipo categórico, se tiene el nivel de excelencia, con categorías: incipiente, básico, moderado, avanzado y maduro.

El modelo hace posible su uso en otras instituciones del sector salud, pero también, permite adaptar los ítems para emplearse en firmas de otros sectores. La aplicación del modelo al servicio de hospitalización de una firma de salud de Colombia, arrojó, entre otros, los siguientes resultados: Excelencia global en Agentes Facilitadores (3,86), Liderazgo (3,77), Personas (3,78), Estrategia (3,9), Alianzas y recursos (4,12) y Procesos y servicios (3,96). A su vez, se identificaron aspectos del servicio con mayores brechas frente al referente de prueba, que posibilitan orientar los planes de mejoramiento.

Referencias bibliográficas

1. Cartmell, J., Binsardi, B. y McLean, A.: Sector- wide transformational leadership – how effectively is the EFQM Excellence Model used un the UK FE sector? Research in Post Compulsory Education. Vol. 16, No. 2 (2011), pp. 189-214.

2. Nabitz, U., Klazinga, N. y Walburg, J. The EFQM excellence model: European and Dutch experiences with the EFQM approach in health care. International Journal for Quality in Health Care. Vol. 12, No. 7 (2000), pp. 191-201.

3. European Foundation for Quality Management. El Modelo EFQM de Excelencia 2010. EFQM Publications (2010), Brussels, Belgium.  

4. Asgharizadeh, E., Safari, H. y Abdollahi, B. Canonical correlation analysis between results in EFQM model and productivity; A case study in TAVANIR Company in Iran. European Journal of Scientific Research, Vol. 58, No. 4 (2011), pp. 463-471.  

5. Tavana, M., Karbassi, A. y Shiri, M. An EFQM-Rembrandt excellence model based on the theory on displaced ideal.Benchmarking: An International Journal. Vol. 18, No. 5 (2011), pp. 644-667.  

6. Kambiz, S. y Hamidreza, A. Mathematical model to rank companies provider EFQM with context- dependent data envelopment analysis (case study: Iran auto industry). Australian Journal of Basic and applied sciences. Vol. 5, No. 7 (2011), pp. 295-302.  

8. Dodangeh, J. y Yusuff, R. A decision model for selecting of Areas for Improvement in EFQM model.IEEE International Conference on Quality and Reliability (ICQR), (2011), pp. 14-17, Septiembre.  

9. Dodangeh, J., Rosnah, M., Ismail, N., Ismail, M., Zadeh, M. y Jassbi, J. Designing fuzzy multi criteria decision making model for best selection of areas for improvement in EFQM (European Foundation for quality management) model. African Journal of Business Management, Vol. 5, No. 12 (2011), pp. 5010-5021.  

10. Vernero, S., Nabitz, U., Bragonzi, G., Rebelli, A. y Molinari, R. A two-level EFQM self-assessment in an Italian hospital. International Journal of Health Care Quality Assurance, Vol. 20, No. 3 (2007), pp. 215-231.  

Recibido el 09 de Julio de 2012 En forma revisada el 16 de Septiembre de 2013