Evaluación de programas de salud

Evaluation of Health  Programs

María Naranjo¹

¹Docente - Investigador. Instituto de Altos Estudios “Dr. Arnoldo Gabaldon”. Ministerio de Salud. Maracay, Venezuela. Correspondencia: marjodos@cantv.net

Recibido: Octubre 2006; Aceptado: Noviembre 2006

Un Programa  de salud consiste generalmente en una serie de actividades coherentes, organizadas e integradas  destinadas a alcanzar unos objetivos concretos y definidos previamente para mejorar el estado de salud de una población.

El análisis y la evaluación es un aspecto fundamental al diseñar un programa de salud. Este aspecto va a permitir realizar las revisiones y los ajustes necesarios al programa  indicando a los decisores, si el programa en cuestión funciona y cumple con los objetivos para los que fue diseñado. Sin embargo hay autores que señalan que la incorporación de la evaluación en los programas y sistemas de salud  ha sido una tarea que se ha realizado tardíamente (1).

La evaluación de programas es un proceso que trata de determinar en forma sistemática y objetiva la estructura, el proceso y los resultados del programa.

La definición de evaluación de programas de salud es vista desde diferentes enfoques; dentro de los que destacan: a) valoración sistemática y objetiva; b) uso de procedimientos científicos para investigar la efectividad de los programas y c) procedimientos para orientar la toma de decisiones en las diferentes fases de ejecución de un programa.

La evaluación de un programa de salud también puede ser vista desde la perspectiva de conocer la contribución del programa para afectar las variables que contribuyen a explicar el problema de salud que intenta resolver el mismo. Para ésto se puede hacer uso de lo planteado por  Mac Rae (1985) quien propone el término de variables contributivas¹  para expresar los factores asociados a  problemas de la sociedad.En el caso del sector salud estos factores asociados pueden ser demográficos, económicos, educativos, ambientales, culturales y de salud. La idea es que el diseño de evaluación tome en cuenta las acciones que ejecuta el programa para modificar estos factores asociados  que están contribuyendo a la existencia del problema de salud (2).  En algunos casos la discusión se ha centrado en el hecho de si los programas de salud se fundamentan en la eficacia de las acciones de la práctica médica  para detectar o resolver problemas de salud,  con el objetivo de  estudiar los riesgos y beneficios del programa en términos de su calidad (3).

La evaluación de programas de salud tal como se concibe actualmente trata fundamentalmente de contrastar las actividades programadas  versus las actividades cumplidas. Haciendo énfasis en lo que el evaluador, por lo general el coordinador del programa considera fueron los logros del programa y enumerando las dificultades que se tuvieron para no alcanzar las metas previstas.

Esta forma de evaluación por lo general se basa en la realización de una evaluación cuantitativa o cualitativa con indicadores de estructura, proceso y resultados.

Con los indicadores de estructura se busca medir  la oferta básica del servicio que presta el programa, los más utilizados son los indicadores de accesibilidad y disponibilidad.

En relación a los indicadores de proceso se busca evaluar el funcionamiento y utilización del programa. Los  indicadores de proceso más utilizados son los que tienen que ver con las actividades del programa, la productividad, el uso, utilización y calidad del mismo.

En cuanto a los indicadores de resultados se busca conocer cuáles son los logros del programa y los indicadores más utilizados son los de cobertura, eficiencia y eficacia.

Un aspecto que vale la pena destacar es que en el sector salud se tiende a confundir medición con evaluación. Ocurre porque la evaluación es entendida como el hecho de establecer un juicio valorativo, donde se requiere siempre de la comparación con algún estándar o referencia que se establece previamente. Esta situación ha llevado a que frecuentemente se evalúen los programas de salud exclusivamente sobre la base de la cobertura  o el rendimiento que tiene el programa, lo que en realidad corresponde a una medición. La evaluación ocurriría cuando se compara el resultado obtenido (que puede ser de cobertura, rendimiento u otro) contra el nivel planeado para el programa que se está evaluando.

Lo anteriormente descrito a su vez hace que se entienda por evaluación el establecimiento de un juicio valorativo con base a las comparaciones que se realizan, dejando de lado el establecimiento de significados sustantivos para la interpretación a partir de la comparación entre resultados obtenidos y planeados, lo que en ocasiones es un proceso de mayor complejidad que requiere del concurso de grupos de expertos con formación multidisciplinaria, tal como lo señala Montero (1). 

Es probable además que se de  el caso, que al diseñar el programa no se determinan los niveles esperados de desempeño, siendo tarea de los evaluadores determinar estos valores de desempeño (1).   

Vale la pena señalar, que se acostumbra a evaluar programas desde la perspectiva de si cumplieron o no las metas que han sido establecidas. Basándose en establecer estas metas en el hecho del cumplimiento o no  de los indicadores de resultados como por ejemplo disminución de la tasa de mortalidad infantil.

Este tipo de evaluación no toma en cuenta otros aspectos apartes del programa, que pueden estar contribuyendo o no a la reducción de la mortalidad, en virtud de que alcanzar esa meta de reducción puede estar influida por elementos, que están fuera del sector salud, pero que un programa de reducción de mortalidad infantil puede integrarlos dentro de las acciones que se van a ejecutar.

De esto se desprende que pueden existir factores externos² que moldean el resultado esperado con la ejecución del programa. Planteándose la necesidad de incluir en el diseño de evaluación estos aspectos.

Otros elementos de importancia son: a) uso de la teoría al plantear el diseño de evaluación del programa. (4). Según este planteamiento se trata de usar la teoría acumulada sobre el problema que trata de modificar el programa; para planear los puntos que se incluirán en la evaluación y b) métodos de evaluación que incluyan aspectos descriptivos, valorando los resultados de la política pública a la que obedece el programa con base en los objetivos establecidos en el mismo (5).

El diseño de  evaluación  puede abordar diferentes aspectos, dentro de los que se destacan:

Valoración de necesidades: se refiere a si el programa es necesario o no. También se evalúan las condiciones sociales y de salud a las que debe dirigirse el programa.

Conceptualización del programa: Se refiere al hecho de si el programa esta bien diseñado.

Operatividad del programa: En este aspecto se evalúan la implementación del programa.

Resultados e impactos del programa: Se investiga si el programa está alcanzando los resultados deseados e inclusive si hay efectos colaterales positivos o negativos no previstos.

Costo y eficiencia del programa: Se determina si el programa es costo efectivo, si es sostenible en el tiempo.

Ahora bien, estos diferentes aspectos se pueden abordar desde diferentes tipos de diseño. Un aporte importante en cuanto a diseños³, es el de Campbell y Stanley (6), cuya propuesta aunque no es específicamente para programas de salud, puede tener utilidad al diseñar una evaluación de estos  programas.

Estudio de casos: Se basa en que se escoge un grupo de personas a las cuales se les aplica el programa y luego se evalúan los resultados del programa. Su limitación está en el hecho de que no se pueden generalizar los resultados. Sin embargo puede ser utilizado cuando se esta comenzando a aplicar el programa como proyecto piloto a los fines de hacer los ajustes iniciales necesarios. 

Pre test- post test: consiste en escoger un grupo de personas a las que no se les haya ejecutado el programa y se les sensibiliza para que accedan al programa. Evaluándose antes y después de administrar el programa los aspectos que interesan. Su limitación es que los resultados obtenidos en la evaluación pueden contener sesgos producto de la reciente introducción del programa.

Comparación de grupos: En este caso se seleccionan dos grupos de personas uno que haya accedido al programa y otro que no tenga acceso al mismo comparándose los resultados que se esperan obtener con el programa en ambos grupos. Siendo el acceso al programa la variable de control. La limitación principal es que los resultados pueden estar  afectados por la variable de control que se establece entre los dos grupos.

Pre test- post test con grupo control: Se trata de seleccionar en forma aleatoria dos grupos que estén en condiciones de acceder  al programa  y se les aplica un pre test. Posteriormente al primer grupo se le suministra información sobre el programa y se aplica un post test. La principal limitación es que se puede encontrar un incremento del uso del programa por parte de ambos grupos motivados por la aplicación del pret test.

Diseño Salomón con cuatro grupos: Se seleccionan en forma aleatoria cuatro grupos que estén en condiciones de acceder  al programa, al grupo 1 y 2 se les aplicara el pre test y al grupo 1 y 3 se les dará información sobre el programa. El post test se les aplicará a los cuatro grupos. La limitación principal es  que los resultados obtenidos pueden deberse a que los grupos participantes están   conociendo  en el corto plazo los efectos del programa tanto de manera indirecta (con el pre test) como de manera directa (con la información suministrada sobre el programa).

Post test con grupo control: Para este diseño se seleccionan dos grupos de personas que estén en condiciones de acceder al programa, sólo al primer grupo se les suministra información sobre el programa y se aplica un post test a ambos grupos. La limitación consiste en que al omitir el pre test no se puede verificar si la selección fue aleatoria lo que puede llevar a sesgos y a interpretar los resultados de forma errónea.

Series de tiempo: Consiste en seleccionar un grupo de personas que puedan acceder al programa y se les aplica un pre test por un largo periodo de tiempo. Posteriormente se les da información sobre el programa y se les aplica el instrumento de evaluación nuevamente a lo largo de un periodo de tiempo. Una de las ventajas es que este tipo de diseño permite evaluar las ventajas del programa en el largo plazo, más allá del efecto novedad de los casos anteriores. Su limitación es que no hay control sobre agentes externos que puedan estar influyendo en los resultados encontrados, que no dependan del programa y que coincidan con la aplicación del estudio.

Muestras temporales equivalentes: se escoge un grupo de personas que puedan acceder al programa se les da información sobre el mismo y se aplica un instrumento de evaluación. En un segundo momento se le impide al grupo el acceso al programa, aplicándose nuevamente el instrumento de evaluación. En un tercer momento se les permite acceder al programa y se aplica nuevamente el instrumento de evaluación. Los momentos 2 y 3 se repiten en forma alternativa varias veces. La principal limitación es que se corre el riesgo de estar midiendo los efectos transitorios de la disponibilidad del programa.

Diseño con grupo control no equivalente: Se seleccionan dos grupos y a cada grupo se le aplica un pre test.  A uno de los grupos se le da acceso al programa y luego se aplica un post test. La principal desventaja es el sesgo de selección de los grupos.

Series de tiempo múltiple: Se seleccionan dos grupos y ambos grupos se les aplica un pre test varias veces a lo largo del tiempo. A uno de los grupos se le da acceso al programa y luego se aplica el post test a los dos grupos varias veces en el tiempo. Su limitación consiste en que  la continua aplicación del instrumento de evaluación puede llevar al uso forzado del programa.  

Análisis de regresión discontinua: Consiste en seleccionar un grupo de personan que estén usando el programa y se les aplica un instrumento de evaluación que permita obtener información sobre  su situación antes y después de acceder al programa. La limitación de este método consiste en el sesgo que existe al seleccionar personas que ya por estar usando el programa conocen sus beneficios.

Estos diseños corresponden a  propuestas dirigidas a evaluar el programa desde la perspectiva de los usuarios del mismo.

Es necesario plantear, además, la necesidad de sistematizar los diferentes enfoques al realizar la evaluación. Es decir el marco desde donde se hace la evaluación del programa lo que puede estar en sintonía con el contexto en donde se aplica el programa.

En el caso del sector salud y partiendo de la experiencia acumulada en el ejercicio de la salud pública así como de  la revisión bibliográfica se puede plantear  un marco de análisis donde se incluyan las siguientes perspectivas: a) del usuario (individual); b) comunitaria (grupal); c) de los ejecutores del programa (institucional); d) de diseño de política pública (gubernamental) y e) de instituciones académicas  (externa).

Un  aspecto clave es el referido a quién hace la evaluación. Distinguiéndose una evaluación interna; cuando es realizada por los miembros del equipo de ejecución del programa. La evaluación externa es cuando es realizada por profesionales que trabajan expresamente en el diseño y desarrollo de la evaluación y no participan en la ejecución del programa. Ambos tipos de evaluación tienen sus ventajas y desventajas, la tendencia es a incorporar en el grupo evaluador miembros externos e internos al programa. 

Tendencias en la evaluación de programas de salud

Los planteamientos actuales reflejan que existe interés por conocer los siguientes aspectos de los programas de salud:

Valoración de necesidades: donde el aspecto clave a evaluar es la pertinencia de los objetivos del programa para satisfacer las necesidades de la población objetivo. El punto clave es conocer si antes de diseñar el programa se ha hecho una adecuada valoración de necesidades, desde el punto de vista de la población objetivo. 

Teoría de programa: algunos autores lo mencionan como lógica del programa o evaluación dirigida por la teoría (1). Este planteamiento coloca el énfasis de la evaluación en el conjunto de supuestos sobre la forma en que el programa, producirá los beneficios que se esperan, o en que forma las acciones del programa lograrán  los resultados deseados.

La literatura señala que cuando la teoría del programa no ha sido articulada o formalmente establecida de antemano por los diseñadores, es tarea de los evaluadores hacerla explícita. Esto se conoce con el nombre de “evaluación de caja negra” Evaluación de impacto: Esta evaluación implica establecer evidencias de relación causal entre el programa y los resultados de salud que se observan en la población. Esto requiere el diseño de estudios rigurosos que permitan controlar el efecto de otras variables que pueden estar afectando los resultados de salud y que no tienen nada que ver con el programa.

Evaluación de calidad: Este tipo de evaluación se basa en conceptualizar a la calidad como un atributo del proceso de salud que debe tomar en cuenta la perspectiva clínica y la poblacional para definir las dimensiones de calidad que se evaluarán en un programa de salud.

Para concluir lo referente al proceso de evaluación de programas de salud es necesario destacar que no solamente el diseño de evaluación y el enfoque son importantes para el éxito de un proceso de evaluación, sino también el considerar las metodologías de trabajo y la conformación del  grupo  que realizará la evaluación.

Otros elementos a considerar son los señalados por Bamberger, (7), en relación a que se hace necesaria la integración de diferentes aspectos; a) entre evaluadores de países desarrollados y evaluadores de países en vías de desarrollo; b) entre metodologías cualitativas y cuantitativas; c) entre las personas beneficiarias del programa y los evaluadores y d) integrar los requisitos de información de agencias internacionales que financian los programas con las tradiciones de investigación, contextos sociales y políticos de los países en vías de desarrollo. Lograr esto evidentemente pasa por fortalecer la capacidad técnica en los países en vías de desarrollo.

Notas

¹Variables que pueden contribuir a explicar el aumento de un problema.

²Algunos autores señalan que estos factores se denominan externalidades y que estas pueden ser positivas o negativas.

³De tipo experimental y cuasi experimental.

Referencias bibliograficas

1. Montero, E. “Marco conceptual para la evaluación de programas de salud.” Población y salud en Mesoamérica. Volumen 1, número 2, marzo 2004 http://ccp.ucr.ac.cr/revista/        [ Links ]

2. Mac Rae, Duncan. 1985. Policy indicators: Links between social science and public debate. Chapel Hill: University of North Carolina Press.         [ Links ]

3. Bergonzoli, G y Granados, H (2004) Evaluación de la Calidad del Cuidado Médico: Un Nuevo Indicador. Cuadernos de la Escuela de Salud Pública. Nº 76 Julio- Diciembre. (20 - 26) Caracas.        [ Links ]

4. Weiss, Carol (1998). Evaluation. Second edition. New Jersey. Prentice Hall.        [ Links ]

5. Dunn, William N. 2004. Public policy analysis. An introduction. (3) Englewood Cliff, NJ.: Prentice Hall.        [ Links ]

6. Campbell, D y Stanley, J. (1963). Experimental And Quasi- Experimental  Designs For Research. Boston: Houghton Mifflin Company.        [ Links ]

7. Bamberger, Michael. 2000. “The evaluation of international development programs: a view from the front.” American Journal of Evaluation, 10982140,winter 2000, Vol.21, Issue 1. (Ebsco).        [ Links ]