Una propuesta  para la evaluación  de programas sociales: Lineamientos generales

 Ruth Matos Bazó*

*Socióloga. Magíster Scientarum en Ciencia Política y Derecho Público, mención: Ciencia Política. Investigadora del Centro de Investigaciones de Trabajo Social. Profesora de “Monitoreo y Evaluación de Programas Sociales”. Jefe del Dpto. Socio Económico de la Escuela de Trabajo Social de la Facultad de Ciencias Jurídicas y Políticas de la Universidad del Zulia. Maracaibo, Venezuela. E-mail: ruthmatbaz@cantv.net.

Resumen

El objetivo de este trabajo es diseñar un plan para la sistematización y análisis de la información generada durante la evaluación de un programa social como un proceso integrado. Un análisis comparativo -previo- entre diferentes enfoques teórico-prácticos de evaluación permitió identificar los criterios de evaluación y sus principales características. Como resultado se diseñó una propuesta para la utilización conjunta de la Matriz del Marco Lógico y una ficha de evaluación; ésta última sistematiza la información generada en el proceso evaluativo de acuerdo a la lógica de la primera. La propuesta contiene un conjunto de herramientas de evaluación para ser aplicadas en las diferentes fases de desarrollo de los programas sociales, ya que se adecuan a un sin número de los mismos, permitiendo una forma más rápida, útil y sencilla de entender y realizar los procesos evaluativos. Se concluye en una propuesta de instrumentos para validarlos en una futura aplicación y en la propuesta de criterios para propiciar la discusión de su utilidad en la evaluación de programas sociales.

Palabras clave: Evaluación de Programas Sociales, Propuesta de Evaluación, Matriz del Marco Lógico, Ficha de Evaluación.

Proposal for the Evaluation of Social Programs: General Guidelines

Abstract

The objective of this paper is to design a plan for the systematization and analysis of information generated during the evaluation of social programs as an integrated process. A previous comparative analysis, between different theoretical-practical evaluative focuses, allows for the identification of evaluative criteria and their principal characteristics. As a result, a proposal was designed for the combined use of the Matrix of the Logical Framework, and an evaluative card; this card would systematize the information generated in the evaluative process according to the logic of the former. The proposal contains a series of evaluative tools to be applied in the different phases of the development of the social programs, since they apply to an endless number of the same, allowing a more rapid, useful and simple manner of understanding and evaluating them. The conclusion is the need for validation instruments in a future application and in choosing criteria for promoting a discussion of their utility in the evaluation of social programs.

Key words: Evaluation of social programs, evaluation proposal, logical matrix framework, evaluative card.

Recibido: 25-06-04  Aceptado: 22-01-05

Introducción

Un programa social adecuadamente formulado mejora sustancialmente sus posibilidades de éxito y de opción para un financiamiento. Sin embargo, el postulante debe contar con herramientas de evaluación y seguimiento de programas, desde su introducción hasta su última fase de la ejecución, que contengan los criterios que comúnmente se utilizan dentro de las organizaciones que evalúan estos programas. Asimismo, la evaluación de los programas debe realizarse utilizando más de un procedimiento, porque al tratarse de programas sociales, la evaluación se hace más compleja y requiere de criterios específicos.

Sin duda alguna, en la actualidad se está promoviendo el uso de la Matriz del Marco Lógico (MML) por diferentes organizaciones internacionales y nacionales, como una herramienta, fundamentalmente, en la etapa de planificación para diseñar programas y proyectos de desarrollo. Sin embargo, el propósito que se persigue en este trabajo, es proponer un plan de sistematización y análisis de la información generada por un programa social en los diferentes momentos de su desarrollo; dicha propuesta se basa en dos instrumentos de evaluación, el primero, la Matriz del Marco Lógico y el segundo, lo que llamamos una Ficha de Evaluación, estrechamente vinculada a la primera, que se alimenta de su información, de su lógica interna y genera unos resultados coherentes y útiles. Asimismo, se incorporan al texto algunos términos básicos para aclarar su significado en el contexto de la MML.

1. Procedimiento sugerido para la evaluación de programas sociales

La presente propuesta trata sobre una forma de organizar el proceso de evaluación de los programas sociales, que introduce aspectos novedosos en la forma de realizarla, (decisiones relativas al diseño de los instrumentos, métodos, medida, análisis e informe final), así como el hecho de que el equipo de trabajo debe estar integrado por el evaluador, las comunidades (a través de sus representantes) y los organismos postulantes, financiadores, etc.

Tanto para la fase previa a la ejecución, como en el caso de que el programa se esté ejecutando o haya finalizado, la evaluación puede orientarse por el procedimiento de evaluación sugerido, cuyos elementos básicos son bastante simples, como se explica a continuación. En primer lugar, se identifican los usuarios potenciales de la evaluación. Estos o sus representantes -cuando se trata de grupos numerosos- se organizan en una comisión de trabajo que comparte con el evaluador la máxima capacidad de decisión sobre todo el proceso.

En segundo lugar, corresponde a la comisión de trabajo, con la ayuda del evaluador, determinar el objeto de la evaluación. Es decir, supone examinar los problemas planteados y decidir si la evaluación debe responder a cuestiones de eficacia general, de implementación o de diseño y conceptualización del programa. En la evaluación de ejecución corresponde también al evaluador ayudar a los actores del proceso a decidir qué cuestiones serían más útiles investigar de acuerdo a las fallas que esté presentando el desarrollo del programa, y en función de la utilidad anticipada de la evaluación para resolver la situación, realizar las recomendaciones pertinentes.

La tercera parte del proceso se refiere a las decisiones en torno al diseño de la investigación evaluativa, métodos e instrumentos de medida. Deben analizarse aquí todas las opciones posibles: métodos cualitativos y cuantitativos, experimentales, cuasiexperimentales, estadísticos, entre otros. La cuestión principal es la selección de los métodos más adecuados para obtener los datos más precisos y apropiados, y sobre todo, que los resultados obtenidos sean realmente útiles para el vaciado en los formatos.

En cuarto lugar, una vez vaciada la información del programa en el formato de la Matriz del Marco Lógico o actualizada (si ya era parte de su diseño), recogidos y analizados los datos por el evaluador, corresponde a la comisión de trabajo participar activamente en la interpretación de los resultados y enjuiciar el programa a la luz de la evidencia empírica. Son asimismo los integrantes de esta comisión, ayudados por el evaluador los encargados de darle la valoración (puntuación) a las preguntas realizadas en la ficha de evaluación, y así generar las recomendaciones pertinentes.

Por último, debe realizarse un informe de evaluación que recoja las conclusiones y recomendaciones generadas en el proceso evaluativo por el equipo de trabajo (se explica en su aparte) para estimular la toma de decisiones oportunas y pertinentes por el órgano decisional.

2. La Matriz del Marco Lógico (MML) como instrumento de evaluación

En general, en el proceso de planificación de programas sociales, la Matriz del Marco Lógico (MML) se plantea como un instrumento que puede ser utilizado fundamentalmente, como parte del diseño de programas y proyectos, así como también para probar la coherencia del diseño del programa en la evaluación ex-ante.

En el marco de la metodología de la MML, esta herramienta puede utilizarse durante el desarrollo de la planificación del programa para llevar a cabo una auto-evaluación e igualmente, sirve de punto de referencia durante toda la vida del programa, fundamentalmente para hacerle un monitoreo (método de control del progreso físico en la realización y costo de la obra) y evaluaciones (globales y puntuales) de ejecución y de finalización del programa.

Para tal efecto, se utiliza el modelo-base de la MML, marcado como el Cuadro 1, para el vaciado del contenido del programa en la fase en la cual se encuentre (antes, durante, después). Se reflejarán así las variaciones que el programa haya tenido y se actualizarán los indicadores de evaluación del programa, de acuerdo al tiempo de ejecución con una ponderación de resultados, y si ya ha finalizado la ejecución del programa, a través de esos indicadores se realizarán los análisis pertinentes. Así mismo, se realizará un análisis de los factores externos, ¿cómo están influyendo en el desarrollo del programa? o ¿cómo influyeron en el éxito o fracaso del mismo?

Cuadro 1 Formato Base de la MML

2.1. La identificación de los componentes de la Matriz del Marco Lógico

La ejecución de un programa es una secuencia de hechos que se van realizando y que tienen una relación causal interna. Dado que para la evaluación ex-ante no existe la absoluta certeza de que lo previsto en el programa o proyecto se cumpla en la realidad, se considera el proceso como una secuencia de hipótesis de desarrollo que se pueden analizar y evaluar. Es el mismo sentido en el que se utiliza para el diseño de proyectos y que consideramos necesario explicar como base para la posterior explicación de la evaluación.

En un primer momento se definen cada uno de los componentes de la MML numerados como se observa en la operacionalización del formato, que mostramos a continuación como el Cuadro 2.

- (1) Objetivo General: En este recuadro se reseña el objetivo general o global que explica la razón por la que se implementa el programa. Debe contener el propósito central del programa y los fines que se esperan alcanzar, cuantificables e interrelacionados. Es decir, el por qué se emprende el programa, quiénes son los beneficiarios directos y cuál es el impacto directo que se pretende. Debe estar expresado como una situación ya alcanzada, en términos verificables y no contener dos o más objetivos que estén causalmente relacionados (medios-fines).

- (1) Objetivo General: En este recuadro se reseña el objetivo general o global que explica la razón por la que se implementa el programa. Debe contener el propósito central del programa y los fines que se esperan alcanzar, cuantificables e interrelacionados. Es decir, el por qué se emprende el programa, quiénes son los beneficiarios directos y cuál es el impacto directo que se pretende. Debe estar expresado como una situación ya alcanzada, en términos verificables y no contener dos o más objetivos que estén causalmente relacionados (medios-fines).

- (1.1) Indicadores objetivamente comprobables: Este recuadro debe contener los indicadores como metas de resultados del objetivo general. En el contexto de este enfoque, un indicador define la norma de realización que haya que alcanzar a fin de lograr un objetivo. Es decir, los indicadores especifican cómo habría que medir el logro del objetivo general.

- (1.2) Modalidad de comprobación de los indicadores: En este recuadro se indican los medios de verificación de la realización del objetivo general o el propósito central del programa. Son fuentes de información a través de las cuales se verifica que el objetivo se cumplió, especificándose los tipos de fuentes, que pueden incluir documentos, publicaciones, informes periódicos, entrevistas, encuestas, etc.

Cuadro 2 Operacionalización del formato de la MML

- (1.3) Factores externos: En este recuadro se señalan los acontecimientos, condiciones o decisiones que pueden afectar el éxito de un programa, pero que están en gran parte o totalmente fuera del control de la administración del programa. Cuando el hecho en sí no es negativo pero es una condición necesaria para la ejecución del programa, el sentido negativo que pudiera tener se refiere a que si no se realiza, se vería afectada la ejecución del programa y por consiguiente el éxito del mismo.

- (2) Objetivos Específicos: En este recuadro se indica la razón inmediata de un programa, es decir, los efectos específicos que se esperan alcanzar como resultado del programa si se completa con éxito y a tiempo. Se deben mencionar los beneficiarios y los beneficios buscados. Es importante aclarar que si puede contener más de un objetivo específico y sus efectos contribuyan, en conjunto, para alcanzar el resultado del programa. Deben ser formulados como un estado ya alcanzado, de manera concreta y verificable.

- (2.1) Indicadores objetivamente comprobables: Este recuadro contiene los indicadores que determinan cómo habría que medir el logro de los objetivos específicos. Ellos son las medidas específicas (directas e indirectas) que funcionan como indicadores de efectos e impacto del programa, y que además permitan monitorear el cumplimiento de los objetivos específicos del programa.

- (2.2) Modalidad de comprobación de los indicadores: En este recuadro se indican los medios de verificación de la realización de los objetivos específicos del programa que pueden ser pruebas, mediciones o indicaciones que confirmarán que el objetivo inmediato se va a realizar. Las fuentes pueden ser entrevistas o encuestas a grupos interesados con conocimientos útiles sobre el desarrollo del programa. También pueden incluir documentos, publicaciones, informes periódicos, entrevistas, encuestas, inspecciones, entre otros.

- (2.3) Factores externos: En este recuadro se señalan los hechos, condiciones y decisiones específicas fuera del control de la dirección del programa que, junto con los productos de éste, son necesarios para lograr los objetivos inmediatos.

- (3) Resultados: En este recuadro se señalan los resultados (o productos) que el programa puede garantizar como consecuencia de sus actividades y los insumos aportados. Estos resultados deben expresarse en trabajo terminado como por ejemplo: sistemas instalados, personal capacitado, abastecimiento, servicios, obras, etc.

- (3.1) Indicadores objetivamente comprobables: En este recuadro se indican los bienes y servicios (personal, equipos, capacitación, etc.) que deben aportar las partes implicadas en el programa para emprender las actividades necesarias con las que generarán los resultados o productos planificados. Éstos deben expresarse en términos de metas de cantidad, tiempo y calidad de cada realización.

- (3.2) Modalidad de comprobación de los indicadores: Este recuadro indica cuáles son las fuentes de información para verificar que los resultados o productos efectivamente se han realizado, determinando también el control del tiempo, costo y cualidad de ejecución de obras, abastecimiento y servicios. Las fuentes pueden incluir: Inspecciones, informes, auditorias y cualquier otra prueba acorde a la especificidad del programa.

- (3.3) Factores externos: En este recuadro se encuentran los acontecimientos, condiciones o actividades fuera del control de la dirección del programa que, junto con las actividades de éste, son necesarios para lograr los productos.

- (4) Actividades: Este recuadro debe reseñar las actividades y tareas concretas que debe realizar el equipo del programa para generar cada uno de los productos o resultados estipulados en el programa.

- (4.1) Insumos: Este recuadro debe contener los presupuestos, personal, equipos, etc., del programa, necesarios para producir el resultado propuesto. El presupuesto debe especificar el costo total y costo unitario de consecución de cada producto.

- (4.2) Modalidad de comprobación de los indicadores: Este recuadro debe indicar donde se puede obtener la información para verificar si el presupuesto se gastó como estaba previsto. Generalmente puede verificarse a través del registro contable de la unidad ejecutora. Se pueden confrontar los datos obtenidos con bases actuariales y eventualmente realizar auditorias.

- (4.3) Factores externos: Este recuadro debe indicar cuáles son los acontecimientos, condiciones o decisiones fuera del control de la dirección del programa que deben darse para iniciar las actividades, una vez que los insumos estén disponibles, para completar los resultados o productos del programa, o que por el contrario, pueden afectar la consecución de los resultados o productos.

3. La MML para la evaluación ex-ante del programa

La MML como herramienta de evaluación permite realizar una revisión integral del programa propuesto antes de iniciar su ejecución. A través de esta herramienta también se indaga la viabilidad de los componentes y de las actividades planificadas y es la que permite tomar la decisión de la implementación o no, del programa social. Además, nos permite efectuar las correcciones oportunas en el diseño del proyecto.

En general, la evaluación ex-ante consiste en el análisis de la formulación del programa para conocer si los elementos operativos del mismo (actividades, tareas, recursos, presupuesto, etc.) resultan adecuadamente consistentes en el documento del programa propuesto.

En aquellos casos, específicamente cuando el diseño del programa ya se ha realizado y sólo se está sometiendo el programa social a una evaluación ex-ante para su financiamiento y/o implementación, habría que, en primer lugar, vaciar la información contenida en el programa, en el formato de la MML, de acuerdo a la exigencia de lo que debe contener cada uno de los recuadros, tal como se indica en el aparte donde se identifican los componentes de la MML.

En segundo lugar, ajustado el diseño del programa al formato de la MML, pasaría a ser sometido a la evaluación. Por otro lado, también puede ser útil cuando se reformule un documento de un programa utilizando el formato de la MML, ya que prácticamente la MML es un resumen, en una página, del diseño del programa que permite visualizar la coherencia interna del mismo.

Antes de entrar en cómo debe hacerse la valoración de los componentes de la MML, es importante recordar que cada nivel de la MML debe contener las condiciones necesarias y suficientes para el siguiente nivel superior (lógica vertical), los pasos son los siguientes:

• La valoración del objetivo general: El evaluador debe en primer lugar, analizar si el objetivo global o general del programa está definido en forma precisa y si contiene todos los componentes de un buen diseño (el por qué, para quién y el impacto); en segundo lugar, verificar que sea un objetivo realista y no muy ambicioso. En tercer lugar, debe verificar que éste sea consistente con las políticas de desarrollo del país, con las líneas directrices del organismo que va a otorgar el financiamiento y que represente una justificación suficiente para el programa.

• La valoración de los objetivos específicos: El evaluador debe en primer lugar, analizar si los objetivos específicos del programa no están definidos de forma imprecisa, compleja y demasiado ambiciosa, ya que son éstos los que van a determinar la magnitud del programa en términos de recursos, personal y estrategia. Otro aspecto importante en la valoración, es tener en cuenta que la etapa inferior debe ser necesaria y suficiente para alcanzar la etapa superior, es decir se debe determinar si son necesarios y suficientes para lograr el objetivo general (lógica vertical).

• La valoración de los resultados: El evaluador debe analizar si los resultados están bien diseñados, ya que se tiende a confundirlos con los efectos que se esperan lograr como resultado del programa (objetivo inmediato). Los resultados son los que el programa puede garantizar como consecuencia de sus actividades, en diferentes etapas, durante el proceso de ejecución y que en conjunto puedan considerarse como un medio para el logro de los objetivos. Debe asegurarse que estén incluidos todos los resultados esenciales para lograr los objetivos específicos, que se incluyan sólo aquellos que el programa garantice, que sean factibles y definidos de forma concreta y verificable.

• La valoración de las actividades: El evaluador debe verificar que las actividades incluidas en el diseño del programa sean las necesarias para producir los resultados, ya que puede darse una sobreespecificación de actividades. Por otro lado, debe asegurarse que las actividades incluidas contribuyan directamente al nivel del resultado superior y estén planteadas en términos de acciones que se emprenden y no en términos de resultados alcanzados; por último, que el tiempo disponible para cada actividad sea realista.

• La valoración de los insumos: El evaluador debe asegurarse que el total de los insumos necesarios para lograr los resultados propuestos sea realista; que los insumos sean condiciones necesarias y suficientes para emprender las actividades especificadas y que estén definidos de manera concreta y verificable en cuanto a cantidad, calidad y costo.

• La valoración de los indicadores: Los indicadores son la base para el monitoreo y la evaluación del programa, ya que permiten determinar el nivel de realización que hay que alcanzar a fin de lograr el objetivo general, los objetivos específicos y los resultados. La medición que se hace a través de los indicadores puede ser cuantitativa y/o cualitativa. La cuantitativa debe estar expresada en unidades numéricas, de la misma manera que la cualitativa, también debe ser cuantificable. El evaluador debe valorar si están bien diseñados, es decir, si contemplan todas las especificaciones: el grupo beneficiario, la cantidad, la calidad, el tiempo y la ubicación Además, también es importante que cada indicador sea independiente en cada nivel de los recuadros y refleje una prueba de logro en ese nivel. En este sentido, y dada la relevancia de los indicadores para el proceso de evaluación, es importante señalar los requisitos propuestos por Aguilar y Ander-Egg (1994:114): “independencia” (utilizar cada indicador para una sola meta), verificabilidad (que permitan comprobar empíricamente los cambios que se van produciendo con el proyecto, permitiendo, asimismo, que el indicador tenga -objeti- vamente- el mismo significado tanto para un defensor como para un oponente del proyecto), validez (que sirvan para medir todos y cada uno de los efectos que persigue el programa o proyecto) y accesibilidad (cuya obtención sea relativamente fácil o poco costosa)… Lo ideal es utilizar indicadores que requieran datos ya existentes o disponibles, o que se puedan obtener mediante el sistema de seguimiento y monitorización prevista en el proyecto)”. Es conveniente aclarar que, en general, en las primeras etapas de la planificación, los indicadores son solamente valores guías para analizar el diseño del programa.

• La valoración de los factores externos: La valoración de los factores externos es importante para determinar las posibilidades de éxito del programa. Amerita analizar todos los factores externos en cada uno de los niveles y estudiar su importancia y probabilidad de que ocurran. Hay que hacer una distinción importante en cuanto a si los factores externos son negativos o positivos. En el caso de los factores externos que afectan negativamente la ejecución del proyecto, si su ocurrencia es muy probable pero no segura, el evaluador debe asegurarse que el equipo ejecutor haya tomado las previsiones para controlarlos, cambiarlos o influir sobre ellos. Pero en el caso de que esos factores sean dañinos para la ejecución del proyecto, el evaluador debe solicitar, si es posible, que se rediseñe el proyecto y si no es posible, rechazar la propuesta del proyecto. En cuanto a los factores externos positivos que son acontecimientos, condiciones o decisiones fuera del control de la dirección del proyecto que son necesarios en cada uno de los niveles, para el éxito de la ejecución del proyecto, el evaluador para aprobar el proyecto, debe asegurarse que en el diseño o el equipo ejecutor, hayan tomado las previsiones para controlar su cumplimiento, influir sobre ellos o cambiarlos de ser posible.

• La valoración de los medios de verificación: El evaluador para comprobar la utilidad de los indicadores debe disponer de fuentes de información confiables, que cuenten con datos actualizados. El recuadro de los medios de verificación a cada nivel debe especificar qué información tiene que estar disponible, de qué forma y quién debería facilitar la información. Así mismo, se valorarán las fuentes externas al programa en cuanto a acceso, confiabilidad y pertinencia; así como el trabajo y el costo de cualquier información que el programa mismo vaya a producir para determinar si los beneficios justifican los costos.

4. La MML para la evaluación de la ejecución de Programas Sociales

La evaluación de ejecución de un programa social se puede definir como la indagación y valoración de la implementación de un programa en cada uno de sus elementos metodológicos: componentes, resultados, actividades, tareas, recursos, presupuesto, etc. Dicho en otras palabras, seria el análisis del desarrollo del proceso, el cumplimiento de las actividades y el logro de los resultados durante el desarrollo del programa.

Ahora bien, como ya se había señalado, la evaluación de ejecución puede ser global -la que acabamos de mencionar- o de alguno de sus aspectos puntuales, cuando existe la necesidad de profundizar el conocimiento de cómo alguno de ellos está afectando la marcha del programa (por ejemplo, la administración o la capacitación del personal) o no se están logrando los resultados esperados (por ejemplo, la cobertura).

En nuestra propuesta, la evaluación de la ejecución de programas con la MML se plantea de forma global, es decir, para monitorear el programa en su desarrollo, ya que la selección de los aspectos específicos a evaluar lo decidirá la autoridad correspondiente que solicite la evaluación, de acuerdo al interés del organismo que represente y/o al aspecto que lo amerite, en cuyo caso la MML es un punto de referencia para la evaluación.

En un primer momento, es necesario el vaciado del programa a evaluar en el formato de la MML (si no está incluido en el diseño), ya que la información del programa debe estar estructurada de acuerdo a los requerimientos del formato. En todo caso, como se trata de una evaluación de ejecución se deben colocar los valores actualizados, es decir, hasta qué grado se han cumplido las metas previstas? ¿Hasta que punto se han cumplido los objetivos de acuerdo al tiempo de ejecución?

En segundo lugar, el evaluador debe verificar que los objetivos reseñados en la primera columna, recuadros numerados 1 y 2 (objetivo general y objetivos específicos) no hayan sufrido modificaciones durante la ejecución; ocasionados, en algunos casos, por cambios en las condiciones objetivas, o las percepciones de los ejecutores o en las exigencias de la autoridad con poder decisorio, por ejemplo. En caso de que los objetivos permanezcan igual, se considerará como un punto de referencia para evaluar los logros del proyecto durante la ejecución.

En tercer lugar, como ya se había mencionado, los indicadores son la base para el monitoreo y la evaluación del programa, por lo que es necesario tener claro que en las primeras etapas de la planificación, los indicadores son solamente valores guías para analizar el diseño del programa. Cuando el programa se está ejecutando, hay que volver a revisar estos valores guías, evaluar su utilidad y de ser necesario, sustituirlos por indicadores más específicos del programa. Teniendo entonces, los indicadores de evaluación, éstos van a servir para valorar o mostrar el progreso de una actividad en relación con las metas planificadas, en cuanto a “la entrega de sus insumos (indicadores de insumos, la obtención de sus productos (indicadores de productos) y el logro de objetivos (indicadores de efectos e impacto)” (Grupo del CAC, 1984 citado por Aguilar y Ander-Egg,1994:113).

En cuarto lugar, debe hacerse un corte temporal en la ejecución, con fines operativos, para medir la efectividad de lo ejecutado del programa hasta ese momento; me explico, debe establecerse la relación entre las metas logradas y las metas planificadas. Puede medirse también la eficacia, al incorporar el factor tiempo. Es decir, la relación del tiempo planificado con las metas alcanzadas, con respecto a la relación entre el tiempo de realización con las metas planificadas, todo ello, en función de los plazos previstos de relevamiento de la información de cada uno de los indicadores. Si se incluye el factor costo, se podría conocer qué tan eficiente ha sido la ejecución del programa hasta ese momento, ya que la eficiencia es una relación óptima entre metas, tiempo y costos. Es importante señalar que en el enfoque de SIEMPRO (1999) se considera este tipo de evaluación como de resultados de medio término.

En quinto y último lugar, el evaluador debe indagar de qué manera el equipo ejecutor ha enfrentado las condiciones externas que pudieran haber afectado la ejecución del programa, previstas o no en el mismo; tanto para su cumplimiento si son necesarias en función de alguna realización en los diferentes niveles, como si son negativas y han afectado o pueden afectar el desarrollo del programa. Si ya lo han afectado, por presencia o ausencia, debe entonces valorar el grado de afectación del programa en función del logro de los resultados y recomendar las acciones correctivas necesarias al órgano decisional.

5. La MML para la evaluación ex-post del programa

Sobre la base de las ideas expuestas de la definición de la evaluación ex-post, que abarca la evaluación de finalización del programa o resultados y de impacto, es conveniente retomar cada definición. La evaluación de resultados tiene el propósito de evaluar el grado de cumplimiento de los objetivos específicos del programa, en términos de efectividad, eficacia y eficiencia; y la función de la evaluación de impacto es identificar y explicar los efectos y modificaciones ocurridos en la situación inicial que origina el programa, a través de la valoración de los indicadores del problema.

Antes de continuar, es necesario aclarar que si se ha realizado un monitoreo del programa durante su ejecución deben existir indicadores de cumplimiento de metas de resultados parciales, que en todo caso, lo que correspondería sería profundizar y actualizar el análisis, en función de los resultados finales planificados.

Ahora bien, para utilizar la MML en esta fase, es necesario el vaciado de la información en el formato base. Si se ha realizado el monitoreo, habría que actualizar los valores en términos de resultados. Los pasos, de acuerdo a cada uno de los recuadros del formato, son como sigue:

En primer lugar, el objetivo general debe actualizarse en función de resultados logrados, es decir, como una situación alcanzada, que permita compararla con el objetivo general programado. Por su parte, cada uno de los objetivos específicos debe actualizarse en función del resultado específico logrado.

En segundo lugar, es necesario reseñar los productos logrados para el cumplimiento de los objetivos específicos, así como cada una de las actividades realizadas para la consecución de los productos. En relación con los insumos también debe indicarse cantidad, calidad y costo final de los utilizados para realizar las actividades.

En tercer lugar, en los recuadros de los indicadores deben colocarse los resultados cuantificados de cada uno de los indicadores, en cada nivel del formato; así como colocar los resultados de los análisis efectuados a los logros alcanzados por el programa, en términos de efectividad, eficacia y eficiencia. Por otro lado, en el recuadro de los medios de verificación, deben señalarse, de acuerdo a cada nivel, las fuentes o registros donde reposa la información del cumplimiento de los indicadores de resultados, o en su defecto, debe indicarse otras formas de verificación.

En cuarto y último lugar, en los recuadros de los factores externos, deben indicarse los hechos, no controlados por los ejecutores, que tuvieron un efecto positivo o negativo en cada uno de los componentes del programa, estuvieran o no, contemplados inicialmente en la programación. Pudiera considerarse, si es posible, colocar de forma muy sintética el efecto positivo o negativo (causa/efecto) sobre la ejecución del programa. Quedaría para el informe final la explicación de cómo se enfrentaron estos hechos, condiciones o decisiones de manera que su ausencia o presencia, afectara lo menos posible, el éxito del programa.

6. La Ficha de Evaluación del proyecto

Las organizaciones que financian proyectos sociales, generalmente utilizan ciertos criterios previamente definidos para seleccionar los programas y proyectos. De acuerdo a estos, se presentan más adelante, tres “Fichas de evaluación” que son de gran utilidad para evaluar el programa de acuerdo a la fase de desarrollo en la cual se encuentre: antes, durante y después de la ejecución; que además, se corresponden y complementan con la aplicación de la MML en cada uno de esos momentos.

Es importante señalar que, si bien la MML se utiliza para la evaluación del programa social en su conjunto, la ficha de evaluación nos permite obtener una puntuación que nos indica el rango que lo califica como aceptable o no para su aprobación, una ponderación de la ejecución y una medida del éxito o fracaso en la finalización.

Las preguntas que presentamos en cada ficha de evaluación se basan, por tanto, en los criterios técnicos y metodológicos exigidos por los organismos que otorgan financiamiento a los programas y proyectos (Fondo Intergubernamental de Descentralización y la Ley de Asignaciones Económicas Especiales) cuyos criterios claves de elegibilidad son: factibilidad, pertinencia, oportunidad, excelencia, coparticipación y sustentabilidad (Ministerio de Ciencia y Tecnología, 2000). Así como también en los supuestos teóricos de evaluación de programas y en el Enfoque del Marco Lógico planteado por la Agencia Noruega para la Cooperación y Desarrollo (NORAD, 1997).

6.1. Ficha de Evaluación Ex-ante del Programa

Se propone el modelo marcado como el Cuadro 3 para la Ficha de Evaluación Ex-ante y el procedimiento para su utilización es el siguiente: Para cada aspecto que se evalúa, se debe recolectar y analizar información específica relacionada con las preguntas que se proponen en la ficha de evaluación. La ficha contiene 20 preguntas y varias columnas para asignarles valores utilizando el código de calificación siguiente:

1 = Muy bajo

2 = Bajo

3 = Intermedio

4 = Alto

5 = Muy alto

Cuadro 3 Ficha de Evaluación Ex-ante del Programa

Para establecer la calificación del programa que se evalúa, es necesario obtener el promedio de todos los valores asignados a las preguntas de la ficha de evaluación. Para determinar los rangos, en primer lugar, se utiliza la máxima calificación que pueden obtener todas las preguntas en cada uno de los niveles del código de calificación. Así tenemos que la calificación máxima es como sigue:

1 = Muy bajo x 21 = 21

2 = Bajo x 21 = 42

3 = Intermedio x 21 = 63

4 = Alto x 21 = 84

5 = Muy alto x 21 = 105

En segundo lugar, para la construcción de los intervalos que nos dan los rangos de aceptación se toman los valores como sigue: para la calificación de “No procede” se toma la puntuación mínima del nivel “Muy bajo” (21) y la puntuación anterior a la mínima del nivel “Intermedio” (62); para la calificación de “Favorable con cambios” se toma la puntuación mínima (63) del nivel “Intermedio” y puntuación anterior a la mínima del nivel “Alto” (83); por último para la calificación de “Favorable” se toma la puntuación mínima del nivel “Alto” (84) y la máxima del nivel “Muy alto” (105). De acuerdo a lo anterior, los rangos quedarían como sigue:

RANGOS:

Entre 21 y 62 No procede

Entre 63 y 83 Favorable con cambios

Entre 84 y 105 Favorable

Después de haber recogido y analizado la información empírica y documental sobre el programa, el evaluador puede enjuiciar el programa asignándole la puntuación pertinente a cada una de las preguntas, promediar y ubicar el programa en alguno de estos rangos de una forma mucho más rápida, práctica y útil. Cómo presentar el informe de evaluación se explica más adelante.

6.2. Ficha de Evaluación de Ejecución del Programa

Para la evaluación de la ejecución del programa, se propone el modelo marcado como el Cuadro 4. El procedimiento para su utilización es el mismo que se explicó para la ficha de la evaluación ex-ante, es decir, para cada aspecto que se evalúa corresponde un indicador que permite -en este caso- ponderar el progreso de una actividad en relación con las metas planificadas, además de detectar fallas en los diferentes componentes del programa. Es decir, se debe recolectar, analizar y valorar cada información específica relacionada con las preguntas que se proponen en la ficha de evaluación para establecer una ponderación del cumplimiento de los resultados parciales del programa, a la vez que permiten detectar fallas en los diferentes aspectos que se evalúan. La ficha contiene 18 preguntas y varias columnas para asignarles valores utilizando el mismo código de calificación utilizado anteriormente: 1 = Muy bajo; 2 = Bajo; 3 = Intermedio; 4 = Alto y 5 = Muy alto.

Como ya se ha explicado, para establecer la calificación del programa que se evalúa, es necesario obtener el promedio de todos los valores asignados a las preguntas de la ficha de evaluación. El procedimiento para determinar los rangos y la construcción de los intervalos, es el mismo utilizado para la ficha anterior. De acuerdo con el número de preguntas de la presente ficha, los rangos quedan como sigue:

RANGOS:

Entre 18 y 53 Bajo nivel de cumplimiento

Entre 54 y 71 Mediano nivel de cumplimiento

Entre 72 y 90 Alto nivel de cumplimiento

Después de haber recogido y analizado la información empírica y documental sobre el programa, el evaluador puede enjuiciar el programa asignándole la puntuación pertinente a cada una de las preguntas, promediar y ubicar el programa en alguno de estos rangos de una forma rápida, práctica y útil. Además, como ya se dijo, se visualiza rápidamente dónde están las fallas de la ejecución del programa, permitiéndole a quién interese, profundizar en la causa del problema que se pueda estar presentando.

Cuadro 4 Ficha de Evaluación de Ejecución del Programa

6.3. Ficha de Evaluación Ex-post del Programa

Para la evaluación ex-post se propone el modelo de Ficha de Evaluación marcado como Cuadro 5. El procedimiento para utilizarla es el mismo que se ha venido mostrando hasta ahora para las dos fichas anteriores. Como ya se señaló, para cada aspecto que se evalúa, se debe recolectar y analizar información específica relacionada con las preguntas que se proponen en la ficha de evaluación, lo que permite al evaluador realizar análisis de efectividad, eficacia y eficiencia de los resultados del programa y contestar con mayor precisión las preguntas referidas a esos puntos. La ficha contiene igual cantidad de preguntas que la ficha de evaluación, es decir, 18 preguntas y varias columnas para asignarles valores utilizando el mismo código de calificación planteado anteriormente: 1 = Muy bajo; 2 = Bajo; 3 = Intermedio; 4 = Alto y 5 = Muy alto.

Igual que en los casos anteriores, para establecer la calificación del programa, se obtiene el promedio de todos los valores asignados a las preguntas de la ficha de evaluación. Los rangos y la construcción de los intervalos se determinan de la misma manera. En función del número de preguntas de la presente ficha, los rangos quedan como sigue:

RANGOS:

Entre 18 y 53 Bajo nivel de rendimiento

Entre 54 y 71 Mediano nivel de rendimiento

Entre 72 y 90 Alto nivel de rendimiento

La recolección y análisis de la información sobre el programa, permite determinar al evaluador el rendimiento real del programa a través del logro de sus resultados, así como realizar los análisis de efectividad, eficacia y eficiencia, que le van a permitir enjuiciar el programa asignándole una puntuación pertinente a cada una de las preguntas, promediar y ubicar el programa en alguno de estos rangos para una rápida y fácil interpretación que se fundamentará en el informe de evaluación.

Cuadro 5 Ficha de Evaluación Ex-post del Programa

7. Estrategia metodológica y procedimientos técnicos para la recolección de la información

Atendiendo a las consideraciones realizadas por Aguilar y Ander-Egg (1994) en relación con los métodos y procedimientos que se deben utilizar para la búsqueda de información para la evaluación de un programa social, la selección de los mismos dependerá del tipo de investigación evaluativa que se va a realizar, ya que, la naturaleza de lo social amerita formas para abordarla que implican la utilización de técnicas cuantitativas y cualitativas, por lo que la posición actual más difundida es la utilización de ambos procedimientos. Ello va a depender, fundamentalmente, de cuál sea el objetivo que guía la evaluación. Por ejemplo, si es una evaluación de procesos, la mayor parte de las técnicas que se utilizarán serán cualitativas y en el caso de una evaluación de resultados, el mayor peso recaerá en las técnicas cuantitativas.

 A tal efecto, señalan Aguilar y Ander-Egg (1994), que del método cualitativo se pueden utilizar las técnicas y procedimientos siguientes: Entrevistas en profundidad (focalizadas y clínicas), Observación directa, Observación participante, Análisis de contenido, Recurso a la documentación, Informantes clave, Estudio de casos, Historia de vida, Reuniones de grupo, Foro comunitario, Técnicas grupales de investigación, tales como: grupos nominales, grupos de creación participativa, grupo de discusión, etcétera. En cuanto a los métodos cuantitativos se utilizan procedimientos que permiten medidas estandarizadas y se valen de procedimientos como: Entrevistas estructuradas, Encuestas, Análisis estadístico, Diseños experimentales y cuasi-experimentales, Escalas de medición de actitudes y opiniones, Tests, entre otros.

Por otro lado, la información necesaria para la evaluación de un programa no siempre se encuentra organizada y sistematizada en un solo documento y lugar. En el caso de la evaluación del diseño de un programa, los datos y los elementos metodológicos del mismo, se pueden encontrar en varios documentos que “no necesariamente tienen orden y sistematización, por esa razón, es necesario identificar y recolectar toda la información documental del programa: documentos que contengan la formulación, informes de diagnósticos previos, estadísticas referidas a la población objetivo y a la demanda potencial, etc.” (SIEMPRO, 1999:76). Puede recurrirse incluso, a fuentes de información primaria (gerentes, técnicos o beneficiarios del programa), en caso de ser necesario.

Otro aspecto importante es la identificación de las fuentes de información, ya que el equipo de evaluación debe determinar: quién, cómo y dónde se conseguirá la información para cada indicador o pregunta realizada. Las fuentes de información se pueden clasificar como sigue: a) primarias: del grupo beneficiario o de los beneficiarios (indirectos), informantes clave, etc.; b) secundarias: otros organismos (internacionales, nacionales, regionales, municipales, ONGs); y c) documentales: archivos del mismo programa, informes de gestión, estadísticas publicadas, bases actuariales, etc.

Ahora bien, en el caso de que sea necesario recolectar información de fuentes primarias, lo primero es identificar el universo de estudio, si es el total de una población o si es necesario extraer una muestra a través de los procedimientos estadísticos pertinentes.

En todo caso, habría que diseñar los instrumentos o técnicas para recabar la información, que como ya se mencionó, pueden ser de la investigación cualitativa y/o cuantitativa. Los instrumentos o técnicas deben ser adecuados al tipo de evaluación que se vaya a realizar en función de la fase de desarrollo del programa.

8. Elaboración y presentación del Informe de Evaluación

Después de efectuado el trabajo de campo, recabados los datos e información necesaria, es importante y preciso sistematizar los resultados su discusión y análisis por parte del equipo de evaluación, para presentarlos junto a las conclusiones y recomendaciones pertinentes en el informe de evaluación, a quienes hayan encargado el estudio.

El informe de evaluación además de contener los resultados en cuanto a la puntuación, debe dar una explicación clara y precisa que la justifique, y la forma de exposición de ello debe hacerse en el mismo orden como aparece en la Ficha de Evaluación, ya que ésta sirve como guía. Una vez obtenida la información, es preciso ordenar, clasificar y agrupar los resultados, es decir, procesar y sistematizarlos de acuerdo al orden que tienen las preguntas de la ficha de evaluación, lo que puede dar lugar a los subtítulos del informe y obtener así, conclusiones coherentes.

Es importante tomar en cuenta que la mayoría de las veces en las evaluaciones, lo que se intenta es encontrar explicaciones del éxito potencial de un programa, o del éxito o fracaso de su ejecución o de alguna de sus partes, o en el caso de que haya finalizado, comprobar las modificaciones que se han dado en una situación inicial como efecto de la ejecución del programa. Así, el análisis y la interpretación que se realice de los datos, debe estar en concordancia con los objetivos que se persigan en el estudio y con las preguntas que se formulan de acuerdo a la ficha de evaluación.

Después de discutir las conclusiones preliminares y recogidas las observaciones del equipo evaluador, se debe proceder entonces, a la redacción del informe final y las conclusiones para comunicar los resultados y las recomendaciones. Presentamos las sugerencias prácticas siguientes:

• Utilizar un lenguaje claro, sencillo y concreto, ya que el informe debe tener un lenguaje preciso y comprensible centrándose en los resultados y recomendaciones, para eso la ficha de evaluación sirve también como guía para la redacción. Asimismo, hay que presentar observaciones concretas y recomendaciones útiles para ayudar a la toma de decisiones.

• Las propuestas deben ser prácticas, factibles y útiles. Prácticas, para que puedan ser fácilmente utilizadas por los destinatarios de la evaluación. Factibles, por que deben ser realizables, posibles en el marco de los límites establecidos por el programa. Y útiles, es decir, que se aprovechen sus resultados para tomar decisiones -si el programa está en ejecución- o para futuras intervenciones.

• Como sugerencia para presentar el informe evaluativo planteamos un esquema(*) que puede adaptarse a cada caso concreto:

I.  Contenido

II.  Presentación del programa a evaluar (Situación inicial, objetivos, beneficiarios, equipo ejecutor, administración y otros aspectos que se consideren importantes).

III.  Identificación de la evaluación (Tipo, objetivos de la evaluación, método a utilizar, instrumentos, datos etc.).

IV.  Resultados:
- De la aplicación de la MML al programa.
- De la aplicación de la ficha de evaluación.

V. Discusión y explicación de los resultados: expuestos en el orden en el que aparecen las preguntas en la ficha de evaluación.

VI. Conclusiones, recomendaciones (**) y opciones.

9. Definición de Términos Básicos

• Es importante señalar que existen otros términos que aparecen en los recuadros y en general en el trabajo, que es necesario dejar claro sobre cuál es su sentido en el contexto de la MML y son los siguientes:

• Actividad: Es el medio de intervención sobre la realidad, mediante la realización secuencial e integrada de diversas acciones necesarias para alcanzar las metas y objetivos específicos de un programa o proyecto.

• Beneficiarios: Cuando en el programa o proyecto se establecen los beneficiarios se está haciendo referencia tanto a los beneficiarios directos como indirectos. Pero cuando se coloca grupo beneficiario solamente se refiere al grupo específico (directo) para beneficio del cual se emprende el programa y que se encuentra estrechamente relacionado con el impacto y la pertinencia.

• Efectividad: para el análisis de la efectividad se considera la relación existente entre las metas de resultado realmente alcanzadas y las metas de resultados planificadas.

• Efectividad social: para el análisis de la efectividad social se considera la relación existente entre los beneficiarios atendidos y los beneficiarios atendibles por el programa.

• Eficacia: Una medida del grado en que un programa o proyecto tiene éxito en el logro de sus objetivos. Para su análisis se considera la relación existente entre las metas de resultado efectivamente alcanzadas y el tiempo previsto, respecto de las metas previstas de resultado y el tiempo real.

• Eficiencia: Una medida de la “productividad” del proceso de ejecución, es decir, en qué medida se convierten los insumos en resultados. Para su análisis se miden los resultados alcanzados en relación con los costos y tiempos planificados.

• Impacto: Los cambios o efectos positivos y negativos producidos directa o indirectamente en una situación inicial, como resultado de la ejecución de un programa o proyecto.

• Meta: Son los logros específicos de un programa o proyecto. Las metas operacionalizan los objetivos ya que tienen que establecer cuánto, cuándo y dónde se realizarán éstos.

• Monitoreo: Es un método de control del progreso en la realización y costo de un programa o proyecto, basado en la supervisión continua o periódica de su ejecución física, para asegurarse que los insumos, actividades, resultados y factores externos sigan desarrollándose de acuerdo a lo planificado.

• Programa: Se refiere a un conjunto de proyectos o servicios coordinados y relacionados entre sí, dirigidos hacia el logro de objetivos específicos de similar naturaleza. Es importante aclarar, que la utilización de la palabra “programa” en esta investigación engloba todos los tipos de intervenciones para el desarrollo, lo que incluye programas, proyectos, estudios, etc.

• Proyecto: Se entiende como un conjunto de actividades concretas, interrelacionadas y coordinadas entre sí, con el fin de lograr ciertos objetivos específicos dentro de un presupuesto dado y dentro de cierto período de tiempo.

• Tarea: Acción que operacionaliza una actividad con un grado máximo de concreción y especificidad que debe hacerse en tiempo limitado. Un conjunto de tareas configuran una actividad.

Consideraciones finales

Concretamente, se propone una forma de organizar el proceso evaluador en la que cada componente del programa evaluado a través de la MML, sirve como información para contestar cada una de las preguntas de la Ficha de Evaluación, que a su vez son las guías para la elaboración del Informe de Evaluación.

Obviamente, no estamos proponiendo un nuevo modelo de evaluación, sino una nueva forma de llevar a cabo las evaluaciones. La propuesta, sin embargo, nos parece importante por dos razones: en primer lugar, porque la coherencia interna que tiene el procedimiento que se utiliza en la MML se integra a todo el proceso, facilitando su comprensión, análisis y exposición; y en segundo lugar, porque incorpora la preocupación por la simplificación del proceso evaluador.

Se considera que lo que hace relevante la propuesta es que el uso de la MML aumenta la posibilidad de mejorar el proceso de evaluación en varios aspectos fundamentales, promoviendo una mayor disciplina analítica, ya que permite controlar todos los aspectos esenciales necesarios para una decisión ponderada. Así como para presentar un cuadro coherente e integrado que permite una visión completa del programa durante su realización, ya que la MML se actualiza constantemente mediante la evaluación. El conocimiento claro, explícito y detallado, tanto del diseño como de la ejecución de los programas, genera que cada nivel decisorio juzgue los resultados del proceso evaluativo señalando los cambios de manera oportuna, lo que significa un aumento de la transparencia en las decisiones.

Al final de cada proceso evaluativo, se puede comparar de forma rápida y visualmente comprensible a través de la MML, lo programado con los resultados obtenidos y determinar, las diferencias entre lo previsto y lo ejecutado en cada nivel. De la misma manera, la Ficha de Evaluación nos permite manejar de forma rápida y coherente las respuestas que son, en la mayoría de los casos, una ponderación de los indicadores de resultados de los programas.

En este caso se resalta la importancia de la sistematización, ya que implica la retroalimentación de la gestión de programas sociales y la orientación para otros programas y políticas. Evidentemente, no sustituye a un informe de evaluación detallado, sino que lo complementa facilitando su comprensión, interpretación y exposición.

Aún cuando actualmente se está aplicando la MML como parte del diseño del programa, así como también existen fichas de evaluación que permiten medir aspectos parciales del programa, no forman parte de un proceso integrado como el que presentamos. La idea en todo caso, es incitar a la reflexión sobre la propuesta e impulsar la discusión teórica sobre sus posibles bondades hasta su validación con la aplicación en casos de programas sociales concretos.

Bibliografía

1. AGUILAR, María y ANDER-EGG, E. Evaluación de servicios y programas sociales. Buenos Aires, Argentina. Editorial Lumen, 1994.        [ Links ]

2. ANDER-EGG, E. y AGUILAR, M. Cómo elaborar un proyecto. Guía para diseñar proyectos sociales y culturales. Buenos Aires, Argentina. Editorial LUMEN/HVMANITAS (15ª ed), 2000.        [ Links ]

3. MINISTERIO DE CIENCIA Y TECNOLOGÍA. Guía Metodológica para la formulación de Proyectos con Recursos del Fondo Intergubernamental de Descentralización (FIDES) y la Ley de Asignaciones Económicas Especiales (LAEE) para el Área Ciencia Tecnología e Innovación. Caracas, Venezuela. Viceministerio de Planificación y Desarrollo, 2000.        [ Links ]

4. AGENCIA NORUEGA PARA LA COOPERACIÓN Y DESARROLLO (NORAD). El Enfoque del marco lógico. Manual para la planificación de proyectos orientados mediante objetivos. Madrid, España. Instituto Universitario de Desarrollo y Cooperación, 1997.        [ Links ]

5. SOFIA, PASQUALE. El Cuadro Lógico Master. Seminario: La M & E (Monitoreo y Evaluación) de Programas Sociales. (Material de apoyo) Maracaibo, Venezuela, 2-4 de junio de 1999.        [ Links ]

6. SIEMPRO. Gestión Integral de Programas Sociales Orientada a Resultados. Manual Metodológico para la Planificación y Evaluación de Programas Sociales. Brasil. UNESCO, Fondo de Cultura Económica, 1999.        [ Links ]

Notas:

(*) El esquema se basa en el presentado por Aguilar y Ander-Egg (1994) y adaptado a la propuesta que se realiza.

(**) Si es un informe de evaluación del diseño de un programa, la modificación del programa pudiera  presentarse enmarcada en el formato de la MML.