Antonio Fuguet Smith

Universidad Pedagógica Experimental Libertador. Instituto Pedagógico de Caracas. Caracas, Venezuela. afuguet@cantv.net

RESUMEN

El artículo analiza el fenómeno de la reacción en la investigación social y educacional. Se comparan dos enfoques que difieren en la conveniencia o no de este efecto en la investigación, representados por autores cuyas bases son el modelo cientificista o el socionatural. Se plantea que la idea de investigación no intrusiva, concebida para mejorar estudios experimentales, dejó amplio campo para el desarrollo de la investigación cualitativa. En consecuencia, se analizan los fundamentos de la evaluación respondente y se discurre sobre su impacto para la investigación educacional, a fin de teorizar sobre la práctica pedagógica.

Palabras claves: Investigación; reacción; medidas no intrusivas; evaluación respondente

ABSTRACT

This paper analyzes the reactivity in social and educational research. Two approaches are compared that differ in whether or not the convenience of this effect on research, represented by authors whose bases are the scientist or the socio-natural model. The argument is that non-intrusive research proposal, designed to improve experimental studies, left scope for the development of qualitative research. Accordingly, it is analyzed some fundamentals of the responsive evaluation and its impact on educational research, in order to theorize about the pedagogical practice.

INTRODUCCION

Si existe una diferencia entre los principios teóricos y metodológicos de Eugene Webb y Donald Campbell Vs. Robert Stake y Egon Guba sobre una concepción de la investigación y la evaluación en ciencias sociales y educación, no es por pura casualidad. Tal diferencia deviene de la plataforma cognitiva sobre esta temática que llama la atención a investigadores socioeducacionales. Los primeros son profesionales con experticia en métodos experimentales, mientras que los segundos, provienen de la investigación socioeducativa y experiencias focalizadas en ambientes naturales. Si bien hacen críticas a los métodos tradicionales, mantienen características propias de la investigación como ideas, lenguaje y procesos propios del cientificismo metodológico. Pero, la crítica de ambos grupos de metodólogos radica en la aplicación ciega de la metodología fundamentada en el positivismo radical. Ante esto, una opción sería el manejo de las reacciones con las propuestas de una metodología no reactiva y de la evaluación respondente.

Este artículo plantea como tesis que el trabajo realizado por Webb et al (1966): Nonreactive Measures in the Social Sciences, constituye una prenda de la literatura sobre metodología no reactiva o no intrusiva. Esta metodológica aporta elementos que posteriormente consolidan el auge de la investigación cualitativa y el uso de estrategias mixtas para la investigación. Particular impacto de estas ideas se reflejan en lo que es hoy la estructura conceptual de la 4ta. Generación de Evaluación o Evaluación Negociada. Aunque paradójicamente se defiende la reacción del investigado como la mejor evidencia de comportamiento observable y medible. Así que, el propósito de este artículo es analizar información sobre las medidas no intrusivas, su caracterización y desarrollo a fin de ilustrar idearios que ayuden al mejoramiento de los trabajos de investigación y evaluación.

MÉTODO

Estudio de carácter documental, donde se emplearon los siguientes criterios para la selección de las obras: a) el libro de Webb et al (1966) sobre medidas no reactivas, referencia obligada en la temática y que aborda aspectos como: huellas físicas, múltiples operaciones, hipótesis rival plausible, observación y archivo; b) obras relacionadas con la temática que amplían y ejemplifican los conceptos y, c) estudios que permiten sustentar los argumentos sobre la necesidad de la complejidad teorética, el uso de métodos integrados y el manejo de operaciones alternas en la investigación.

Al incorporar las ideas de otros autores y ejemplos seleccionados, se puede profundizar sobre el análisis de contenido, el metanálisis, la investigación naturalista y 4ta. Generación de Evaluación o Respondente, al mismo tiempo que demostrar que la investigación no intrusiva ha impactado nociones que sirven de fundamento a la investigación cualitativa.

RESULTADOS

Problematización

Las medidas no intrusivas, según los autores referidos, se utilizan para referirse a metodologías que eviten poner al sujeto a la defensiva con los estímulos para que el comportamiento pueda ser observado o medido vía intervención e instrumentación tradicional. Según ellos, la investigación y la evaluación que normalmente se realiza, a pesar del deseo de proceder con rigor metodológico, genera sesgos y errores. En consecuencia, se afectan las interpretaciones y las conclusiones, debido a las reacciones ante preguntas directas y cerradas. Es necesario recordar que evitar sesgos y errores es una máxima investigativa de raíz positivista. Una de las características distintivas de la medición es observar la conducta manifiesta con muestras de comportamiento que refleja la actuación del sujeto en situación de estudio (Fuguet, 1986). Ello lleva a situaciones de incomodidad, ya que los sujetos saben que están siendo observados, generándose las reacciones y afectándose su actuación ante la situación de medida (Kazdin, 1979). No obstante, no se desconoce el hecho de que las personas reaccionan, pero lo importante es que no sea por una actitud defensiva ante la medición.

Existen otros fenómenos para ilustrar problemas provenientes de experimentos, entre ellos, el efecto de la expectativa del experimentador, que describe cómo ellos influyen en los participantes experimentales, afectándose la validez interna. Para controlar este problema se usa el Experimento Doble Ciego, que consiste en asignar diferentes facilitadores al tratamiento y observadores en los grupos experimentales y controles. Otro, es conocido como Efecto Pigmaleón o Rosenthal y se refiere al fenómeno de generar expectativas entre los participantes, normalmente, niños, estudiantes y trabajadores del grupo experimental y favorece una diferencia significativa al ser comparado con el control afectándose, por supuesto, la validez externa. El problema no es sólo de estudios experimentales. En los estudios históricos y descriptivos-evaluativos, existen situaciones que llevan a dudar de los resultados y tienen que ver con: a) las personas mismas: miedo, pena, cansancio, entre otros aspectos; b) los investigadores: que ponen más atención en lo que desean verificar y, c) técnicos: entrevistas e instrumentos largos, cuyos insumos se derivan de teorías y no de la cotidianidad o del ambiente en donde interactúan los investigados.

Ante esta problemática, los autores referidos, introducen al acervo de este tema, la idea de la investigación no intrusiva, con conceptos como el de Huellas Físicas, Múltiples Operaciones e Hipótesis Rival Plausible y recomendaciones sobre el uso de Observaciones, Manejo de Archivo y Análisis de Contenido, como procesos metodológicos emergentes, además de presentar un conjunto de ideas, características y ejemplos muy didácticos y representativos, de cómo llevar adelante este tipo de investigación. Presentación que se complementa con la argumentación de varias formas de análisis de contenido y con la 4ta. Generación de Evaluación, como se planteó anteriormente.

Huellas Físicas

Las investigaciones dedican un considerable tiempo para encontrar evidencias físicas, a fin de sustentar sus interpretaciones. Estas evidencias pueden ser despistadas, siguiendo una metáfora cientificista o naturalista, por observaciones o medidas de erosión y acreción. Las primeras focalizan en las evidencias que no están en el escenario investigado, es decir están sujetas a un proceso de erosión. Ejemplo de ello, en Ciencias Forenses, sería que en un escenario de crimen, por lo general, el arma no está presente. Las segundas, son evidencias o huellas encontradas físicamente en el escenario investigado, es decir están sujetas a un proceso de acreción. En este caso las evidencias encontradas en ese escenario serian uñas, cabello, piel, fibras, entre otras. Lo que estamos seguros es que los motivos no están presentes, pero no significa que pueden ser estimados, o sea, medidos. Para encontrarlos hay que seguir identificaciones subyacentes como sería la determinación de ADN.

Algunas similitudes, si se pasea por una montaña y se observan sectores erosionados, es posible aseverar que algo falta. Pero no es posible afirmar que no existe. Lo que estuvo ahí estará en otro lugar, por ejemplo, en el valle por donde pasa un río. Así que la interacción montaña/valle/río es necesaria para investigar el fenómeno y llegar a mejores conclusiones. Se debe entonces ampliar el escenario y buscar evidencias alrededor. Esto equivale a usar varias operaciones o múltiples y observar lo subyacente.

En educación es posible afirmar, por ejemplo, que observar un aula después de clases -tanto por lo que falte como por lo que queda- constituye una oportunidad de trabajar con ese escenario para derivar conclusiones de cómo fue esa experiencia educativa y su posible impacto en el aprendizaje. En este caso el investigador no será visto. Situaciones como estas exigen introducir operaciones múltiples, especialmente aquellas que no necesariamente se fundamenten en procesos cuantitativos. Para muchos investigadores, la papelera de un aula contiene relevante información sobre cómo los estudiantes se equivocan y perfeccionan un escrito. Los dibujos dejados en las paredes del aula, los escritos en la pizarra y otras huellas, constituyen fuentes de información valiosa para los investigadores educacionales.

Operaciones múltiples

En la investigación tradicional se estructuran variables con la utilización de una operación, como: aprobado/reprobado (A/R). Esta forma de operacionalizar está vinculada al aseguramiento de la precisión en la especificación de las opciones expresas en cada variable. Los referidos autores manifiestan que ese estilo cae en una rutina que luego no funciona. La operación, supuestamente, precisa, no ilustra o representa la complejidad teorética de lo observado. Así que existe la necesidad de utilizar múltiples operaciones lo que equivale a administrar múltiples medidas. Estas medidas u observaciones, hipotéticamente, relacionan evidencias, huellas, eventos e incidentes con teorías y componentes significativos de interpretación de la realidad.

Un ejemplo de ello puede ser cuando se,realiza un experimento a fin de evaluar dos técnicas de enseñanza de la lectura y se aplica un postest, calificando a los participantes con la dicotomía de A/R. Se supone que esta estructura no permite arrojar como resultado una diferencia significativa entre dos grupos con tratamiento diferente de la lectura, debido a que se establece dos polos de comparación, haciéndose insensible la diferencia. Al utilizarse una tricotomía de rendimiento alto/mediano/bajo (A/M/B), se podría obtener alguna diferencia significativa a favor de uno de los métodos y en al menos uno de las tres categorías grupales de dicho rendimiento. Se podría esperar diferencias entre el grupo A Vs. el C, por ejemplo. Este tipo de discurso es referido a la significación estadística.

Ahora bien, al pasar al plano ya no de la significación estadística, sino psico-socio-educativa, se observa que los grupos experimentales no pudieron demostrar habilidades, sino hasta un promedio máximo de 13,15/20 puntos. Estos resultados demuestran la racionalidad instrumental de la metodología utilizada ya que lo significativo podría estar en la obtención de más y mejor aprendizaje, demostrado con un puntaje mayor en el test. Aquí, la interpretación desde la visión de operaciones múltiples, llevaría a meditar sobre el diseño de investigación propiamente dicho, el instrumento de medición, complementar salidas con agendas de discusión y abordar el problema con más indicadores opcionales ante los ya previstos por el diseño y así, poder llegar a diferentes conclusiones.

Se puede referir otro ejemplo. Castillo y Ruedas (2007), presentan un estudio sobre estrategias metodológicas basadas en tecnología farmacéutica para promover la adquisición de nociones elementales sobre mezclas en el 6to. Grado. Operacionalizan un diseño de pre-post test sobre 20 puntos. Sin sorpresas, los resultados son prácticamente idénticos al ejemplo anterior en virtud de que los promedios generales dieron una diferencia puntual -no se aplicó estadística inferencial- de 12,28 Vs. 8,28 a favor del grupo experimental. Se insiste, aquí, en la necesidad de profundizar ya que el grupo experimental no resuelve el test por encima de ese promedio. Sin embargo, las autoras, como en forma consciente de los resultados, manifiestan que esta experiencia abre un camino para el uso de un recurso potencial para la enseñanza.

El arribar a conclusiones fundamentándose en efectos parciales, puede poner en duda los resultados, abriéndose, así, la posibilidad de reestructurar la data a fin de buscar otros resultados e interpretaciones de verdadera relevancia y significación, procedimiento éste apoyado fuertemente por paquetes estadísticos computacionales como el SPSS. Situaciones como estas llevan a los autores referidos de investigación no intrusiva a plantear un tercer concepto de la investigación.

Hipótesis Rival Plausible

El planteamiento es que el objetivo de las ciencias sociales es siempre obtener y desarrollar comparaciones interpretables. Corresponde a la metodología regular los hallazgos, bien para soportar las hipótesis iniciales o para dudar de ellas. La investigación no intrusiva siempre concebirá al método como herramienta para establecer hipótesis rivales y plausibles como alternas a las que inicialmente se plantean y a las explicaciones e interpretaciones disponibles en el estado teórico del problema. Los datos algunas veces dan resultados ambiguos, pero las hipótesis emergentes y tentativas constituyen una oportunidad para convertir lo ambiguo en tentador, en situación creativa. Lo que puede ser ambiguo es visto como problema en la interpretación tradicional, pero es visto como posibilidad en un emergente enfoque, el cualitativo. Esta iniciativa tentadora ampliaría el escenario para la interpretación, reordenando la data con racionalidad y no con intención de manipulación.

Indudablemente que los hallazgos de una investigación siempre son inconclusos, aún tendiéndose el mejor diseño de investigación, bien experimental, descriptiva o de otra índole. Ante esto se hace necesario tener presente algunos factores como el de los instrumentos que, según las condiciones de su administración, pueden llevar a resultados diferentes. También, muchas investigaciones, especialmente dentro del enfoque cuantitativo, se diseñan y conducen a la luz de la teoría o conocimiento vigente, que son insumos que están en constante revisión y cambio. La idea de la Hipótesis Rival Plausible es que el científico debe ser cuidadoso en sus afirmaciones y estar consciente de que sus resultados pueden ser erróneos. Así, el informe de una investigación es de calidad cuando en el mismo se ofrecen las posibles alternativas de interpretación de sus resultados. Se hace obligante esa apertura cuando se conoce la existencia de teorías rivales. Las mejores hipótesis rivales plausibles siempre estarán avaladas por teorías rivales.

En el desarrollo de los diseños experimentales aplicados en ciencias sociales y educación se ha hecho un esfuerzo, apoyándose en la estadística, para evaluar las comparaciones a través de las interacciones de un conjunto de variables. En realidad, el efecto de un tratamiento está condicionado por la interacción de variables relativas y propias del fenómeno de estudio, a variables técnicas de diseño y a las probabilidades de ocurrencia de problemas psico/socio/antropológicas. En este aspecto la obra de Campbell y Stanley (1963), describe estas variables, que tipifican como amenazas a la validez interna y externa. El ejemplo sobre el mejor método para aprender lectura, puede estar condicionado por el sexo, la edad, el grupo, el horario, las habilidades, el conocimiento o entrenamiento previo, entre otros importantes factores. Los diseños experimentales se presentan como estrategias para controlar el efecto de ellos por vía de que los grupos de comparación queden estructurados con posibilidad de cancelar esos efectos o que afecten por igual. Se pretende, entonces asegurar la validez interna, o conclusión sobre la relación de variables o explicación teórica, y la externa, o conclusión del poder de generalización de los hallazgos.

define este rasgo como una característica muy específica del sujeto experimental, que se constituye en factor o variable ignorada en el diseño, pero con impacto inesperado en los resultados e implicaciones. Interactúa con el tratamiento experimental (latent trait treatment interaction) y con la instrumentación. Al igual que con otros factores de carácter general, los procedimientos estadísticos pueden aislar sus efectos, pero se hace necesario la utilización de métodos más complejos o multivariados (Hamebleton y Cook, 1977).

Pero los verdaderos experimentos son de muy poca factibilidad de aplicación considerándose la complejidad de los escenarios socioescolares. Se recurre entonces al concepto de quasiexperimento, que permite combinar y mejorar racionalmente los diseños y lograr la posibilidad de incorporar múltiples operaciones que realmente se adapten y representen el escenario de acción. Por ejemplo, si volvemos al tema de estimar la efectividad de las clases después de las respectivas sesiones de trabajo, los procesos a combinar serían discusiones de grupos focales y entrevista a los docentes. La complementariedad asegura mayor información y mejor estrategia de validación vía triangulación u otro mecanismo de control. Pero, estos procesos no serían los únicos, puesto que lo deseable sería, como se planteó antes, la observación del salón durante clases sin que genere reacciones o, en todo caso, después de clases.

Los autores referidos, Webb et al., introducen dos términos sobre la observación: simple y artificial o directa e indirecta. La observación indirecta sería la mejor forma de investigar, pero, la observación participante, bien dirigida, también es una buena opción, con cierto nivel de control de las reacciones. Es necesario establecer confianza y procesar datos en forma estratégica. El establecimiento de objetivos comunes y de agendas ayudaría a que los observados desplieguen ideas y conductas, sin posiciones autodefensivas. La observación simple o directa puede presentar riesgos debido a situaciones relacionadas con: el observador visible, el uso y abuso de mediciones, el significado que se otorga a los signos físicos exteriores y a los movimientos expresivos, el ambiente, la duración del proceso de medida, entre otros aspectos. Esto no significa que se elimine este tipo de observación, sino que se administre en forma inteligente y bien concebida.

La observación indirecta apoyada en instrumentos artificiales, para diferenciarlos del cuestionario o test, pretende disminuir los errores productos de la acción de los observadores o evaluadores. Se acepta la intervención de observadores pasivos, simulaciones, voluntariado y otras estrategias que permitan la medición, sin llegar a invadir el espacio vital propio del investigado y caer en problemas éticos de la investigación. Se necesita una instancia creativa. Como instrumentos o recursos artificiales, sobresalen los sistemas de videos, grabaciones y cámaras de observación, entre otros.

Uno de los ejemplos más resaltantes es la investigación en museos. Muchos museos no cuenta hoy con recursos para sistemas de monitoreo. Sistema que permitiría además de vigilar, producir información de evaluación institucional museística. Creativamente, se pueden idear formas para saber cuáles exposiciones son las más visitadas, lo que equivale, socialmente, a estimar el interés, gusto y preferencia de la audiencia. Se pueden incorporar encuestadores a la salida del museo pero, además de los gastos de personal, el problema radica en el largo recorrido y el olvido de lo visitado por el encuestado. Ante estos obstáculos de medición, se diseña un sistema con pisos de corcho (recurso artificial) que revisado periódicamente permite medir el desgaste (medida de erosión). Los pisos de mayor desgaste están, en consecuencia, en las exposiciones de mayor audiencia, por lo tanto de mayor interés.

Este ejemplo ilustra una característica de la medida artificial, es unipropósito. En el ejemplo del museo se determina cuáles exposiciones son las más visitadas, pero no deja datos sobre quiénes visitan. Para ello hay necesidad de manejar múltiples operaciones o estrategias, como: pequeños estudios por encuestas directas y periódicas y rotar pocos observadores por las exposiciones para recabar datos que soporten hipótesis plausibles de factores correlativos como edad, sexo, grupo (familiar, escolar), motivos (toma de notas, fotografías), entre otros aspectos que permiten ampliar la comprensión del fenómeno en estudio.

Manejo de archivos

Los autores definen este proceso como vía para sacar provecho a las informaciones que periódicamente producen las instituciones y que son útiles para la investigación psico-socio-antropológica y en educación. Dada la relevancia de esa información se generan los estudios de evaluación institucional, la que no sólo debe ser realizada con encuestas y observaciones, sino con una verdadera inteligencia estratégica. Lo estratégico estaría, por ejemplo, en pensar en el tamaño y calibre de los instrumentos a fin de no agotar y cansar al respondente.

La información reunida en los archivos, es tan útil como la devenida de procesos con uso de instrumentación. Así, que las diferentes fuentes, formatos y documentos constituyen generadores de datos para la investigación y tienen la ventaja de no perturbar a los investigados. Se plantea que la información contenida en estas fuentes, puede ayudar a la construcción de estructuras conceptuales o categorías, con suficiente congruencias y consistencia interna, así como la de relacionarse con teorías ya explícitas. Esto se basa en el hecho de que las unidades de análisis en la investigación no son sólo sujetos o personas (estudiantes, docentes, administradores, enfermos, presos, drogadictos, prostitutas, homosexuales, políticos o gobernantes). Pueden ser unidades como actas, directivas, reglamentos, fotos, películas, programas, informes técnicos, información contable, registros, libros, leyes, registros, agendas, minutas, notas adjuntas y notas de conferencias y videoconferencias, entre otros soportes documentales y comunicacionales. Su selección puede argumentarse con criterios tan válidos como los especificados para los sujetos de análisis. Entre los criterios de uso se pueden enumerar los siguientes: experticia (legal, gubernamental, institucional, estadística), métodos requeridos (documental, análisis de contenido, metanálisis y metaevaluaciones) y, estado de los archivos (clasificación y tipología). Pero se necesita que el investigador sepa buscar y rebuscar según su instancia crítica, intuitiva, imaginativa y creativa, características de un perfil del investigador cualitativo, tal como lo entendemos hoy.

Análisis de contenido

Las reflexiones sobre el uso de múltiples operaciones y el arribo a las hipótesis rivales plausibles se relacionan con la fuerza de los argumentos manejados. En virtud de ello traemos a colación lo manejado por Booth et all. (2003), quienes manifiestan que en la creación intelectual, se hace necesario que se refleje la estructura de los argumentos según las características de las fuentes que lo soportan. Argumentos que se crean con instrumentos científicos, como: teorías, categorías y recursos de medición. Para el desarrollo de esta creación, tiene sentido la idea de Rosenthal (1963), cuando acuña el criterio de que el primer análisis influye en los subsecuentes análisis y organizaciones de data y, en consecuencia, de las estructuras que se deriven. Esta constituye una máxima de la investigación y del manejo de data cualitativa muy reflejada en los métodos de reducción de información.

Por lo general, se establece que las palabras, mensajes y símbolos de un texto se producen sin la influencia del investigador que analiza su contenido (Neuman y Robson, 2110), apreciación relativa ya que no incluye lo opuesto. Si bien hay que ajustarse al espíritu del autor, se acepta que hay interacción entre el investigador y el creador del texto, lo que permite revelar significados en una fuente de comunicación. En definitiva, para toda lectura existe una relectura por parte del lector. Aunque se pareciera sobrestimar el rol del lector, se destaca el auge de una teoría sobre la recepción, que acepta la relación sujeto/objeto en forma dinámica. La estética de la recepción concibe la lectura como un hecho colectivo histórico. Hans (1992), dice que la relación lector/ autor por procesos de negociación y oposición, implica que el texto es interpretado por el lector según los significados desde la perspectiva del bagaje cultural individual y experiencias vividas. Hay que recordar que algunos aceptan ciertas interpretaciones, que son rechazadas por otros. Así que la intención del autor puede variar atendiendo a la interpretación del lector. Además, el análisis de contenido puede hacerse con textos venidos de presentaciones orales, como actas de reuniones, exposiciones en foros y conferencias, programas audiovisuales y teleconferencias. En este caso, lo más probable es que el investigador u otra persona, sintetiza una minuta que será analizada en su contenido. El redactor de la minuta interactúa con el investigado, así como la interacción entre el entrevistado y el entrevistador.

Las construcciones se operacionalizan con un sistema de codificación, atendiendo a un conjunto de instrucciones o reglas relativas a cómo observar y registrar sistemáticamente el contenido del texto. Estas reglas pueden derivarse en el mismo momento de análisis de contenido, progresivamente, así hasta ver las regularidades, contradicciones y elementos que permitan saturar categorías de análisis. Programas de computación como el AtlasT, son de mucho ayuda. Esta temática ha sido asociada a métodos como el comparativo continuo y el de construcción de modelos (Glaser y Strauss, 1970; Miles y Huberman, 1984).

Al derecho y al revés

El análisis de contenido es una fuerte herramienta. Se presentan tres situaciones que pueden ser denominadas al derecho y al revés: a) múltiples operaciones entre data cuantitativa, b) data cuantitativa convertida en cualitativa y c) data cualitativa convertida en cuantitativa.

a) Múltiples operaciones entre data cualitativa o metanálisis: constituye un análisis de contenido especial, aplicado a informes publicados y conocidos por la comunidad científica de una línea de estudio. Requiere de experticia en estadística avanzada multifactorial y de programas estadísticos como el SPSS. Permite comparar los índices (correlación y regresión), de una muestra de estudios previos para explicar sus diferencias y congruencias y establecer una consistencia en resultados y en las conclusiones derivadas. Se ha realizado más en áreas como clínica, medicina, farmacéutica y ciencias aplicadas, con regularidad en gerencia y con relativo impacto, en educación.

Shulman (2003) plantea que el estándar de referencia en la evaluación de los tratamientos son los estudios controlados aleatorizados y el uso de metanálisis constituye una re-evaluación sistemática (tratamiento de sujetos) y ponderada (peso a los estudios de mayor muestreo). Establece que ante la explosión de información se impone el resumir y replantear los resultados. Puede utilizarse con estudios con muestras pequeñas, con ciertas variaciones de métodos y debería mejorar la precisión de los resultados. Se sostiene que las diferencias entre estudios no sólo son debidas al azar, sino que influyen factores como diferencias en los tratamientos, las poblaciones, las medidas, el observador, el diseño y la calidad del ensayo.

En la obra de Hunter et al (1982), se relaciona este proceso con un estudio transversal sobre resultados acumulados de investigaciones previas. Se puede partir de consideraciones teoréticas como el responder al planteamiento sobre si la “satisfacción laboral incrementa el compromiso organizacional”, por ejemplo. Lo correcto sería preguntarse si existe una correlación consistente entre esas variables en un conjunto de estudios previos. De no existir consistencia, se debe proceder, previo a la estimación metanalítica, a corregir variaciones considerándose tamaño de las muestras y errores de medida, con la aplicación de ciertas fórmulas estadísticas. El metacoeficiente se conoce como efecto principal. Los estudios de metanálisis requieren de estadística avanzada como: regresión múltiple, análisis factorial, análisis de la varianza, covarianza, discriminante, multidimensional y canónico.

Un ejemplo de ello sería el estudio de la relación referida ya de satisfacción laboral e incremento del compromiso organizacional. Los autores presentan datos sobre 30 estudios referidos obteniéndose cálculos sobre las correlaciones promedios por: sexo, tamaño de la organización, nivel laboral, raza, edad y locación de la empresa, las que se reestructuraron (múltiples operaciones). De manera didáctica se indica el resultado de los metacoeficientes en relación con la satisfacción laboral y compromiso organizacional evaluada desde el factor tamaño de la empresa, se estimó un r = 0, 80 para las organizaciones grandes y de 0,50 para las pequeñas.

b) Data cuantitativa convertida en cualitativa: procedimiento muy utilizado en investigaciones descriptivas. Consiste en retransformar los datos cuantitativos (instrumentación) en cualitativos (categorización), para generar una discusión sustantiva sobre las variables. A continuación se muestran dos investigaciones:

• Pérez (2000), en su trabajo sobre la universidad frente al conocimiento y la investigación, aplica un instrumento de 68 reactivos, con dos opciones de respuesta: Si/No. Al analizar los datos, fue observando una variabilidad entre ítems y se requirió un proceso de múltiples operaciones. Al reevaluar el contenido, se determinó que 22 de ellos conciben al tema desde una concepción de la investigación como un valor. Los otros 46 reactivos la definen como una función universitaria. Con el análisis descriptivo y correlacional construyó 11 categorías de análisis, 4 de valoración (sociosimbólico) y 7 de función (socioestructural). Un reordenamiento permitió comparar los datos con la condición del respondente: instructor/agregado Vs. gerente/asociado/ titular. Los resultados, por lo demás impactantes, demuestran que en la carrera académica se da como una evolución en la que el docente se inicia con muchas expectativas de investigación y por eso cree que es un valor inherente a la acción universitaria. Pero en su recorrido de carrera, bien para ascender o para tomar decisiones como gerente, la investigación deja de ser un valor y se convierte en una función cuyo logro depende más de variables ajenas a la vida personal del docente. Ello muestra no sólo cómo se transforma una data de lo cuantitativo a cualitativo, sino cómo esa transformación responde a una base científica y social, que en este caso fue la teoría social de Bertaux (1971). Se evidencia lo de la complejidad teorética ya planteada.

• La otra investigación es sobre un modelo de mejoramiento continuo para el fortalecimiento de la productividad académica del docente universitario de González, 2004, quien diseñó una metodología cuantitativa, con instrumento y cualitativa, con grupos de discusión. El instrumento de 26 preguntas se analizó con estadística descriptiva y análisis de contenido. A los resultados de esta etapa en los docentes, se aplicó un proceso de reducción y cualificación de data, como lo sugieren Milles y Huberman (1984), a fin de iniciar el discurso interpretativo. Se construyeron unas dimensiones cualitativas emergentes de la data, que pudiesen orientar la construcción de un modelo de mejoramiento y fortalecimiento de la productividad académica del docente universitario. Estas dimensiones son: a) desempeño y desarrollo de las funciones académicas, b) factores institucionales que influyen en la productividad: evaluación, docencia, reconocimiento, carga horaria y ambiente laboral, c) factores personales: vocación, formación pedagógica, compromiso y motivación, identidad, satisfacción y aprendizaje continuo y, d) calidad del producto: pertinencia y eficiencia-eficacia. Este ejemplo didáctico puede ilustrar el esfuerzo que un investigador realiza a fin de crear un significado más allá de los números y encontrar una herramienta que guíe el resto de la investigación.

c) Data cualitativa convertida en cuantitativa: un ejemplo notable de este tipo de investigación lo constituye el reciente trabajo de Bromley (2010), en donde se estudia la actividad de organismos internacionales no gubernamentales (ONG´S) acerca de sus actividades de desarrollo educacional, sobre la base de sus informes anuales, los que acumulan información sobre: fundación, objetivos, actividades, locación y coparticipación. Estas organizaciones desarrollan actividades científicas, de experticia y de conocimiento y principalmente: a) son entes de promoción de desarrollo social con base en el conocimiento científico y racional, b) su actividad se materializa en el entorno con cierta capacidad generalizable y, c) aspiran que la experticia sea llevada a diferentes contextos internacionalmente.

El método de análisis de contenido de los informes permitió reducir información cualitativa sobre las actividades de: generación de conocimiento, manejo de información, publicación, promoción del espacio profesional, estandarización, expansión, promoción de experticia y entrenamiento. Se recodificaron las variables para un análisis de la varianza en regresión codificada. La variable independiente fue: actividades científicas y, las independientes o términos de la ecuación o del modelo predictivo fueron: fecha de fundación, número de naciones miembros de la ONG, número de relaciones con ONG´S, número de relaciones con organismos intergubernamentales, condición de cristiana o laica, oferta directa de servicio y mantenimiento de Oficinas Occidentales. Para un total de 390 ONG´S (76 creadas antes de 1945 de enfoque caritativo y 314 después con enfoque socio-laico), se estimó un coeficiente de regresión que lleva a un área explicada de 0,505 en un modelo de inclusión de todos los términos con alphas de entre 0,10 a 0,001. En definitiva el modelo de regresión explicó significativamente la variabilidad de desarrollo de actividades científicas por las ONG´S evaluadas. Lo importante de este trabajo es el uso de información que puede ser considerada letra muerta, contenida en informes con poca posibilidad de ser analizados. De realizar esta investigación con el uso de un instrumento formal, para una información ya contenida en informes, los respondientes podrían rechazarlo o responderlo, ya no con la esperada atención como fueron elaborados los informes.

Evaluación respondente

Previo a esta concepción de la evaluación es propicio puntualizar algunas consideraciones:

• La idea de investigación no intrusiva se refiere a la reacción ante la observación y la medida. No se vincula con a la vida cotidiana que se da en el los ambientes naturales donde la persona se desenvuelve. De aquí que la investigación in situ, de corte participativo no negaría o limitaría la reacción, pero sería entendida como la comunicación de retorno que un observado da al observador participante.

• Didácticamente, el docente esperaría reactividad ante lo que enseña y eso sería demostrativo de la actuación escolar y del aprendizaje. Ya se ha referido, al inicio de este trabajo, la 4ta. Generación de Evaluación, fundamentada en el concepto de respondente. La esperada reacción es aplicable a la relación entrevistador/entrevistado u observador/ observado.

• Se asume el planteamiento de Miles y Huberman (1984), acerca de que el procesamiento cualitativo consiste en una reducción de data que permite organizar los incidentes en categorías de análisis. Esas estructuras pueden ser representadas como un modelo de abstracción conceptual de la problemática, que constituye una representación gráfica y muestra las estructuras categóricas y sus relaciones.

• Se asume, también, que el proceso de categorización sigue una dinámica flexible que ha sido muy bien ilustrada por Glaser y Straus (1970). Dinámica recurrente y complementaria que acepta la combinación de otros métodos, para logar la multiplicidad de estimaciones necesarias para la abstracción en forma de teoría sustentada en la data.

Dadas estas premisas, se puede ir a la discusión de lo reactivo en la investigación no experimental, es decir en investigaciones descriptivasevaluativas. La obra de Robert Stake y de Ivanna Lincoln y Egon Guba puede ayudarnos a introducirnos en lo que se ha venido denominando la 4ta. Generación de Evaluación. El desarrollo de la investigación evaluativa, había llegado a la formulación de modelos muy complejos, que si bien encajaban con los criterios cientificistas y de experimentación, como el de la precisión de la medida y el control de amenazas, constituían modelos irrealizables en los contextos concretos de las instituciones socioeducativas.

Según Fuguet (2000), estos modelos habían asumido un comportamiento sistemático y sistémico que ordenaban los factores según los componentes de análisis: contexto-entrada-proceso-productos-salida. Se destaca entre ellos, el más sofisticado de todos, el Data Matriz de Stake (1975). Esta modelo hace énfasis en información congruente según los componentes del sistema. Podemos decir que los autores de esos modelos constituían la 3ra. Generación, o Generación del Juicio, de la Calidad y de la Toma de Decisiones. Pero, estos modelos al ser irrealizables y al querer abarcar demasiados aspectos en la evaluación, se convirtieron en procesos tediosos y de larga dinámica, de mucho rechazo por las audiencias. Las otras dos generaciones estaban representadas como la 2da., por la Evaluación de Programas y, la 1ra., por la de la Evaluación como Medición.

Hacía falta un modelo evaluativo que hiciera énfasis en lo neurálgico. El mismo Stake, (1975), critica su modelo Data Matriz, por ser de exagerado preordenamiento e incorpora a la discusión la idea de evaluación respondente, convirtiéndose en el precursor de esta 4ta. Generación. Con ello muere la evaluación preordenada, asimismo, el plan de evaluación. Ahora se maximiza el diseño del programa a evaluar, sea institucional o didáctico. Se concibe a la evaluación como parte integral de los planes y no como algo separado.

Guba y Lincoln (1989), en su obra “Fourth Generation Evaluation” la denominan evaluación negociada y se asume que es de carácter social y político, de relaciones interpersonales y colectivas. Los valores toman un rol importante y permite reconocer que la audiencia está en continua situación respondente o reactiva, ante las acciones dentro del plan, programa social o didáctico. No se debe confundir reactivo con reaccionario. Por el contrario, su aceptación tiene profundas raíces, que se encuentran en los cambios de paradigma de indagación disciplinaria. Se asume una visión constructivista como emergente ante el positivismo y cuyos idearios se centran en conceptos de realidad dinámica, relativa, intersubjetiva, dialéctica y hermenéutica. Dos elementos sobresalen: lo participativo y lo proactivo.

Los autores referidos, tienen una antesala muy amplia en materia de investigación cualitativa. Ellos venían trabajando con el concepto de investigación naturalista (1985), es decir del ambiente, que ellos llaman natural, en donde se desenvuelven las personas que participan en programas a evaluar. No hay necesidad de usar medidas artificiales y recomiendan los procesos que ayuden a la comunicación entre el investigador y sus audiencias, entre el docente y sus alumnos, como: entrevistas, observaciones participantes, integraciones a proyectos, investigación de acción, estudio de casos, etnografías, estudios fenomenológicos (Merriam & Associates, 2002). Constituye una dinámica que permite a las audiencias participar, manifestar sus demandas y comprometerse con acciones de mejoramiento de los programas o del aprendizaje, con base a una agenda de negociación, de construcción colectiva, que se centra en aspectos neurálgicos identificados y que permite la transformación y el encuentro con la calidad. Aquí se puede observar el impacto de tales ideas para el proceso de enseñanza-aprendizaje.

• Responsivo: se centra en lo neurálgico, es decir en que los humanos observamos y reaccionamos. Además de focalizar en las acciones y no en los contenidos y productos. Favorece una interacción que lleva al aprendizaje colectivo por el intercambio de pistas para aprender o mejor dicho, en el buen sentido de la palabra, que se negocian. Ellas constituyen nudos o conectores que permiten hacerse del conocimiento en procesos de participación que invitan a las personas a expresar sus visiones.

• Comunicativo: evaluación como acto comunicativo por naturaleza y origen. El intercambio de las pistas requiere de comunicación de retorno inmediato, pero no culminante, ya que tiende a la perfección de lo aprendido. En el caso de investigación, a la saturación de la data. Lo comunicativo lleva a la visión compartida y la verdad es construida por medio de significados.

• Evolutivo: es como la mayor estructura conceptual y parte de que la evaluación no se agota en informes y boletas. Se plantea que para demostrar lo aprendido -o las estructuras creadas a través de la investigación- sería la representación gráfica. Ello constituye un acto de creación. Estas representaciones muestran la variación de los conceptos en una serie de tiempo determinado. Las estructuras varían por procesos de desaparición (erosión) y de aparición (acreción) de nuevos elementos que representan cambios en las estructuras mentales. Es lo que se ha venido planteando de construcción, desconstrucción y reconstrucción de lo aprendido.

Las relaciones entre estos conceptos son evidentes. El rol del evaluador es enviar mensajes y pistas para mejorar la visión individual y colectiva sobre lo que se estudia y evalúa. Al mismo tiempo, es el de organizar y reenviar los emitidos por los participantes a fin de promover la visión compartida, elemento colectivo. Esto se basa en un ancla conceptual constructivista ya que el sujeto no es un observador pasivo, es transformador. Esa transformación toma un desarrollo evolutivo, o sea, de cambios progresivos que se evidencian en la mentalidad y la conducta de las audiencias. No hay nada declarado y prescrito, sino devenido del crecimiento y desarrollo según los ritmos propios, significado de las vivencias y el disfrute de las satisfacciones.

El impacto de estos conceptos se puede observar mejor en un instrumento muy complejo, que se denomina portafolios. En el mundo actual, las expresiones o representaciones intelectuales, las producciones artísticas y el desarrollo de productos variados, se muestran en portafolios. Aunque constituyen un soporte material que reúne un conjunto de papeles, documentos o apuntes, no se debe reducir su importancia a quedar como un depósito. Por el contrario, constituye una herramienta de gran utilidad, por cuanto reúne información de carácter evolutivo sobre las personas y sobre sus progresos en los aprendizajes. Para los investigadores representa una herramienta que permite clasificar materiales que se desarrollan durante el proceso investigativo.

Según Lyons (1998), también es una importante fuente de información profesional. En el siguiente ejemplo: un periodista que desea tener empleo en un diario de mayor circulación, debe presentar un portafolio de sus escritos como muestra de evidencias de cómo ha ido perfeccionando sus artículos periodísticos. Los empleadores podrán estimar no sólo su pasado sino su futuro, en base a su capacidad para perfeccionarse, lo que depende de lo que observen en su producción, de cómo supera y cambia estructuras por otras, convirtiéndose en un profesional de excelencia. En docencia, un portafolio permite ver cómo el alumno evoluciona en sus aprendizajes, por medio del cambio en las estructuras conceptuales. El docente no necesita hacer examen final si ha estado acompañando esa producción del estudiante, ya lo conoce, se comunica con él y sabe cómo ha crecido en el proceso. En otras palabras, ha observado la evolución de sus aprendizajes.

Ahora, ¿cómo relacionamos ésta forma de evaluar con la de investigar? La construcción de categorías de análisis, teorías sustentadas y modelos teóricos, por ejemplo, tienen un proceso similar, es decir evolutivo. Se construyen primero unas estructuras iniciales, temporales, se contrastan los incidentes, se saturan, así hasta perfeccionarse dándole denominación y propiedades a esas estructuras conceptuales. Se amparan en procesos de validación que permiten la recurrencia a la data y sus fuentes y a otras experiencias, estudios y teorías, tantas veces como sea necesario.

Investigaciones Naturalistas y el Círculo Hermenéutico

Para profundizar, se debe considerar el hecho de que algunos autores como Scriven (1973) han tipificado a la evaluación como el estadio más genuino de investigación. Ello tiene sus raíces en que se ha visualizado a la investigación como un proceso de evaluación de teorías. Es decir, entender que los nuevos datos encajan con cierta teoría, especificada previamente por el investigador. Esta sería, para Lincoln y Guba, la forma tradicional de investigación. Se sigue un método deductivo, se instrumentan recursos con insumos de la teoría y se prueba que ella funciona como explicación del fenómeno que se estudia.

Por el contrario, si nos movemos desde las particularidades u observaciones, es posible concluir que existen ciertas estructuras conceptuales que pudiesen formar una teoría sobre lo estudiado, entonces el proceso de investigación no parte de ni valida una teoría, sino que formula, construye o crea teoría. Es lo que se ha denominado como develación de lo subyacente. Esta distinción es necesaria para comprender por qué este tipo de investigación es recurrente y no lineal. Así se recurre a:

• Varios métodos ya que su combinación permite realizar el trabajo racionalmente adaptando procesos y no siguiendo ciegamente un modelo como en una especie de adopción obligada. Al fin y al cabo, los métodos constituyen un medio y no un fin en sí mismos.

• Datos cuantitativos o cualitativos de estudios que se realizan simultáneamente o previos. Esto se conoce en el denominado Circulo Hermenéutico como recurrencia a otros círculos o fuentes de información, como la de archivo.

• Varias fases, como en los estudios de desarrollo: diagnóstico, diseño, aplicación, evaluación y reciclaje. Se inicia con data cuantitativa, pero las subsiguientes etapas tienen espíritu cualitativo. Esta es la racionalidad seguida normalmente en estudios de innovaciones, casos, investigación participativa y muchos otros ejemplos de la literatura sobre métodos.

• Verificar con las fuentes: la correcta interpretación de sus aportes en la configuración de la data, que es en todo caso y sentido, la comprensión de la audiencia en torno al fenómeno de estudio.

• Procesos de autovalidación permanente de la data: manejada para reafirmar las estructuras derivadas. Esto es lo que se ha referido como validación interna, por contrastación y comparación de incidentes, de categorías, de relaciones entre ellas. También con el estado del arte de la problemática estudiada.

El método propuesto por Guba y Lincoln es el Círculo Hermenéutico y permite analizar la información en una dirección como el de las agujas de un reloj. Presenta dos estructuras: una interna y otra externa.

• La interna se caracteriza por: a) un proceso muy riguroso que crea teoría para entender una situación problemática y se inicia con el análisis de contenido venida de entrevistas, observaciones u otra situación, b) una estructuración categórica que constituye la síntesis reductora de información y que se presenta a un segundo entrevistado o en una audiencia de consulta, sujetos de estudio o expertos, c) un proceso que se repite n veces hasta lograr la saturación de las estructuras en donde las síntesis se caracterizan por ser flexibles, transitorias y modificables y en la medida en que se avanza se seleccionan insumos que se articulan para desarrollar una estructuración saturada o completa, d) un proceso complejo que se centra en los aspectos neurálgicos del problema, en las subsecuentes estructuraciones y asegura la validez sustantiva o interna de la comprensión teórica del problema.

• La externa, se caracteriza: a) por constituir una zona de recurrencia que permita la complementariedad de datos, b) se recurre a otros círculos, informes, archivo, literatura relacionada, observaciones (medidas), entre otras instancias, c) permite ampliar y perfeccionar las elaboraciones, ya que aportan datos para aclarar nudos además de validar información relacionada y, d) asegura la validez externa o transferibilidad a otros contextos desde donde se desarrolla la teoría.

En síntesis la investigación naturalista se caracteriza, según St. Louis (1992), por el uso de un lenguaje que reúne descriptores como: cualitativo, diseño emergente, modelo, generalización, credibilidad, confortabilidad, dependabilidad y elemento humano. Puede complementarse con otros métodos de análisis. El concepto de categorías puede asumirse y el de modelo gráfico. También el de validez y confiabilidad, en el sentido de confirmabilidad y relevancia de la información. En este caso se hace énfasis en la consistencia cuando hay encuadre de los datos con las estructuras. De lo contrario hay que trabajar con los no concurrentes a fin de darle el justo sentido en la construcción teórica.

La complementariedad de métodos y el uso de investigación mixta, se ha venido imponiendo por argumentos que destacan la complejidad de la realidad socioeducativa. Complejidad que no puede limitarse a ser abordada desde un ángulo metodológico. Al efecto Creswell (2002), establece que tiende a responder a la necesidad que tienen los investigadores de crear diseños que puedan ser vías para explorar (cualitativo) y explicar (cuantitativo) esa realidad compleja, bajo una racionalidad de uso de data cuali-cuantitativa.

CONCLUSIONES

Se ha abordado el tema de la reacción en la investigación. Protagonistas reconocidos difieren en la conveniencia o no de ese fenómeno. Lo que es debilidad metódica para algunos, es fortaleza y factor de creatividad, para otros. Se cree que, a pesar del apego de la investigación no intrusiva a los principios cientificistas, sus ideas dejaron campo para el desarrollo de la investigación cualitativa. En los conceptos de erosión y acreción hay un ideal subyacente. La utilidad de la observación y de la información de archivo, son vitales para la investigación cualitativa.

Ahora bien, ¿cuál sería el impacto final de estos planteamientos para la educación? El proceso de evaluación se entiende como investigación. Se aspira que la investigación construya elementos para entender la práctica educativa y teorizar sobre ella. De aquí la importancia de los proyectos escolares, ya que ellos constituyen escenarios para las investigaciones, la aplicación de ideas de la 4ta. Generación y la producción de teorías sobre la práctica pedagógica.

REFERENCIAS

1. Bertaux, D. (1971). Historie de vie ou recit de practices. Paris, CORDES.        [ Links ]

2. Bloom, B. (1971). Mastery learning and its implications for curriculum development. Boston, Little, Brown and Co.        [ Links ]

3. Booth, W, et al (2003). The Craft of Research. 2nd. Ed. Chicago, The University of Chicago Press.        [ Links ]

4. Bromley, P. (2010). The rationalization of educational development: scientific activity among International Nongovernment Organization Comparative. Education Review, 54 (4): 577-601.        [ Links ]

5. Campbell, D. and Stanley, J. (1963). Experimental and quasi-experimental designs for research. Palo Alto, Houghton Mifflin Company.        [ Links ]

6. Castillo, B. y Ruedas, M. (2007). Estrategias metodológicas basadas en tecnología farmacéutica para promover la adquisición de nociones elementales sobre mezclas en el 6to. Grado de Educación Básica. Investigación y Postgrado, 22 (1): 145-163.        [ Links ]

7. Creswell, J. (2002). Research design qualitative: a mixed methods approach. Thousand Oaks, Sage.        [ Links ]

8. Fuguet, A. (1986). Validación de instrumentos de medición: una visión conceptual. Revista de Investigación Educacional, 14 (29): 23-34.        [ Links ]

9. Fuguet, A. (1988). Análisis de predictores de rendimiento escolar. Investigación y Postgrado, 3 (3): 70.        [ Links ]

10. Fuguet, A. (2000). Fundamentos de la Cuarta Generación de Evaluación. Docencia, Investigación y Extensión, 4 (1): 63-79.        [ Links ]

11. Glaser, B. and Strauss, A. (1970). The Discovery of Grounded Theory. Chicago, Aldine Pub. Co.        [ Links ]

12. González, E. (2004). Modelo de mejoramiento continuo para el fortalecimiento de la productividad académica del docente universitario. Tesis Doctorado, USM.        [ Links ]

13. Guba, E. and Lincoln (1989). Fourth Generation Evaluation. Newbury Park, Sage Publications.        [ Links ]

14. Hamebleton, R. & Cook, L. (1977). Late trail models and their use in the analysis of educational test data. Journal of Educational Measurement, 14(2): 75-76.        [ Links ]

15. Hans, R. (1992). Experiencia estética y hermenéutica literaria. Madrid, Taurus.        [ Links ]

16. Hawthorne effect (2011). Wikipedia, the free encyclopedia F:\noreactiva\ Hawthorne effect-Wikipedia, the free encyclopedia.mht        [ Links ]

17.  Hunter, J., et al. (1982). Meta-Analysis: Cumulating Research Findings across Studies. Beverly Hills, Sage Publications.        [ Links ]

18. Kazdin, A. (1979). Unobtrusive Measures in Behavioral Assessment. Journal of Applied Behavior Analysis, 4: 713-724.        [ Links ]

19. Landsberger, H. (1958). Hawthorne Revisited. Chicago, Ithaca.        [ Links ]

20. Lincoln, Y. and Guba, E. (1985). Naturalistic Inquiry. Thousand Oaks, Sage.        [ Links ]

21. Lyons, N. (1998). El uso del Portafolios: propuestas para un nuevo profesionalismo docente. Buenos Aires, Amorrortu Editores.        [ Links ]

22. Miles, M. y Huberman, M. (1984). Qualitative data analysis. Sourcebook of New Methods.        [ Links ]

23. Merriam, S. and Associates (2002). Qualitative Research in Practice: Examples for Discussion and Analysis. San Francisco, Jossey Bass.        [ Links ]

24. Neuman, L. and Robson, K. (2011). Basics of social research: qualitative and quantitative approaches. Canada. Pearson Education.        [ Links ]

25. Pérez, S. (2000). La Universidad Politécnica frente al conocimiento y la Investigación: caso Politécnico de Barquisimeto. Tesis Doctorado, USM.         [ Links ]

26. Rosental, R. (1963). On the social psychology of the psychological experiment: the experimenter´s hypothesis as unintended determinant of experimental results. American Scientist, 51: 268-283.        [ Links ]

27. Schwandt, Th. (2001). Dictionary of Qualitative Inquiry. Thousand Oaks, Sage Publications.        [ Links ]

28. Scriven, M. (1973). Goal free evaluation. In E. House (Ed), School evaluation: the politics and process. California, Mac Cutchan.        [ Links ]

29. Sharan, M. et al (2002). Qualitative Research in Practice. San Francisco, Jossey-Bass.        [ Links ]

30. Stake, R. (1975). Program Evaluation: particularly responsive evaluation. Michigan, U of Michigan Evaluation Center.        [ Links ]

31. St Louis, M. (1992). Investigación Cualitativa. Caracas, El Juego Ciencia.        [ Links ]

32. Solórzano, C. (1986). Efectos de las características estructurales de los mapas de conceptos en el aprendizaje intencional e incidental de textos. Revista de Investigación Educacional, 13 (28): 55-70.        [ Links ]

33. Shulman, C. (2003). ¿Qué es un Meta-análisis? Buenos Aires, Universidad de Buenos Aires, Facultad de Medicina D:\no reactiva\meta a\httpwww.cancerteam.com.arpoli126.html.mhtico.        [ Links ]

34.  Webb, E. et al. (1966). Nonreactive Measures in the Social Sciences. Boston, Houghton Mifflin Company.        [ Links ] ]]> 1 1971 2 1971 Little Brown and Co 3 2003 2 4 2010 54 4 4 577-601 5 1963 6 2007 22 1 1 145-163 7 2002 Oaks Sage 8 1986 14 29 29 23-34 9 1988 3 3 3 70 10 2000 4 1 1 63-79 11 1970 12 2004 13 1989 14 1977 14 2 2 75-76 15 1992 16 2011 17 1982 18 1979 4 713-724 19 1958 20 1985 Oaks Sage 21 1998 22 1984 23 2002 24 2011 25 2000 26 1963 51 268-283 27 2001 28 1973 29 2002 30 1975 31 1992 32 1986 13 28 28 55-70 33 2003 34 1966