Carlos Torrealba, Luis Rosales Delgado

ctorre@usb.ve (USB) luisrosalesupel@gmail.com (UPEL-IPMJMSM)

RESUMEN

En este artículo se estudian las características de los protocolos orales como técnica de investigación metacognitiva. Para tal fin, se llevó a cabo un análisis de cinco trabajos de investigación tanto nacionales como internacionales publicados en revistas arbitradas en los que se usaron los Protocolos Orales como técnica de investigación. Se analizó el uso de la técnica de Protocolos Orales desde un punto de vista cualitativo en los trabajos revisados, y el resultado fue contrastado con las contribuciones de investigaciones previas sobre Protocolos Orales. Los autores aportan su interpretación para, finalmente, presentar una serie de categorías e instrucciones que se deben usar al llevar a cabo indagación metacognitiva usando Protocolos Orales en áreas de la educación.

Palabras clave: aprendizaje; metacognición; cognición.

The oral protocol as a means for the research of the meta-cognitive knowledge: analysis of research experiences

ABSTRACT

This article studies the characteristics of oral protocols as meta-cognitive research techniques. It studies five research papers published in arbitrated reviews, both at national and international level, which use the Oral Protocols as a research technique. The study focused on the use of the Oral Protocol Technique from a qualitative point of view and the results were later compared to the contributions made by previous researches on Oral Protocols. The authors offer their interpretation to finally present a set of categories and instructions that should be used to carry out meta-cognitive research using Oral Protocols in the field of Education.

Key words: learning; meta-cognition; cognition.

RÉSUMÉ

Dans cet article, on étudie les caractéristiques des protocoles oraux en tant que technique de recherche métacognitive. Pour ce faire, il a été fait l’analyse de cinq travaux de recherche tant nationaux qu’internationaux dans lesquels ont été utilisés les Protocoles Oraux en tant que technique de recherche. Ces travaux ont été publiés dans des revues supervisées. On y a étudié l’usage de cette technique d’après une vision qualitative et le résultat a été mis à l’épreuve avec les contributions de recherches préalables sur les Protocoles Oraux. Les auteurs exposent leur interprétation pour présenter finalement une série de catégories et de consignes qui doivent être mises en pratiques, dans le domaine éducatif, lors de la recherche métacognitive par l’utilisation des Protocoles Oraux.

Mots clés: apprentissage, métacognition, cognition.

Recibido: 25/01/07 Aprobado: 18/07/07

Introducción

Como educadores e investigadores en ejercicio, los docentes tenemos que buscar la manera de tener acceso, no sólo a la información que ofrecen los estudiantes y su manera de aprender que, en muchas instancias, es difícil para ellos mismos verbalizar (Ryle, 1949; Mayor, Suengas y González Marqués, 1995). Requerimos obtener información que no necesariamente está vinculada con conocimientos declarativos acerca de algún contenido en particular, sino con la forma en que el individuo procesa esos contenidos a fin de comprender los procesos involucrados en su propio aprendizaje. Recolectar este tipo de información se convierte en un asunto que preocupa a los investigadores que llevan a cabo sus estudios centrados en conocer cómo ocurre la metacognición, entendida ésta como un proceso que permite supervisar y controlar nuestros propios procesos de pensamiento.

Es imperativo preguntarse cómo podemos asegurar la validez de la información verbalizada acerca de los procesos internos que requerimos para realizar nuestra labor como investigadores. Giorgi (2002) señala que “dentro de la fenomenología, el objetivo no es tratar de eliminar la subjetividad, sino clarificar el rol de la subjetividad cuando se alcance el conocimiento correcto” (p. 8).  En este sentido, se hace necesaria la búsqueda de una vía para conocer con certeza qué y cómo piensa el estudiante, así como lograr que dicha información sea expresada de la manera más precisa, clara y amplia posible.

Las dificultades para identificar y medir las destrezas, conocimiento o actuación metacognitiva de los estudiantes (Georghiades, 2004) se deben a que estas destrezas forman parte de los procesos internos de las personas y es difícil acceder a ellas debido a que dichas estrategias no son fácilmente observables (White, 1986). Para indagar sobre el conocimiento metacognitivo, se aconseja que los investigadores utilicen múltiples técnicas que no compartan la misma fuente de errores (Ericsson y Simón, 1980; Garner y Alexander, 1989).

Garner y Alexander (op. cit.), por ejemplo, señalan tres maneras de descubrir lo que los niños saben en relación con su cognición. Éstas son: a) preguntarles, b) hacerles pensar en voz alta mientras realizan una tarea y, c) pedirles que enseñen a otros niños más pequeños cómo alcanzar una solución correcta para un problema dado. En este caso, sin embargo, estos investigadores, también presentan una serie de limitaciones  que pueden influir en la validez de la información obtenida, entre ellas, la carencia en la fluidez verbal de los niños, las variaciones entre el uso del idioma por parte de los niños y los adultos, las dificultades de los niños para discutir eventos cognitivos generales y las tendencias para describir eventos que acaban de suceder y no aquellos ocurridos con anterioridad.

Es bien conocido el aporte de  Ericsson y Simón (1980, 1993) en relación con la aplicación del uso de los Protocolos Orales como técnica de indagación de los procesos de pensamiento. Al respecto, De Brito Neves (2006; p. 45), señala: “en las últimas décadas, las investigaciones relativas a la lectura, comprensión textual, y escrita, entre otras, han enfatizado el protocolo verbal, una vez que se trata de una fuente consistente para la obtención de datos¨. Los docentes investigadores que tienen que usar Protocolos Orales intentan lograr control y rigor metodológico, sin embargo, aún se observan dificultades para seguir las decisiones que investigadores específicos toman para usar esta herramienta de investigación.

Considerando lo anterior, se propuso el siguiente objetivo: analizar el uso de la técnica de Protocolos Orales por parte de investigadores con el fin de conocer las estrategias metacognitivas de sus estudiantes. Para tal propósito, se estudiaron varios trabajos de investigación a fin de adentrarnos en la manera en que la técnica de Protocolo Oral fue operacionalizada.

Ejecución de la técnica de Protocolos Orales

Definimos como técnica al “conjunto de procedimientos y recursos, fiables y apropiados, de los que se sirve una ciencia, arte o profesión, para producir alguna acción efectiva sobre un objeto o para alcanzar un determinado logro u objetivo” (Becerra, 2002, p. 228).

Con nombres diferentes tanto en español (protocolo de pensamiento en voz alta, protocolo verbal, protocolo oral, reporte verbal, reporte oral, verbalización) como en inglés (oral recall, oral protocol, protocol analysis method, think aloud task, talk aloud) han sido denominadas las técnicas de reporte oral usadas en la investigación para registrar el pensamiento mediante el uso de la palabra. Ericsson y Simon (1993) lo definen como técnica que posibilita la obtención de relatos individuales de la propia cognición durante la ejecución de una tarea (concurrente) o a medida que esa tarea está siendo recordada (retrospectivo). Para los fines de esta investigación, se usará la denominación Protocolos Orales para referirnos al conjunto de técnicas en las que se le pide al informante que reporte las actividades, pasos, estrategias y otros pensamientos que se le van ocurriendo mientras lleva a cabo una actividad o tarea asignada por el investigador con lo cual se puede observar las estrategias cognitivas y metacognitivas utilizadas por el ejecutante.

Mayor et al., (1995) advierten que puede ser difícil utilizar protocolos orales con niños o con adultos que tengan dificultades mentales o lingüísticas. Esta es una técnica que funciona bien cuando está ligada a una tarea concreta. En general, consiste en la toma de notas de las verbalizaciones y de la tarea que se está realizando. Se puede, a la vez, llevar a cabo grabaciones de audio o de vídeo. Se requiere de cierto entrenamiento evitando informar al sujeto de lo que creemos en relación al tema a investigar. Es importante que el investigador no guíe la producción de la información, al realizar gestos o hacer comentarios en relación al contenido. El análisis de las verbalizaciones debe ser realizado por varias personas o jueces a fin de evitar sesgos personales. En ocasiones, las verbalizaciones pueden ser insuficientes, incompletas o irrelevantes. Terminaremos esta sección con las palabras de Georghiades (2004):

la falta de consenso en la literatura en relación a cómo reconocer y medir la metacognición en acción, junto con la ausencia de herramientas confiables para este proceso, significa que cualquier intento será problemático y altamente dependiente del juicio de subjetividad de los investigadores (p. 374).

A pesar de los problemas de validez de los métodos que se utilizan para investigar en metacognición, la comprensión de los investigadores en este tema, ha madurado lo suficiente para que sea aplicada al ámbito educacional y se convierta en la fuerza detrás de un cuerpo importante de investigación (Georghiades, op. cit.).

Este trabajo de investigación se puede caracterizar como descriptivo ya que se pretende, una vez analizadas varias publicaciones sobre el tema, alcanzar una idea de cómo los investigadores operacionalizan la técnica de Protocolos Orales en cada una de sus investigaciones. Es importante señalar que en este estudio no se persigue evaluar los trabajos bajo escrutinio, sino, más bien analizar las formas en que se usa la técnica de investigación de Protocolos Orales.

Descripción de los trabajos seleccionados

Se seleccionaron cinco trabajos de investigación, los cuales estuvieron constituidos por  cinco artículos publicados en revistas arbitradas tanto nacionales como internacionales (Blonski Hardin, 2001; Yang, 2002; Requena, 2003; Ferrari, 2004 y Rocha et al, 2004). Esta selección obedeció a los siguientes criterios:

1.      Haber sido publicado en una revista arbitrada nacional o extranjera.

2.      Ser trabajos relacionados con las áreas de la educación.

3.      Considerar áreas diversas del conocimiento.

4.      Hacer indagación sobre estrategias metacognitivas.

5.      Usar la técnica de protocolos orales.

6.      Explicitar los pasos que fueron usados para utilizar la técnica de Protocolos Orales.

1. Se seleccionaron los trabajos de investigación a analizar.

2. Se analizó cada trabajo atendiendo especialmente:

·        Objetivos

·        Área de estudio

·        Características de los estudiantes.

·        Nivel Educativo

·        Metodología

·        Técnicas usadas para la indagación

·        Conclusiones

3. Se comparó el uso de la técnica de Protocolos Orales entre los diferentes trabajos.

4. Se establecieron los pasos considerados como indispensables para llevar a cabo de manera efectiva la técnica de Protocolos Orales en indagación metacognitiva.

Resultados

Se presenta una discusión general de los trabajos de investigación analizados. Seguidamente, se proponen las categorías de los procedimientos de los Protocolos Orales en los trabajos de investigación revisados. Finalmente, se enumeran los pasos que se consideran indispensables para llevar a cabo la técnica de Protocolos Orales de manera efectiva al hacer indagación sobre estrategias metacognitivas en áreas de la educación.

Discusión general de los trabajos de investigación analizados

A continuación, se señalan las observaciones generales en base a los cinco trabajos de investigación descritos. Esas observaciones estarán divididas en tres partes, en relación con: a) los objetivos de la investigación; b) el contexto de la investigación; c) las técnicas usadas en la Investigación. Sólo se mencionan las técnicas utilizadas.

En relación con los objetivos de investigación: en los cinco artículos se intenta un acercamiento a las estrategias metacognitivas que usan los estudiantes. Tanto el artículo de Requena (2003) como el de Rocha et al., (2004) versan sobre la resolución de problemas y las matemáticas. Sin embargo, el foco del trabajo de Requena es la comprensión de lectura del texto del problema, mientras que el trabajo de Rocha et al., centra su atención en las estrategias de solución de problemas matemáticos.

En relación con el contexto de la investigación: se debe señalar, que la información contextual que se considera para este trabajo, es exclusivamente la que reportan los autores de los artículos. No se añade información a la que contienen los textos de los trabajos en estudio. En esta parte se agrupan los cinco trabajos según el área de estudio: primero, los que estudiaron estrategias relacionadas con el procesamiento matemático en lengua materna y luego los que se relacionaban con dos o más idiomas. A continuación, se presentan los dos grupos formados a partir de los contextos de investigación.

1.      Requena (2003) trabaja con estudiantes universitarios de quinto año mientras que Rocha et al., (2004) estudian niños de tercer grado. En ambos casos, los estudiantes son nativos hablantes del español. Los estudiantes de Requena viven en Venezuela y los de Rocha en España. 

2.      Blonski Hardin (2001) estudia niños entre 9 y 10 años mientras que el trabajo de Yang (2002) y Ferrari (2004) se centra en estudiantes universitarios.  Los niños estudiados por Blonski Hardin se encuentran en un contexto de Segunda Lengua (latinos que viven en Estados Unidos), mientras que los estudiantes en los casos de Yang y Ferrari están en un contexto de Lengua Extranjera. Los estudiantes de Yang viven en Taiwán y los de Ferrari  en Venezuela.

En relación con las técnicas usadas en la investigación: en este aparte sólo se mencionarán las técnicas utilizadas por los investigadores con la denominación usada en los artículos de investigación. No se profundizará en relación con los procedimientos que se siguieron.

1.Blonski Hardin (2001) hace uso de entrevistas individuales y Protocolo de Pensamiento en voz alta concurrente.

2. Yang (2002) usa Protocolo de Pensamiento en voz alta concurrente y un procedimiento diagnóstico y remedial.

3. Ferrari (2004) utiliza Protocolo Oral concurrente junto con el análisis del texto escrito resultante (tanto en español como inglés).

4. Requena (2003) lleva a cabo un análisis proposicional de los enunciados en los problemas y usa el Protocolo Oral concurrente.

]]> 5. Rocha, et al (2004) trabajaron con Protocolo Oral retrospectivo, una vez que la tarea se llevó a cabo.

Categorías de los procedimientos de los Protocolos Orales en los trabajos de investigación revisados

La presentación de categorías con base en los procedimientos de los Protocolos Orales emergidas en este trabajo, se basa exclusivamente en las instrucciones que cada investigador detalló sobre los pasos del Protocolo Oral en su artículo publicado. No se pretende agregar o quitar información a la que explícitamente fue presentada en cada artículo. Se acompaña esta presentación con gráficos en los que se pueden observar los datos de los procedimientos que cada investigador llevó a cabo. En algunos casos,  de una a varias categorías se pueden apoyar en un solo gráfico. En otros, la presentación de la categoría no se apoya en un gráfico dado ya que puede estar basada en un dato individual en vez de la contrastación entre varios datos. Se utilizó el Programa de Manejo de Datos Cualitativos Atlas.ti, versión 4.1.

1. En la mayoría de los casos (Blonski Hardin, 2001; Yang, 2002; Requena, 2003 y Ferrari, 2004) existe clara evidencia del uso de un Etapa/Proceso de calentamiento para llevar a cabo un Protocolo Oral (Gráfico 1)

• En el caso de Rocha et al., (2004) no hay evidencia de calentamiento. Sin embargo, se ha de enfatizar que el Protocolo Oral que los niños llevaron a cabo es guiado por preguntas que hace el investigador una vez que la respuesta al problema matemático en forma escrita ha sido entregada por el estudiante.

• En uno de los casos, este entrenamiento se llevó a cabo con una cantidad considerable de estudiantes (Blonski Hardin, 2001). La etapa de calentamiento fue dirigida por el investigador frente a la clase completa y los estudiantes debían practicar con sus compañeros.

• ]]> En los casos de Yang (2002), Requena (2003), Ferrari (2004) el encuentro de práctica se llevó a cabo en sesiones individuales.

• Tanto Requena (2003) como Ferrari (2004) decidieron que durante la práctica, la tarea a realizar debía ser diferente a la tarea de interés de investigación. Requena quería observar las estrategias relacionadas de comprensión de lectura del texto de los varios tipos de problemas matemáticos y asignó problemas no matemáticos para la etapa de calentamiento. Ferrari (2004), por su parte, que quería observar la producción de texto escrito en dos idiomas, asignó un ejercicio de matemática como tarea de calentamiento.

• Aunque Rocha et al., (2004) llevaron a cabo un Protocolo Oral retrospectivo,  consideramos que se requiere de cierto calentamiento para aumentar los resultados que se pudiesen obtener en el proceso.

2. Tarea de Calentamiento diferente a la tarea del Protocolo Oral (gráfico 1). Tanto Requena (2003) como Ferrari (2004) se aseguran de que la tarea que sus estudiantes realizan en la etapa de calentamiento, sea diferente a la tarea de interés de investigación.

3. Distanciamiento entre el momento de Calentamiento y el Protocolo Oral (gráfico 1). Yang (2002) permite un espacio de cinco días entre la etapa de calentamiento y la de interés de investigación.

4. Asignación de tarea explicita con Protocolo Oral concurrente (gráfico 2). De manera explícita, Blonski Hardin (2001), Yang (2002), Requena (2003) y Ferrari (2004) solicitaron  a sus estudiantes llevar a cabo una tarea que se tenía que realizar mientras se grababa un protocolo oral.

6. En cuanto a las características de las tareas y su cercanía a los estudiantes (gráfico 3), Blonski Hardin (2001) usaron textos de tipo expositivo y con temas que les eran familiares a los estudiantes que observaban.

7. En la categoría Uso de Recursos de Apoyo, tanto Requena (2003), Ferrari (2004) como Rocha et al., (2004), solicitan al participante que use recursos de apoyo. Requena y Rocha et al., proporcionan papel y lápiz mientras que Ferrari pone un computador a disposición del estudiante.

8. Evaluación de la tarea/producto Realizado. Yang (2002) solicitó a sus estudiantes que realizaran una prueba de selección con base en el texto que leyeron. No podían regresar a la lectura mientras hacían este trabajo de evaluación.

9. En relación a la categoría Ayuda a la realización del Protocolo Oral concurrente (gráfico 4) se observa que sólo Yang (2002) lo hace. Este investigador hace preguntas en caso de que hubiese silencio prolongado o cuando el investigador considera que no hay éxito en el reporte del Protocolo Oral.

10. Rocha et al., (2004), presta ayuda a sus estudiantes que puede ser catalogada como Ayuda en la realización del Protocolo Oral retrospectivo, (gráfico 4). El investigador interroga a sus estudiantes una vez que han terminado su tarea.

11. En relación con la categoría Evaluación externa del protocolo (gráfico 5) dos autores Yang (2002) y Ferrari (2004), señalan que otros investigadores evalúan el texto del Protocolo oral. En el caso de Yang, describe al evaluador y presenta el nivel de confiabilidad de ínterevaluadores.

13. En la categoría Uso de datos paralingüísticos, solamente Requena (2003) señala que observó las características paralingüísticas (risas, silencios y repeticiones).

14. Categoría Usar el idioma que desee para reportar el Protocolo Oral. Concurrente. Así, Blosnski Hardin (2001) permitía que sus estudiantes se expresaran en cualquiera de los idiomas y Yang (2002) que sus estudiantes reportaran en sus lenguas maternas o en una mezcla de la lengua materna chino con inglés como lengua extranjera.

15. Proceso de transcripción (gráfico 6). Tanto Yang (2002) como Requena (2003) señalaron los aspectos que transcribieron de los Protocolos Orales.

16. Proceso de codificación y análisis (gráfico 6). Sólo Requena (2003) señaló el proceso de codificación  e interpretación que llevó a cabo con los Protocolos Orales obtenidos.

17. Información sobre interpretación (gráfico 6). En la introducción y a lo largo del texto del artículo publicado, Rocha et al., (2004) aclaran que expresarán las explicaciones propias del investigador.

18. Determinación previa de categorías de análisis: Requena (2003) determinó las categorías de análisis con base en publicaciones/literatura previa.

19. Tiempo entre reportes verbales: Blonski Hardin (2001) se aseguró de que hubiese una distancia de, al menos, una semana entre los Protocolos Orales sobre lectura en lengua materna (español) y segunda lengua  (inglés).

Pasos considerados como indispensables para llevar a cabo la técnica de Protocolos Orales al hacer indagación sobre estrategias metacognitivas en áreas de la educación

1.   Etapa/Proceso de Calentamiento. Se requiere de un período de preparación y práctica prolongado para que el participante familiarice con la técnica y pueda verbalizar las estrategias en la misma medida en que realiza la tarea. Parece interesante el proceso de calentamiento llevado a cabo por Rocha et al., (2004), que se realiza frente a la clase completa y se ejercita en parejas y pequeños grupos con apoyo del investigador. Quizá sea una forma de ahorrar tiempo y esfuerzo, además de asegurar que todos los informantes tengan un nivel de preparación equivalente o similar.

2.   Tarea de Calentamiento diferente a la tarea del Protocolo Oral. Interesa que los participantes se familiaricen con el uso del procedimiento del Protocolo Oral, pero no con el contenido específico a tratar en la investigación. La tarea usada en la etapa de calentamiento debe ser tan lejana como sea posible de la que se pretende observar. Esto con el fin de evitar que los informantes practiquen o memoricen verbalizaciones en la ejecución de la tarea de interés.

3.  Distanciamiento entre el momento de Calentamiento y el Protocolo Oral.

4.  Asignación de tarea explícita con Protocolo Oral Concurrente. Es importante que el investigado tenga claro qué se requiere de él o qué producto debe generar. En virtud de esto, es conveniente explicitar la tarea a llevar a cabo. Se recomienda realizar Protocolos Orales Concurrentes para recolectar simultáneamente cómo la persona piensa y evitar que ésta reconstruya la manera como piensa si se hiciese tiempo después de que la tarea ha sido hecha.

5.  Asignación de tarea explícita con Protocolo Oral Retrospectivo. El Protocolo Oral debe ser concurrente y únicamente llevado a cabo de manera retrospectiva cuando se trabaje con niños y adultos con limitaciones. Al respecto, Vinther (2005) sentencia que “las verbalizaciones, que son decodificaciones vocales de pensamientos sobre elecciones, estrategias y hasta actitudes no pueden ser retrospectivas, aunque ese es el caso frecuentemente” (subrayado añadido, p. 253)

Interesante en este aspecto, puede ser que los estudiantes lleven a cabo su tarea con protocolo oral concurrente y apenas terminada el investigador lo entreviste e indague sobre las vías alternas o diferentes que tomó para alcanzar la tarea. Esta pregunta se haría de manera retrospectiva y pudiese servir como una forma de triangular la información obtenida en el Protocolo Oral con el mismo informante de inmediato, sobre las estrategias metacognitivas evidenciadas.

6.  Las características de las tareas y su cercanía a los estudiantes. Al llevar a cabo una actividad de Protocolo Oral como parte de una investigación se deben considerar los siguientes aspectos: a) se espera que el estudiante informe sobre las estrategias que usa mientras hace una tarea que de alguna manera ya ejecuta. La tarea debe ser conocida, tener un nivel de dificultad que represente un reto y permitir que el estudiante se sienta estimulado a realizarla. De Brito Neves (2006) en relación con la tarea de lectura, mantiene que “si el texto es muy fácil, será leído automáticamente… sin necesidad de aplicar destrezas mentales elaboradas para su comprensión” (p. 47.); b) por otro lado, se deben considerar las características de los estudiantes, tales como su edad, intereses, necesidades educativas para decidir la extensión y complejidad de la tarea a aplicar.

7.  Uso de recursos de apoyo. Diversos recursos pueden ser necesarios para que el informante clave utilice alguna estrategia de presentación visual así como ayuda para desarrollar la tarea. Se debe recordar que la evidencia (lo escrito, grabado, dibujado) que deja el estudiante informa una perspectiva cognitiva y el Protocolo Oral proporciona información sobre la capacidad metacognitiva. Si posteriormente se pueden comparar los dos resultados la comprensión  metacognitiva se profundizará.

8.  Evaluación de la tarea/producto realizado. Mientras la técnica de Protocolo Oral provee información respecto a las estrategias metacognitivas, el resultado de la evaluación puede proporcionar información referente a la actuación cognitiva. En la medida en que la tarea posea un nivel alto de complejidad, los resultados de la evaluación de la tarea en cuestión podrán constituirse en insumos importantes para complementar las estrategias metacognitivas observadas con la técnica de Protocolo Oral.

10. Ayuda en la realización del Protocolo Oral retrospectivo. En el Protocolo Oral retrospectivo con niños o con adultos mayores con limitaciones de memoria, se debería usar algún tipo de ayuda de parte del investigador. Sus preguntas, como en la categoría anterior deben ser planificadas y se deben hacer lo más cercano posible a la ejecución de la tarea a fin de mantener cierto grado de validez en la indagación.

11. Evaluación externa del resultado del protocolo. Este proceso permite validar la información con lectores o investigadores que no están llevando a cabo el proceso de investigación. De esta manera se triangula la evaluación de los resultados y por ende se garantiza la validez de la información obtenida en la indagación. El evaluador externo puede ser otro docente perteneciente o no a la institución en la que trabaja el investigador principal o expertos en las áreas de influencia del proyecto de investigación en trabajo.

12. Reevaluación del Protocolo por parte de los estudiantes. Con este punto se considera que este paso no parece adecuado por cuanto la persona, una vez transcurridos tiempo después de realizar la tarea y decir lo que estaba pensando mientras la llevaba a cabo, se encontrará en un contexto diferente y quizá llegue a crear ideas nuevas no relacionadas con la tarea que llevó a cabo acerca de lo que cree que dijo y pensó días atrás. El informante clave no puede opinar hoy de cómo pensaba ayer mientras realizaba la tarea. Si esto se realiza, no sería explicitar cómo piensa sino tratar de recordar cómo lo hizo.

13. Uso de datos paralingüísticos. Este tipo de información, constituida por silencios, gestos, movimientos corporales es necesaria para apoyar lo recogido, ya que estos elementos proveen de mayor fuerza y riqueza al discurso oral.

14. Usar el idioma que desee para reportar el Protocolo Oral. En investigaciones con estudiantes que están aprendiendo un idioma diferente al materno, es necesario que el participante se sienta a gusto de usar la lengua en la que considera tiene mayor competencia mientras hace el reporte oral. Así se evita una sobrecarga de la memoria de trabajo y se favorece el aspecto afectivo, al no sentirse obligado a hacer una verbalización en una lengua en la que aún no se considera competente.

15. Proceso de transcripción. El investigador que pretenda llevar a cabo indagación metacognitiva utilizando Protocolos Orales debe tener presente que la información oral es sólo una fracción de todo lo que se está buscando. El uso de grabaciones de video como parte del proceso del Protocolo Oral se está convirtiendo en un procedimiento cada vez más extendido como parte de la técnica. Se tienen que tomar decisiones claras en cuanto a todo lo que se debe transcribir para que sea analizado en otras etapas del proceso de investigación. Por otro lado, se debe incluir un aparte en el reporte de investigación (en este caso, el artículo para publicación) en el que se expliciten los aspectos que se transcribieron en el proyecto realizado.

16. Proceso de codificación y análisis. Tanto el procedimiento de investigación como el proceso que se use para codificar y analizar los datos tienen que ser explícitamente descritos de manera tal que los procedimientos “permitan replicar la investigación a otra persona” (Nunan, 1992, p. 60).

17. Información sobre interpretación. Generalmente, los investigadores presentan sus “interpretaciones” en la sección dedicada a la “discusión”. En uno de los trabajos de investigación revisados (Rocha, et al., 2004) se encontró que los autores van presentando sus interpretaciones a lo largo de la etapa de procedimiento de su investigación. Creemos que más importante que el lugar en el que aparecen, es que se incluyan en el trabajo porque “el comentario interpretativo…enmarca en una discusión teórica que señala la significación general de la aseveración o patrón observado” (Davis, 1995, p. 448). En este tipo de trabajo, la interpretación del investigador es fundamental para la comprensión del fenómeno bajo estudio.

18. Determinación previa de categorías de análisis. Dependiendo del paradigma de investigación en el que esté envuelto el investigador, puede decidir o no iniciar su preparación con una determinación previa de las categorías de análisis. Ericsson y Simon (1980 y 1993) parecen exigir este paso para que sea válida la utilización de la técnica de Protocolos Orales. Los autores, sin embargo, consideramos que si se intenta conocer una realidad en profundidad, no podemos iniciar el trabajo de investigación con preconcepciones.

A manera de conclusión

A pesar de lo difícil de lograr una definición y lineamientos teóricos, se deben considerar las técnicas usadas para acceder hacia ese “saber sobre el saber” guardado en nuestras mentes, el cual es un conocimiento que le pertenece a la persona y, que en muchos casos, ni siquiera ésta  puede verbalizar. Una de las técnicas que se utiliza para acceder al conocimiento metacognitivo es el protocolo oral y muchos investigadores le han dedicado atención en sus publicaciones (Cooper y Holzman, 1983; Arndt, 1987; Ericsson y Simon, 1980 y 1993; entre otros). El protocolo oral requiere de constante revisión y cuidado por parte del investigador, ya que la validez de los hallazgos que se obtengan puede ser afectada por diversos factores. La técnica de protocolo oral ha sido usada en un amplio rango de áreas y en diferentes niveles educativos. El protocolo oral puede ser exitoso en la medida en que se conozcan las debilidades en su alcance y se sigan los pasos para llevarlo a cabo, tanto en el proceso de recolección de información como en el de procesamiento de los datos.

En este trabajo tuvo como propósito analizar el uso de la técnica de Protocolos Orales por parte de investigadores en áreas de la educación, quienes la utilizan con el fin de conocer las estrategias metacognitivas de sus estudiantes. Se revisaron varios trabajos de investigación ya publicados en revistas arbitradas tanto nacionales como internacionales a fin de observar desde una perspectiva cualitativa la manera en que la técnica de Protocolo Oral fue operacionalizada en dichas investigaciones.

Con base en el análisis de los datos codificados en esos trabajos,  las contribuciones de los investigadores que han hecho publicaciones en el uso de Protocolos Orales y el aporte de los autores de este trabajo, hemos enunciado lo que consideramos son categorías indispensables para utilizar los Protocolos Orales cuando se requiera hacer indagación sobre las estrategias metacognitivas  en áreas de la educación.

A pesar de que los objetivos de cada uno de los trabajos estudiados eran bastante parecidos y algunos con contextos similares se observó también, que el reporte de los pasos considerados en el proceso de investigación fue muy diferente. Cuando no se describen con la mayor precisión los procedimientos usados, se impide que otros lectores evalúen la investigación y establezcan si se pueden generalizar los hallazgos o que otros investigadores repliquen el proyecto (Villalobos, 1999).

Referencias

1. Arndt, V. (1987). Six students writers in search of texts: A protocol-based study of L1 and L2 writing. ELT Journal, 41, 257-267.        [ Links ]

2. Becerra, A. (2002). Thesaurus de la investigación académica universitaria. Caracas, Instituto Pedagógico de Caracas.        [ Links ]

3. Blonski Hardin, V. (2001). Transfer and variation in cognitive reading strategies of Latino fourth-grade students in a late-exit bilingual program. Bilingual Research journal, 25(4), 417-439.        [ Links ]

4. Cooper, M. y Holzman, M. (1983). Talking about protocols. College composition and communication, 34, 284-293.        [ Links ]

5. Davis, K. A. (1995). Qualitative theory and methods in applied linguistics research. Tesol Quarterly, 29(3), 427-53.        [ Links ]

6. De Brito Neves, D. A. (2006). La verbalización como registro para el análisis en la investigación sobre lectura. Anales de Documentación, 9, 43-51.        [ Links ]

7. Ericsson, K. y Simon, H. A. (1980). Verbal reports as data. Psychological Review, 87, 215-251.         [ Links ]

8. Ericsson, K. y Simon, H. A. (1993). Protocol Analysis. Cambridge, The MIT Press.        [ Links ]

9. Ferrari, V. (2004). Transferencia de estrategias de escritura entre lengua materna, español y lengua extranjera. Lenguas Modernas, 30, 123-159.        [ Links ]

10. Garner, R. y Alexander, P. A. (1989). Metacognition: aswered and unanswered questions. Educational Psychologist, 24(2), 143-158.        [ Links ]

11. Georghiades, P. (2004). From the general to the situated: three decades of metacognition. International Journal of Science Education, 26(3), 365-383.        [ Links ]

12. Giorgi, A. (2002). The question of validity in qualitative research. Journal of Phenomenological Psychology, 33(1), 13-18.        [ Links ]

13. Mayor, J., Suengas, A. y González Marqués, J. (1995). Estrategias metacognitivas: Aprender a aprender y aprender a pensar. Madrid, Síntesis.        [ Links ]

14. Nunan, D. (1992). Research methods in language learning. Cambridge, University Press.        [ Links ]

15. Requena, M. (2003). El análisis de protocolo como técnica para la comprensión de los procesos de razonamiento. Laurus, 9(16), 79-96.        [ Links ]

16. Rocha, S., Gusmao, T. C., Cajaraville Pegito, J. A. y Labraña Barrero, P. A. (2004). Algunos matices de estrategias cognitivasmetacognitivas durante resolución de problemas con estudiantes de E.S.O [Documento en línea]. Disponible: www.enciga.org/boletín/56 /Algunos_Matices.pdf   (Consulta: 2007, Febrero 26).        [ Links ]

17. Ryle, G. (1949). The concept of mind. London: Hitchinson.        [ Links ]

18. Villalobos, J. (1999). La investigación cualitativa y algo más…Teoría y práctica en las lenguas extranjeras. Mérida, Venezuela: Universidad de los Andes.        [ Links ]

19. Vinther, J. (2005). Cognitive processes at work in call. Computer Assisted Language Learning, 18(4), 251-275.        [ Links ]

20. White, R. T. (1986). Origins of PEEL. En J. R. Baird y I. J. Mitchel (Eds.), Improving the quality of teaching and learning: An Australian case study-The PEEL project. Melbourne, Monash University.        [ Links ]

21. Yang, Y. F. (2002). Reassessing reader’s comprehension monitoring. Reading in a Foreign Language, 14(1) 18-42.        [ Links ]

Anexos

ANEXO I: PRIMER TRABAJO. Autor: Blonski Hardin (2001)

· Cómo cada nivel de lectores conceptualiza los procesos de lectura en general  y el proceso de lectura en dos lenguas.

· Cómo los estudiantes usan estrategias de lectura cognitiva en sus lenguas maternas.

· Cómo los estudiantes aplican las estrategias de lectura cuando leen el lengua extranjera.

· Cómo el nivel de suficiencia en inglés influye sobre el uso de estrategias cognitivas de lectura cuando leen en inglés.

Contexto de la Investigación: este trabajo se llevó a cabo en un contexto de inglés como segunda lengua. Se trabajó con 50 niños (30 femeninos y 20 masculinos) entre 9 y 10 años de edad, bilingües, hispano-hablantes de cuarto grado agrupados por nivel de habilidad de lectura en español que era su lengua materna (Competentes, Promedio y Menos competentes).  Los niños estaban en dos cursos separados.

Técnicas usadas en la Investigación:

Los investigadores usaron a una visión cualitativa de recolección y análisis de datos. Llevaron a cabo: 1) entrevistas individuales para recoger datos sobre las percepciones de la lectura y 2) Protocolos de pensamiento en voz alta para conocer los procesos de lectura estratégica en español e inglés.

Procedimiento llevado a cabo:

2. Para balancear el problema de que los niños no siempre reportan todo lo que ocurre, se usaron 15 preguntas sobre   estrategias cognitivas de lectura tomadas de investigaciones previas.

Antes de las sesiones de las entrevistas se llevaron a cabo estas actividades:

· Observaciones informales de los dos  docentes de cuarto grado por espacio de 15 horas.

· Las clases fueron observadas durante el receso, en la cafetería y en la biblioteca.

Entrevista individuales sobre lectura:

Se usó una entrevista de 8 preguntas sobre percepciones estudiantiles de la lectura en general y el proceso de lectura en dos idiomas. Estas preguntas indagaban sobre a) las conductas lectoras de los buenos lectores, b) el idioma preferido para leer de los estudiantes, c) instrucción previa en el idioma, d) formas específicas en las que el español puede ayudar o detener la lectura en inglés o viceversa.

Protocolo de pensamiento en voz alta

1. Se usaron textos expositivos equivalentes (más cercanos a las demandas escolares de grados superiores) en español y en inglés.

2. Los temas contenían tópicos familiares a estudiantes de cuarto grado. De esta manera la falta de conocimiento previo no afectaría la comprensión.

4. Se entrenó a los estudiantes de la siguiente manera:

· El profesor leyó un texto frente a toda la clase.

· Se detenía luego de varios segmentos.

· Hablaba sobre lo que iba pensando y trataba de entender la lectura.

· Luego, los estudiantes practicaban en parejas o en grupos pequeños mientras el docente monitoreaba el proceso.

Entrevista estructurada sobre estrategias por cada lengua

1. El orden de la entrevista se determinó. Para evitar problemas de interpretación debido a efectos de interpretación de orden del idioma, se alternó el idioma para la lectura cada doce estudiantes.

2. Cada estudiante se entrevistó con el investigador en dos sesiones de entrevistas individuales separadas en un espacio de una semana.

3. La sesión inicial tenía tres fases:

a. Entrevista sobre lectura

b. Lectura y tarea de pensamiento en voz alta en español o inglés.

c. La entrevista sobre estrategias inmediatamente después de la tarea de lectura y pensamiento en voz alta.

4. Debido a que la entrevista sobre lectura se hacía una sola vez, la segunda sesión solo consistía de dos fases.

a. Lectura y pensamiento en voz alta en el idioma que no se trabajó antes (alterno)

b. Entrevista sobre estrategias usadas cuando se leía en ese idioma.

c. Para evitar que los estudiantes recordasen las preguntas sobre las estrategias, la segunda tarea de pensamiento y lectura en voz alta fue llevada cabo una semana después de completada la primera tarea de lectura y pensamiento en voz alta.

d. Los estudiantes tenían la oportunidad de expresarse en cualquiera de los idiomas que deseasen durante la tarea de pensamiento en voz alta.

1. Para desarrollar lectura en alumnos bilingües (español e inglés) la instrucción en lectura debería desarrollar una perspectiva de lectura que comprenda procesos mentalistas, comprensión inferencial, conciencia de la comprensión y estrategias propias.

2.  La instrucción de lectura para lectores de segundas lenguas debería integrar a la comprensión con elementos lingüísticos en vez de desarrollar primero las destrezas en el segundo idioma y retardar la instrucción en comprensión de lectura.

3.  Se requiere el desarrollo profesional de profesores bilingües y monolingües  en los nuevos paradigmas de lectura que enfoquen los procesos estratégicos que enfoquen los aspectos comunes  de los procesos cognitivos de lectura de los dos idiomas.

ANEXO II: SEGUNDO TRABAJO. Autor: Yang Yu-Fen (2002).

Objetivo: evaluar el monitoreo de la comprensión de lectura de textos técnico-científicos de estudiantes con y sin suficiencia en inglés como segunda lengua en estudiantes universitarios.

Contexto de la Investigación: los informantes eran estudiantes universitarios, nativo-hablantes de variantes del chino y estaban en el Departamento de Administración  (6 estudiantes) y de Diseño de Espacio (6 estudiantes) de la Universidad de Ciencia y Tecnología Nacional de Yunlin. Fueron seleccionados al azar en base a sus notas de lectura. Se tomaron  6 participantes del 14% superior y 6 del 14% inferior para conformar un grupo de lectores con suficiencia y un grupo de lectores sin suficiencia.

Técnicas usadas en la Investigación: en este estudio se usaron dos técnicas, el protocolo de pensamiento en voz alta y un procedimiento diagnóstico y remedial.

Procedimiento llevado a cabo:

Protocolo pensamiento en voz alta

1.  En ambas etapas el profesor se encontraba con cada alumno de forma individual.

2.  Se informó al estudiante que los reportes verbales serían grabados y transcritos.

3.  Podían reportar en sus lenguas maternas o en mezcla de lengua materna con inglés como lengua extranjera (inglés). Esto con el fin de disminuir la carga cognitiva de llevar a cabo una tarea y tener que reportar en la lengua extranjera.

4.   Para facilitar el reporte, el investigador tradujo los reportes a inglés.

5.   Cada participante recibió una introducción sobre el procedimiento de Pensamiento en Voz Alta.

6.   Una vez que lo entendieron, se les dio un texto para entrenamiento/práctica. (Calentamiento).

7.   Cinco días después, se llevó a cabo la sesión formal y se entregó el texto nuevo por primera vez.

8.   Se pide al estudiante que reporte verbalmente mientras lee el texto asignado.

9.   El experimentador estaba al lado de cada sujeto y podía preguntar en caso de silencio prolongado. (¿Qué piensas?, ¿Por qué te has detenido? ¿Qué oración lees?)

11. Si el profesor observaba que no había éxito en el reporte, usaba preguntas como: ¿Qué interpretarías si leyeras las oraciones completas? ¿Pudieses hablar un poco más alto?

12.  Algunos estudiantes podían solicitar la ayuda del profesor mientras que otros no la necesitaron.

13.  Al finalizar, los estudiantes debían realizar una prueba de selección múltiple sin poder regresar al texto. (PRODUCTO)

14.  Cinco (05) días luego de la sesión, cada participante re-evaluaba su propio protocolo oral por si confirmaba, rechazaba, modificaba o corregía algo.

15.  Esta parte también fue transcrita.

16.  Se identifican siete (07) niveles de procesos cognitivos en el monitoreo de la comprensión para analizar los protocolos.

17. Se usó otro evaluador que tenía estudios de postgrado en el análisis de protocolo. Se alcanzó un nivel de confiabilidad entre evaluadores de  0.83.

18. Cualquier diferencia fue resuelta en base a discusiones.

Conclusiones de la Investigación:

2.  Lectores con suficiencia mostraron niveles de monitoreo de la comprensión más altos.

3.  La interacción con una persona conocedora del área ayuda al desarrollo del monitoreo de la comprensión.

4.  La intervención del docente aumentó el nivel de monitoreo de los lectores menos suficientes.

5.  El monitoreo de la comprensión no es menos importante que las estrategias de lectura.

ANEXO III: TERCER TRABAJO. Autor: Requena (2003)

Objetivo: indagar sobre procesos cognitivos en la resolución de problemas algebraicos literales aplicados (PALAs), con a fin de determinar la posible influencia de la estructura del enunciado de tales problemas sobre dichos procesos. El foco de atención de este trabajo es el aspecto verbal de los problemas. Por esa razón, se lleva a cabo un análisis proposicional de los enunciados en los problemas.

Contexto de la Investigación: este trabajo se desarrolló con 3 estudiantes universitarios de 5to año de Educación, Especialidad Matemática y Física de la Universidad Católica Andrés Bello de Caracas. El idioma de trabajo es el español como lengua materna

Ejemplo de Problema (PALA): Un auto parte de Trujillo hacia Mérida. Debido a la neblina encontrada en el camino se ve obligado a reducir la velocidad a la cuarta parte de la velocidad original, llegando a Mérida con 3 horas de retraso. Si la neblina hubiera aparecido 30 Km más cerca de Mérida, el retraso habría sido de una hora. ¿Cuál era la velocidad inicial del auto?

Técnicas usadas en la Investigación: en este trabajo se usó el Protocolo Oral Concurrente.

Protocolo oral

1.        FASE UNO: análisis proposicional de enunciados de 109 Problemas Algebraicos Literales Aplicados.

2.        Se identificaron 4 estructuras proposicionales diferentes.

3.        PALA de relaciones explícitas.

4.        PALA de datos.

5.        PALA de relaciones explícitas y datos.

6.        PALA  de proposiciones guía.

7.        FASE DOS: Protocolo Oral

8.        Cada sujeto tuvo 3 sesiones individuales de calentamiento.

10.     El investigador solicitaba las verbalizaciones sin dirigirlas. (Indagación general no dirigida)

11.     En esta parte, el investigador brindaba retroalimentación durante y después en relación a la calidad de la verbalización.

12.     Cada sujeto dijo estar preparados para resolver problemas mientras verbalizaban.

13.     A cada sujeto se le presentó un ejemplar de cada una de las 4 clases de PALAs obtenidos en la Fase Uno. (Una sesión por problema).

14.     Tenían apoyo de papel y lápiz.

15.     Los sujetos verbalizaron sus pensamientos mientras resolvían los problemas.

16.     Se transcribieron verbalizaciones considerando toda la información paralingüística. (Risas, silencio, repetición)

17.     Se segmentó cada transcripción en unidades susceptibles de interpretación.

18.     Se codificó cada segmento producido de las verbalizaciones usando las categorías de análisis encontradas en la Fase UNO.

Conclusiones de la Investigación: se presentan las siguientes conclusiones:

1. Existe variedad de verbalizaciones y de indagaciones del pensamiento.

2. Para un reporte verbal válido, es preferible solicitar una verbalización de niveles 1 y 2 y en forma simultánea mejor que en  retrospectiva.

3. Se debe ayudar a que los sujetos tomen conciencia de los procesos que han aprendido a realizar automática o compiladamente. Para ello, la indagación debe ser general o específica no dirigida y el sujeto debe recibir un calentamiento.

4. La validez y confiabilidad de un análisis de protocolo se asegura por las condiciones de la verbalización anteriormente descritas y por el procedimiento que se siga en la técnica.

5. Si se determina previa y fundamentadamente las categorías de análisis, se transcribe lo más semánticamente fiel posible el reporte grabado y se codifica cada unidad significativa del reporte,  la validez y la confiabilidad del análisis pueden asegurarse.

ANEXO IV: CUARTO TRABAJO. Autor(es): Ferrari (2004)

Objetivo: determinar estrategias  al escribir textos tanto en lengua materna (español) como en lengua extranjera (inglés) y las características de los productos escritos.

Técnicas usadas en la Investigación: la indagación  que se realizó era principalmente descriptiva utilizando análisis cualitativo. Las técnicas usadas en este trabajo fueron  el Protocolo Oral Concurrente y el Análisis de Texto escrito.

Procedimiento llevado a cabo:

Protocolo oral

1. A cada estudiante se le convocó individualmente para practicar la técnica.

2. Se observó si el hecho de verbalizar entorpecía el trabajo de escritura.

3. Cada participante en esta etapa (de calentamiento) debía resolver un ejercicio de matemática. (Diferente al que harían durante la etapa de producción escrita para evitar inducción de parte del investigador.)

4.  Cada estudiante debía escribir, en dos sesiones diferentes y separadas por una semana de tiempo, un texto en LM y luego en LE.

5.  Se debía grabar pasos e ideas que le venían al estudiante a la mente mientras hacía la tarea.

6.  Se grababa la sesión en cinta de sonido.

8. Con el fin de aumentar la validez del estudio, la codificación de los protocolos orales fue realizada tanto por el investigador como por un evaluador externo.

Análisis de los textos

1. Cada texto fue evaluado por 3 jueces

2. Los textos en español por 3 jueces con LM español.

3. Los textos en inglés por 3 jueces con LM inglés.

4. Cada juez usó criterios de evaluación de textos escritos de Chamot y O`Malley (1994, p. 117).

5. Además, se discutió el proceso de corrección a seguir.

6. Los textos se identificaron solo con número para los evaluadores.

7. Evaluadores devolvieron los textos con correcciones y anotaciones.

9. En algunas ocasiones, los jueces asignaron niveles que no existían en los criterios de evaluación entregados.

10. Por esto, se hizo una adaptación de la escala para recoger lo que los evaluadores señalaron.

11. Se consideraron los comentarios y las evaluaciones.

12. Se promediaron las cuatro evaluaciones otorgadas por los jueces en cada texto revisado.

13. Se tomó la evaluación que más se repetía.

Conclusiones de la Investigación: se observó que parece haber transferencia de la lengua materna a la lengua extranjera, en al menos algunas estrategias de escritura, así como similitud en la organización de los textos producidos por todos los estudiantes de la investigación.

ANEXO V: QUINTO TRABAJO. Autores: Rocha S. Gusmao, Cajaraville Pegito y Labraña Barrero (2004)

Objetivo: estudiar la influencia de componentes metacognitivos sobre la comprensión de las matemáticas en un contexto de resolución de problemas en la perspectiva de que los procesos formativos debieran contribuir al desarrollo de las competencias metacognitivas preexistentes.

Técnicas usadas en la Investigación: el tipo de indagación es Cualitativo-Descriptiva. Se usó la técnica de Protocolo Oral retrospectivo con ayuda externa del investigador después de realizada la tarea.

Procedimiento llevado a cabo:

Protocolo oral

1. Los estudiantes debían resolver un problema matemático no rutinario que requiere de habilidades no estándares para resolverlo y que rompe con las estrategias habituales. Requiere de pensamiento y acciones concientes para su resolución.

2. Debían presentar la solución por escrito.

3. Inmediatamente después de terminar, el investigador entrevistaba al niño para que éste le explicara lo que hizo para resolver el problema.

4. Tuvo dos etapas:

5. Etapa a) El problema de las tres bolitas: 3 bolitas del mismo tamaño y color, dos tienen el mismo peso y una más ligera. Con una balanza con dos platos ¿Cómo saber cual bolita pesa menos haciendo sólo una pesada?

6. Etapa b) El problema de las nueve bolitas. Teniendo en cuenta la manera en que solucionaron el problema anterior (los tres estudiantes pudieron discutir con sus compañeros y además se les dio la mejor solución por escrito), ahora deberían saber cual bolita tenía menos peso pero al recibir nueve de ellas. Solo podían hacer dos pesadas.

8. Se preguntaba sobre cómo fue el proceso y sobre otras formas de solución alternativa para el problema.

9. A la vez, en este artículo el investigador va expresando sus propias explicaciones en relación a la respuesta escrita y la dada oralmente por el estudiante.

10. Entre la etapa a y b de la solución de estos problemas, los estudiantes tuvieron la oportunidad de comunicarse y haber comprendido las formas de solución de los otros dos compañeros.

Conclusiones de la Investigación: se concluye que la comunicación entre pares puede haber ayudado a algunos de los estudiantes a mejorar para realizar la segunda solución de problemas. Se consideraron problemas en el dominio de la lengua para comunicar lo que los estudiantes  entendieron e hicieron en realidad. Los investigadores señalan que quizá se requería de más tiempo para “lograr un diálogo fructífero entre entrevistados y entrevistadores para…tener resueltos los problemas satisfactoriamente”.