COMPLEJIDAD DE LA TAREA COGNITIVA Y NIVEL DE DIFICULTAD DE PREGUNTAS EN EVALUACIÓN DE COMPRENSIÓN DE LECTURA EN INGLÉS CIENTÍFICO Y TÉCNICO (ICT)

 

Yris Casart, Pue Fang Fung, Marta Trías.

 

Universidad Simón Bolívar, Miranda, Venezuela,  ycasart@usb.ve,

 

Universidad Simón Bolívar, Miranda, Venezuela, puefang@usb.ve y

,

Universidad Simón Bolívar, Miranda, Venezuela, mtrias@usb.ve

 

 

RESUMEN

 

En la evaluación de la comprensión de lectura en L2, existen posturas diferentes sobre la relación entre el nivel de dificultad de una pregunta y la complejidad del proceso cognitivo requerido para contestarla correctamente. Se cree que las preguntas que involucran procesos cognitivos de alto nivel revisten mayor dificultad que aquellas que requieren procesos de bajo nivel cognitivo. No obstante, resultados como los de Alderson y Lukmani (1989) y Alderson (1990) cuestionan la existencia de dicha relación. Por otro lado, existe la suposición de que la adquisición de destrezas de comprensión de lectura procede de manera lineal y acumulativa; es decir, que para poder dominar el procesamiento cognitivo de alto nivel es necesario primero adquirir destrezas de bajo nivel cognitivo. Con el objeto de indagar estos supuestos, se analizaron datos provenientes de una prueba de comprensión de lectura administrada a estudiantes de un programa de Inglés Científico y Técnico. Los resultados obtenidos del análisis estadístico del patrón de respuestas indican que las variaciones observadas en el nivel de dificultad de las preguntas no obedecen a la complejidad del proceso cognitivo. Asimismo, los resultados del presente trabajo cuestionan la adquisición de destrezas de comprensión de lectura de manera lineal y acumulativa.

 

Palabras clave: Comprensión de lectura en L2, complejidad del proceso cognitivo, nivel de dificultad de preguntas, orden de adquisición de destrezas de lectura.

 

COMPLEXITY OF COGNITIVE TASK AND ITEM DIFFICULTY IN READING COMPREHENSION TESTS OF ENGLISH FOR SCIENCE AND TECHNOLOGY (EST)

 

ABSTRACT

 

In the field of reading comprehension assessment of L2, there are different views about the relationship between item difficulty and complexity of cognitive processes required to find the correct answer in reading comprehension tests. It is commonly believed that those items which require higher order skills are more difficult than those requiring lower order skills. Nonetheless, findings reported by Alderson and Lukmani (1989) and Alderson (1990) cast doubts on this relationship. It is furthermore assumed that the acquisition of reading skills proceeds in a lineal-cumulative fashion; that is, before higher order skills can be developed, lower order ones should be acquired. Statistical analysis of the pattern of student responses on a reading comprehension test of English for Science and Technology showed that the variations observed in item difficulty are not linked to the complexity of the cognitive processes required to answer a question correctly. Likewise, our results also raise questions about the belief that reading skills are acquired in a lineal-cumulative order.

 

Key words: Reading Comprehension in L2, complexity of cognitive processes, item difficulty, acquisition order of reading skills.

 

Recibido: 19/07/2011. Aceptado: 09/11/2011

 

Introducción

 

El diseño de cursos y la evaluación de comprensión de lectura en segundas lenguas (L2) suelen reflejar, de manera implícita o explícita, la visión que se tiene acerca del constructo que representa esta destreza. Existe una tendencia entre los profesores de lectura en inglés como segunda lengua (ISL) o lengua extranjera (ILE) a pensar que los procesos cognitivos de alto nivel revisten mayor dificultad para el estudiante que los de bajo nivel. Esto se evidencia en el hecho de que el orden de presentación de los contenidos programáticos generalmente está asociado a una jerarquía de dificultad (de menor a mayor) que no necesariamente representa la secuencia en la que se adquieren las destrezas. Dicha creencia ha estado por mucho tiempo respaldada por taxonomías que reflejan un orden jerárquico de adquisición de habilidades cognitivas para la comprensión de lectura.

 

De manera similar, en la elaboración de pruebas de comprensión de lectura en ISL o ILE se incluyen preguntas a las cuales se les asigna a priori un nivel de dificultad basado en el tipo de proceso cognitivo necesario para contestarlas acertadamente. Esta manera de proceder está muy arraigada, y se practica sin tomar en cuenta que tal nivel de dificultad establecido con base en esas jerarquías podría no corresponder al índice de dificultad que se calcula estadísticamente a partir del patrón de respuestas de los estudiantes una vez que la prueba ha sido administrada.

 

Asociar el orden de adquisición a una jerarquía de dificultad tiene entre sus antecedentes trabajos como los realizados por Bloom y sus colaboradores a mediados del siglo XX. Estos autores desarrollaron una taxonomía que cubría aspectos en los ámbitos psicomotor, afectivo y cognitivo, cuyo propósito fue clasificar los objetivos educacionales y organizarlos en diferentes niveles de dificultad de acuerdo a su complejidad cognitiva. Aunque esta taxonomía no se refería exclusivamente a los procesos cognitivos propios de la compresión de lectura en L1 o L2, sirvió de referencia en la elaboración de otras taxonomías cuyo objetivo era la clasificación de preguntas y su relación con el texto. Tal es el caso de las taxonomías elaboradas por Herbert (1978) y por Irwin (1986). (cp. Champeau, Marchi y Arreaza, 1994).

 

En el área de la evaluación de las destrezas de comprensión de lectura en L2, específicamente en lo que atañe a las pruebas en las que se utilizan preguntas de selección, existen diferentes posturas en cuanto a si existe relación entre el nivel de dificultad y la complejidad de la tarea cognitiva contenida en la pregunta. Por un lado, Pearson y Johnson (1978, cp. Alderson, 2000) plantean que existen tres tipos de preguntas de acuerdo a su complejidad cognitiva: (1) textualmente explícitas, la información de la pregunta y la respuesta están en el mismo enunciado; (2) textualmente implícitas, la información requerida para contestar la pregunta se encuentra en diversas partes del texto; y, (3) scriptally implícitas, se debe integrar la información del texto con el conocimiento previo ya que la respuesta correcta no se encuentra en el texto. Estos autores sugieren que de acuerdo a su complejidad cognitiva, estos tipos de preguntas tienen diferentes grados de dificultad. De ello puede inferirse que, según estos autores, existe una relación entre el nivel de dificultad de la pregunta y la complejidad del proceso cognitivo que conlleva a encontrar la respuesta correcta. Sin embargo, Alderson al respecto apunta que “aun no se ha demostrado que estos tres tipos de preguntas varían de forma consistente en dificultad” (2000, p. 87).^[1]

 

Llinares y Berríos (1990) hacen una serie de recomendaciones para escribir ítems modulares de selección simple con el propósito de evaluar la comprensión de lectura. Estos autores indican que los diferentes componentes de un ítem modular tienen diferentes niveles de dificultad. Además, sostienen que la dificultad del texto y las opciones depende, entre otros factores, del vocabulario y el tipo de estructuras gramaticales que contienen; mientras que la complejidad de la pregunta es proporcional a la complejidad del proceso cognitivo requerido para contestarla. Para ilustrar esta idea, Llinares y Berríos plantean que “un texto con un vocabulario, estructura y conceptos fáciles puede convertirse en un ítem fácil siempre y cuando la pregunta presente una tarea de bajo nivel cognitivo (por ejemplo, identificar información específica) o en uno difícil si la tarea requiere de un proceso cognitivo complejo tal como la inferencia” (1990, p.43).[2]

Si bien estos autores señalan que la dificultad de un ítem está determinada por la interacción entre los elementos que lo integran, el ejemplo que proporcionan sugiere que una tarea que involucra procesos cognitivos de alto nivel incide en la dificultad del ítem haciendo que resulte más difícil. En ese sentido, podría pensarse que, al igual que Pearson y Johnson (1978, cp. Alderson, 2000), Llinares y Berríos aluden a una relación proporcional entre la complejidad de la tarea cognitiva y el nivel de dificultad de la pregunta. Es posible que esta percepción esté justificada sobre la base de la experiencia docente.

 

Por su parte, Champeau et al., quienes desarrollaron una taxonomía para clasificar ítems modulares de comprensión de lectura, advierten que la complejidad de la tarea cognitiva

no implica necesariamente una jerarquía de dificultad, ya que otros factores tienen que ser considerados cuando se trata del nivel de dificultad de la pregunta. El tema o el estilo del texto y los conocimientos previos del lector con respecto al tema tratado son solamente dos de los factores que pueden afectar el nivel de dificultad de una pregunta (1994, p. 39).

En pocas palabras, a diferencia de Pearson y Johnson  (1978, cp. Alderson, 2000) y de Llinares y Berríos (1990), estas autoras consideran que no existe relación entre el nivel de dificultad de la pregunta y la complejidad del proceso cognitivo requerido para contestarla correctamente. Champeau et al. señalan que en la dificultad de un ítem intervienen otras variables además de la complejidad del proceso cognitivo contenido en la pregunta.

 

En vista de las diferentes posturas presentadas con respecto a la posible relación entre la complejidad de la tarea cognitiva contenida en la pregunta de comprensión de lectura en L2 y el nivel de dificultad de la misma, y dado que existe una creencia generalizada entre los profesores de que la complejidad de la tarea determina la dificultad de una pregunta, entonces sería legítimo generar datos que contribuyan a esclarecer la validez de esta hipotética relación. A tales efectos, con este estudio nos proponemos dar respuesta a una interrogante inicial: ¿Existe relación entre la complejidad del proceso cognitivo requerido para contestar una pregunta y su nivel de dificultad?

 

Plantearse esta interrogante tiene implicaciones sobre la noción que se tiene acerca del desarrollo de la habilidad de comprensión de lectura porque cuestionaría la existencia de una secuencia de adquisición asociada a un orden jerárquico de dificultad. A su vez, se estarían poniendo en tela de juicio las prácticas que se sustentan en dicha noción, es decir, las tendencias en el diseño de cursos y la evaluación de la comprensión de lectura en L2.

 

La lectura en L2 es un proceso complejo, el cual involucra la interacción de una gama de competencias y estrategias de orden cognitivo, cultural, motivacional y textual. Mediante este proceso el lector reconstruye el sentido del texto a partir de la interacción entre los conocimientos que ya posee y la información que el texto ofrece. Además de los conocimientos previos, la nueva información presentada en el texto se incorpora, simultáneamente, a otros factores tales como el nivel de competencia lingüística del lector, su motivación y su habilidad en el uso de estrategias, entre otros (St. Louis, 2001).

 

En la literatura especializada, la lectura ha sido abordada  como proceso y como  producto (comprensión de lectura). En las aproximaciones a la lectura como proceso se suele mencionar que ésta involucra procesos cognitivos diferentes, pero complementarios referidos como de alto nivel (procesamiento descendente) y de bajo nivel (procesamiento ascendente) (Alderson, 2000; Grabe, 2002; Mikulecky, 1989). Durante el procesamiento de tipo descendente, el lector integra sus conocimientos previos a la interpretación de las ideas contenidas en las oraciones para formar un modelo de texto que coincida con la intención y mensaje original del autor; en tanto que durante el procesamiento ascendente, el lector se centra en la decodificación veloz y automática del sistema grafémico, fonético, sintáctico y semántico que configura el texto. Según esta visión, el procesamiento ascendente (que va de los aspectos más elementales a los más complejos) y el procesamiento descendente se combinan paralelamente para alcanzar la comprensión del texto. Estos procesos intervienen en distinta medida y de manera diferente según el propósito de la lectura e implican distintas destrezas y distintos tipos de conocimiento (Carrell y Grabe, 2002; Walter, s.f;). En ese sentido, las estrategias que los lectores emplean para alcanzar la comprensión del texto varían según el propósito de la lectura; algunas de ellas son propias del procesamiento ascendente y otras del procesamiento descendente. A menudo, estas estrategias se combinan y se compensan unas a otras tal como ocurre con los tipos de procesamiento (ascendente y descendente). De allí que la lectura pueda caracterizarse como un proceso interactivo y estratégico (Grabe, 2009).

 

El reconocimiento de que existen diferentes procesos no implica que se entienda cabalmente cómo éstos interactúan. En un proceso dinámico como la lectura, la separación del proceso en sus componentes integradores es un recurso metodológico con fines heurísticos pero que no permite vislumbrar claramente la forma en que los procesos cognitivos y estrategias se combinan, ni tampoco la forma en la que operan y se activan los mecanismos de comprensión de acuerdo al propósito del lector.

 

Desde el punto de vista del estudio de la lectura como producto, Alderson (2000) se refiere a tres niveles de comprensión de un texto: comprensión literal, comprensión del significado de la información (inferencia), y finalmente, comprensión de las implicaciones que se derivan del texto (crítica). Según esta clasificación, se presume que la comprensión crítica de un texto reviste mayor grado de dificultad que la inferencia pues requeriría de procesamiento cognitivo de mayor nivel al momento de integrar la información textual. Del mismo modo, la comprensión crítica y la inferencia resultarían más difíciles que la comprensión literal, dado que esta última implicaría procesamiento de menor nivel de complejidad. Sin advertirlo, la noción de niveles de comprensión se asocia con un orden jerárquico de dificultad. Dicha noción, a su vez, hace pensar que existe un orden jerárquico para la adquisición de la competencia lectora, en el cual la capacidad para comprender un texto implica la adquisición de destrezas de manera lineal y acumulativa. En otras palabras, para poder llegar a comprender textos y dominar el procesamiento cognitivo de mayor nivel, se debería primero adquirir destrezas de lectura de menor nivel cognitivo. Se cree que primero se aprende a comprender textos de manera literal; que a ello le sigue la inferencia de significados a partir de información contenida en el texto; y que finalmente, una vez que se adquiera el dominio de estos estadios previos, se aprende a leer textos de manera crítica.

 

En investigaciones realizadas por Alderson y Lukmani (1989) y Alderson (1990a), se evidencia que los sujetos pertenecientes al grupo de lectores más débiles en términos generales se desempeñaron mejor en preguntas de alto nivel que en las de bajo nivel. De lo anterior, estos autores concluyen “no debería inferirse que un desempeño deficiente en preguntas de bajo nivel indique la incapacidad para desempeñarse bien en preguntas de alto nivel” (1989, p. 269).^[3] En otras palabras, los resultados de Alderson parecen indicar que contestar acertadamente preguntas de alto nivel no es necesariamente una consecuencia del dominio de habilidades de bajo nivel. Si bien, Alderson y Lukmani (1989) están de acuerdo en que existen diferentes niveles de comprensión, no son concluyentes en cuanto a la existencia de una relación consistente entre el nivel de complejidad de la tarea cognitiva[4] y el nivel de dificultad de la pregunta.

 

A partir de los resultados de su estudio, Alderson y Lukmani (1989) cuestionan la idea de que los niveles de comprensión sean efectivamente lineales y acumulativos, ya que argumentan que el procesamiento de alto nivel no está necesariamente asentado sobre el dominio de destrezas propias del procesamiento de bajo nivel. Creer que los niveles de comprensión son acumulativos y que además los de mayor nivel están asociados a un mayor nivel de dificultad es el resultado de pretender inferir el dominio de una habilidad o proceso a partir de un producto o respuesta. Alderson y Lukmani (1989) y Alderson (1990a) acertadamente consideran que tratar de inferir el proceso a partir del producto no toma en cuenta que responder preguntas de comprensión de lectura de forma correcta podría involucrar el uso de una variedad de destrezas interrelacionadas, más que el uso una destreza específica. Además, la forma de contestar preguntas de comprensión de lectura puede variar de un lector a otro ya que podrían hacer uso de diferentes procesos, estrategias y/o destrezas para hallar la respuesta correcta. De allí que Alderson (1990a) sostenga que es “poco probable que un ítem evalúe exclusivamente una sola destreza” (p. 436). Estas conclusiones nos conducen a plantearnos una segunda interrogante: ¿Es posible contestar acertadamente preguntas que requieran el dominio de habilidades de alto nivel sin el dominio de habilidades de bajo nivel?

 

El estudio que describimos a continuación tiene como objetivo dar respuesta a las dos interrogantes que surgen de estas reflexiones sobre la  lectura. En primer lugar, explora la naturaleza de la relación entre la complejidad del proceso cognitivo involucrado en dar respuesta a una pregunta de comprensión y el nivel de dificultad de la misma. Por otra parte, examina la posibilidad de que —aun sin el dominio de procesos cognitivos de bajo nivel— se puedan acertar las respuestas a preguntas que requieran procesos de alto nivel.

El estudio

 

Con el doble propósito de determinar si existe relación entre la complejidad de la tarea cognitiva de la pregunta y su nivel de dificultad; y al mismo tiempo, establecer si es posible contestar acertadamente preguntas que requieren el dominio de habilidades de alto nivel sin el dominio de aquellas de bajo nivel, utilizamos los datos provenientes de una prueba de comprensión de lectura administrada a una población de aproximadamente 730 estudiantes inscritos en el curso introductorio de un programa de lectura en inglés científico y técnico (ICT) que se dicta durante el primer año de estudios de carreras universitarias en diversas áreas de ciencias básicas e ingeniería. El objetivo general de los cursos que conforman dicho programa es que los estudiantes, en su mayoría hispanohablantes, desarrollen destrezas de comprensión de lectura de textos de carácter técnico y científico escritos en inglés.

 

El instrumento utilizado en este estudio fue una prueba de logro que consta de 25 ítems modulares. Cada ítem modular está compuesto por un texto corto, seguido de una pregunta de selección simple con tres opciones (Llinares y Berríos, 1990). La prueba fue elaborada a partir de una lista de especificaciones en la cual se incluyeron preguntas que corresponden a diferentes objetivos de instrucción del curso. Durante cada uno de los tres cursos del programa se administran dos pruebas de este tipo, que juntas corresponden al 50% de la calificación final de cada estudiante.

 

A continuación se describirá el procedimiento llevado a cabo para poder obtener por un lado, la categorización de los ítems según el objetivo de la pregunta y por otro, el índice de dificultad y discriminación de los ítems.

 

Los ítems incluidos en la prueba fueron categorizados utilizando la taxonomía desarrollada por Champeau et al. (1994). Específicamente, se clasificaron de acuerdo a su objetivo definido como “el proceso cognoscitivo que conlleva a encontrar la respuesta correcta” (p. 35). De acuerdo con este criterio de categorización, los ítems se dividen en dos grandes grupos: ítems de microinformación y de macroinformación. Para contestar correctamente los ítems de microinformación el estudiante recurre a sus esquemas lingüísticos (conocimientos de vocabulario y gramática) y hace uso del procesamiento ascendente. En el caso de los ítems de macroinformación, además de emplear sus esquemas lingüísticos, el estudiante recurre a sus esquemas formales y de contenido, así como al procesamiento descendente. Los ítems de macroinformación se dividen a su vez en ítems de análisis y de interpretación. Los ítems de análisis requieren que el estudiante examine y relacione información explícita en el texto, para lo cual hace uso de sus esquemas formales; y los de interpretación suponen la elaboración de la información explícita. Es decir, el lector requiere de sus esquemas de contenido para poder inferir y predecir a partir del la información explícita.

 

Una vez administrada la primera prueba, se tomó una muestra al azar que corresponde al 25% de la población (183 sujetos) para llevar a cabo el análisis estadístico utilizando el programa Lertap 5 (Nelson, 2000). Este programa suministra información acerca de la prueba como un todo (índice de confiabilidad, error de la medida, etc.), así como un análisis de las características de cada uno de los ítems que la conforman. Para cada ítem, el programa calcula el índice de dificultad y de discriminación a partir del patrón de respuestas de los estudiantes. Para el presente estudio se utilizó un método de análisis denominado upper-lower, el cual separa la muestra en tres grupos sobre la base de su desempeño en la prueba: un grupo superior (de más alto rendimiento), uno intermedio y uno inferior (de más bajo rendimiento). Para el cálculo de los índices de dificultad y de discriminación, este método solamente toma en cuenta los datos que corresponden al grupo superior e inferior. El grupo superior está conformado por 27% de la muestra (49 sujetos) y el grupo inferior corresponde al 27% de la muestra (otros 49 sujetos).

 

El índice de dificultad de un ítem, como su nombre lo indica, permite determinar en qué medida éste es fácil o difícil. Según el método upper-lower, este índice resulta de dividir el número de personas en ambos grupos (superior e inferior) que seleccionaron la respuesta correcta entre el total de personas en ambos grupos. Por ejemplo:

 

 

Es así como un valor que se acerca al uno corresponde a una pregunta más fácil, mientras que un valor que tiende a cero corresponde a una pregunta más difícil. Con el fin de cotejar el índice de dificultad de los ítems con las diferentes categorías según el tipo de objetivo contenido en la pregunta, se clasificaron según su nivel de dificultad en fáciles, intermedios y difíciles. El criterio empleado para separar los ítems en estos tres niveles es el siguiente: un ítem fácil es aquel cuyo índice de dificultad es igual o superior a 0,75 (la pregunta fue respondida correctamente por más del 75% de la muestra). Un ítem de dificultad intermedia es aquel cuyo índice de dificultad es igual o mayor a 0,50, pero menor a 0,75. Corresponden al grupo de ítems difíciles aquellos cuyo índice de dificultad está por debajo de 0,50 (respondió correctamente menos del 50% de la muestra).

 

Por su parte, el índice de discriminación de un ítem permite determinar en qué medida una pregunta distingue el grupo superior del inferior. Consiste en una medida sensible a las diferencias individuales de los estudiantes. Este índice se obtiene al restar el índice de dificultad del ítem, el cual se ha calculado tomando en cuenta el patrón de respuestas de los estudiantes de más bajo rendimiento, al que corresponde al grupo de más alto rendimiento. Por ejemplo:

 

 

Mientras más cercano a la unidad se encuentre el valor del índice, se considera que el ítem discrimina mejor. Se considera que un ítem tiene un buen índice de discriminación cuando su valor está por encima de 0,30. Es importante destacar, que a pesar de que los datos recogidos y analizados para este estudio corresponden a la administración de la prueba durante un período académico particular, se constató que el nivel de dificultad y de discriminación obtenidos para estas preguntas es bastante similar al obtenido en los años inmediatamente anterior y posterior al del estudio.

Resultados

Para cotejar el nivel de dificultad de los ítems de acuerdo al objetivo de las preguntas, éstas se agruparon según su objetivo utilizando la taxonomía de Champeau et al. (1994), como se muestra en la Tabla 1. La primera columna corresponde a las diferentes categorías de ítems según su objetivo. La siguiente columna refleja el número que identifica cada ítem, según la posición que ocupó en la prueba. La tercera columna contiene la nomenclatura que identifica al objetivo de cada pregunta de acuerdo a la taxonomía de Champeau et al. El significado de esta nomenclatura se detalla en el Anexo. Las siguientes dos columnas incluyen los datos del grupo superior e inferior: a la izquierda se encuentra el índice de dificultad de cada ítem y a la derecha, el número de sujetos de cada uno de esos grupos que contestaron la pregunta correctamente. Seguidamente, se encuentra el índice de dificultad global de cada ítem. Dentro de cada categoría, los ítems han sido ordenados de acuerdo a este último índice partiendo de los más fáciles y terminando con los más difíciles. Por último, se encuentra el índice de discriminación de cada uno de los ítems incluidos en la prueba.

 

El índice de dificultad de los ítems correspondientes a la categoría de microinformación se encuentra entre 0,87 y 0,40. El promedio de dificultad de los ítems pertenecientes a esta categoría es 0,62. Para los ítems de la categoría de macroinformación – análisis, la dificultad oscila entre 0,81 y 0,44, con un promedio de 0,63. Por último, el ítem más fácil de la categoría macroinformación – interpretación tiene un índice de dificultad de 0,84 y el más difícil tiene un índice de 0,44. El promedio de dificultad de los ítems en esta categoría es 0,61.

En lo que se refiere al índice de dificultad global, los ítems identificados con los números 16, 19 y 8 resultaron ser los más difíciles. Nótese que estas tres preguntas corresponden a las tres categorías diferentes. También los tres ítems más fáciles (4, 3, 17) pertenecen cada uno a una categoría diferente según su objetivo.

El índice de dificultad según las respuestas de los estudiantes pertenecientes al grupo de más alto rendimiento se ubica entre 1,0 y 0,55. El ítem que resulta de mayor dificultad para el grupo superior es el número 16, cuya pregunta corresponde a un objetivo de microinformación (determinar referente). El ítem que resulta más fácil para este grupo es el número 17; un ítem que, de acuerdo a su objetivo, pertenece a la categoría de macroinformación – interpretación (reconocer el propósito del autor).

El índice de dificultad de los ítems considerando las respuestas del grupo de más bajo rendimiento oscila entre 0,76 y 0,20. Para el grupo inferior, tres ítems resultaron los más difíciles con un índice de dificultad de 0,20. Esos tres ítems están repartidos en las tres categorías de preguntas, es decir, el número 15 corresponde a la categoría de microinformación; el número 19, es un ítem de macroinformación (análisis); y el ítem número 8 pertenece al grupo de macroinformación (interpretación). Por otro lado, el ítem que resulta más fácil para este grupo es el número 4, el cual corresponde a un objetivo de microinformación (vocabulario-determinar significado por contexto).

Resulta importante destacar que preguntas con un mismo objetivo tienen diferentes niveles de dificultad. Ello se ilustra en la Tabla 2. Tal y como allí puede apreciarse, tres preguntas cuyo objetivo es determinar el significado de una palabra a través del contexto (microinformación) pueden tener diferentes niveles de dificultad. La número 4 resultó fácil, la número 14 es una pregunta de dificultad media y, por último, la número 15 resultó difícil. Lo mismo se observa con respecto a preguntas de macroinformación tanto de análisis como de interpretación. Por ejemplo, los ítems 3, 5 y 19 comparten el mismo objetivo (llegar a una conclusión y/o inferencia basada en información explícita) y resultaron fácil, de dificultad media y difícil respectivamente. Asimismo, tres ítems pertenecientes a la categoría de macroinformación – interpretación (ítems 17, 18 y 7) también tienen niveles de dificultad diferentes.

 

En cuanto a la discriminación, se puede apreciar que los índices oscilan entre 0,22 y 0,59 (ver Tabla 1). Los dos ítems con el menor índice de discriminación (0,22) corresponden, uno (número 4), a la categoría de microinformación (vocabulario-determinar significado por contexto), y el otro (número 20) a la categoría de macroinformación – interpretación (reconocer el propósito del autor). Del mismo modo, las dos preguntas con el mayor índice de discriminación (0,59) corresponden, por un lado, a la categoría de microinformación (reconocer descripción) y por otro a la categoría de macroinformación –  interpretación (reconocer la idea principal u oración temática).

Al analizar los datos correspondientes al índice de discriminación en relación con el índice de dificultad se obtiene información relevante que atañe a las interrogantes planteadas en este estudio. En el caso de las preguntas con el menor índice de discriminación, la de microinformación resultó fácil (0,87) tanto para el grupo de alto rendimiento (0,98) como para el de bajo rendimiento (0,76); en tanto que la pregunta de macroinformación tiene un índice de dificultad global de 0,68, con un índice de dificultad de 0,80 para el grupo superior y de 0,57 para el grupo inferior. La escasa diferencia entre los índices de dificultad de ambos grupos para estas dos preguntas arroja un bajo índice de discriminación.

En lo que concierne a las preguntas con un alto índice de discriminación, encontramos que el índice de dificultad del ítem número 2 (microinformación) para el grupo inferior fue de 0,37 y para el grupo superior fue de 0,96. Para el ítem número 23 (macroinformación) el índice de dificultad para el grupo inferior fue de 0,31 y para el grupo superior fue de 0,90. El alto índice de discriminación de estas preguntas resultaría del amplio margen de diferencia entre el índice de dificultad de estas preguntas para los grupos inferior y superior.

Por último, se analizaron también los datos de la segunda prueba, la cual contenía 25 ítems diferentes a los de la primera y también fue elaborada a partir de una lista de especificaciones. En esta oportunidad, también se tomó una muestra al azar del 25% correspondiente a la misma población. Los resultados obtenidos tampoco muestran relación entre la dificultad y el tipo de objetivo, es decir, no necesariamente resultan más difíciles aquellos ítems cuyo objetivo implica un proceso cognitivo de alto nivel. Se mantiene el hecho de que preguntas con un mismo objetivo tengan diferentes niveles de dificultad. Asimismo, para el grupo inferior, un ítem cuyo objetivo corresponde a la categoría de microinformación puede resultar tan difícil como uno correspondiente a la categoría de macroinformación. Todo lo anterior es consistente con los datos obtenidos a través de la primera prueba.

Discusión de resultados

 

Tal como se planteó en la introducción de este trabajo, en el área de la evaluación de la lectura en L2, concretamente en lo que atañe a las pruebas de selección, existen distintas posturas en cuanto a si el tipo de tarea cognitiva contenida en el objetivo de una pregunta condiciona su dificultad. Por esta razón, nos planteamos un estudio para explorar la relación entre el nivel del proceso cognitivo requerido para contestar una pregunta y el índice de dificultad de la misma en el contexto de un programa de lectura en ICT dirigido a universitarios hispanohablantes. Para intentar dar respuesta a dicha interrogante se comparó el índice de dificultad de los ítems de selección de acuerdo al objetivo de la pregunta (proceso cognitivo).

 

En líneas generales, en los resultados de este estudio no se observa una relación consistente entre el nivel de dificultad de los ítems de acuerdo a la categoría a la que pertenecen en virtud del tipo de objetivo. Es decir, los ítems de microinformación no resultaron más fáciles que los de macroinformación. Ello indica que el nivel del proceso cognitivo no parece determinar el nivel de dificultad de los ítems.

Además, se observa la particularidad de que hubo variación en el nivel de dificultad de los ítems correspondientes a una misma categoría de preguntas. En cada categoría hubo ítems que resultaron fáciles, otros de dificultad media y otros difíciles. Como se puede apreciar en la Tabla 2, incluso un mismo objetivo dentro de cada categoría presentaba distintos niveles de dificultad. Este hallazgo también parece apoyar la noción de que no hay relación consistente entre el nivel del proceso cognitivo requerido para contestar la pregunta y su nivel de dificultad. En ese sentido, la complejidad de la tarea cognitiva contenida en la pregunta de selección no constituye un indicador de la dificultad de un ítem de comprensión de lectura.

 

En lo que respecta al índice de discriminación encontramos que las preguntas de microinformación no discriminan en mayor o menor grado que las preguntas de macroinformación. Si hubiese una relación consistente entre la complejidad del proceso cognitivo y el índice de dificultad de una pregunta, entonces podríamos esperar que el índice de discriminación de una pregunta de macroinformación sea alto. De hecho, si hubiese una relación, entonces los ítems de macroinformación deberían tener un índice de discriminación mayor que los de microinformación.

 

Nuestros datos parecieran corroborar, por un lado, lo señalado por Champeau et al. (1994) en cuanto a que su clasificación de los objetivos no está basada en una jerarquía de dificultad. Coincidimos con estas autoras en que la complejidad cognitiva de una tarea por sí misma no determina la dificultad de los ítems. Por otro lado, nuestros datos también ratifican los resultados generales de Alderson y Lukmani (1989) en cuanto a que pareciera haber inconsistencias en la relación entre el nivel de dificultad de un ítem y el tipo de tarea cognitiva. Sin embargo, nuestros datos contradicen la sospecha de Pearson y Johnson, (1978, cp. Alderson, 2000) con respecto a la posibilidad de que los tres tipos de preguntas propuestas por dichos autores (textualmente explícitas, textualmente implícitas y scriptally implícitas) puedan tener niveles de dificultad asociados a cada uno de ellos. A pesar de que existe cierto paralelismo entre los tres tipos de preguntas propuestos por estos autores  y las tres categorías de preguntas según su objetivo de acuerdo a la taxonomía de Champeau et al (1994), nuestros datos señalan que estos tres tipos de preguntas no pareciera existir relación entre el nivel de dificultad de la pregunta y la complejidad del proceso cognitivo que conlleva a encontrar la respuesta acertada puesto que no varían de forma consistente en dificultad.

 

Siguiendo la misma línea argumentativa, nuestros hallazgos contradicen el planteamiento de Llinares y Berrios (1990) sobre la relación proporcional entre la dificultad de la pregunta y la complejidad del proceso cognitivo requerido para contestarla. En ese sentido, consideramos que no sería posible controlar a priori la dificultad de un ítem cambiando el objetivo de la pregunta por uno con un mayor o menor nivel de complejidad cognitiva, ya que ésta, por sí sola, no determina la dificultad del ítem.

 

Nuestra segunda interrogante se relaciona con la idea de que existe un orden jerárquico para la adquisición de la competencia lectora, en el cual la capacidad para comprender un texto implica la adquisición de destrezas de manera lineal y acumulativa. Esta idea se manifiesta en la suposición de que para poder llegar a comprender textos y dominar el procesamiento cognitivo de mayor nivel se debería primero adquirir destrezas de lectura de menor nivel cognitivo. En concordancia con esta presunción, no sorprendería que el ítem más fácil para los estudiantes del grupo de más bajo rendimiento corresponda a la categoría de microinformación. Asimismo, resultaría predecible que para el grupo de más alto rendimiento fuese más fácil una pregunta de macroinformación - interpretación). Lo que sí llama la atención es que a los estudiantes del grupo superior les resulte más difícil un ítem que corresponde a la categoría de microinformación que cualquiera de los ítems correspondientes a la categoría de macroinformación, como es el caso del ítem número 16 (determinar referente).

 

También resulta inesperado que mientras sólo 10 de los 49 estudiantes del grupo inferior pudieron contestar correctamente el ítem número 15, que corresponde a la categoría de microinformación, 33 de esos mismos 49, acertaron una pregunta cuyo objetivo es de macroinformación - interpretación. Es decir, 23 estudiantes que no contestaron acertadamente una pregunta de microinformación, sí pudieron responder correctamente una pregunta con un objetivo supuestamente más complejo.

 

En el mismo orden de ideas, resulta interesante hallar que 22 de los 49 estudiantes del grupo de mayor rendimiento no hayan acertado una pregunta de microinformación, considerando que esos mismos estudiantes no tuvieron dificultad en contestar de manera acertada una pregunta de macroinformación - interpretación.

 

Estos resultados de alguna manera respaldan la noción de que no pareciera existir un orden jerárquico que va de menor a mayor complejidad (Alderson y Lukmani, 1989). En otras palabras, nuestros hallazgos también cuestionan la existencia de niveles de comprensión lineales y acumulativos.

 

Conclusiones

 

Nuestros resultados apuntan a que la dificultad de un ítem no parece estar condicionada por la complejidad de la tarea cognitiva contenida en la pregunta. En ese sentido, un objetivo que implica un proceso cognitivo considerado de alto nivel no es un factor que permita predecir la dificultad de un ítem. En otras palabras, es posible que un gran número de estudiantes tanto de alto como de bajo rendimiento responda correctamente preguntas que impliquen el uso de procesos cognitivos de alto nivel, y que a un grupo de estudiantes de más alto rendimiento pueda resultarle difícil una pregunta de bajo nivel. Asimismo, no se aprecia un aumento en la dificultad de los ítems de manera proporcional a una mayor complejidad de la tarea cognitiva.

 

El hecho de que la dificultad de los ítems no aumente a la par de un incremento en la complejidad de la tarea cognitiva contradice la noción de la adquisición de destrezas de manera lineal y acumulativa. Es preciso tener en cuenta que el hecho de que un aprendiz esté en capacidad de realizar procesamientos cognitivos de alto nivel, no implica que domine las tareas de bajo nivel cognitivo, tal como parecen indicar los resultados del presente estudio. Si el desempeño de los estudiantes estuviera directamente relacionado con el tipo de objetivo, como comúnmente se cree, entonces la dificultad de los ítems resultaría mayor a medida que se avanza en complejidad desde las preguntas de microinformación hasta las de macroinformación. Los estudiantes más avanzados acertarían todas las preguntas de bajo nivel y una gran proporción de las de nivel medio y alto. Los lectores menos aptos responderían de manera correcta las preguntas de bajo nivel, y solamente un cierto número de las preguntas de los niveles superior y de dificultad media. En ese sentido, se debería entonces apreciar una mayor uniformidad en los niveles de dificultad de las preguntas de cada nivel, lo cual no se observa en el presente estudio. Ello coincide con la apreciación de Grabe:

 

describir ciertas habilidades como de ‘bajo nivel’ no significa que sean simples o poco exigentes; más bien, estas destrezas tienen el potencial de convertirse en procesos altamente automatizados, y la automatización de las destrezas consideradas de ‘bajo nivel’ constituye un requisito indispensable para la lectura fluida (2009, p.21)^[5].

Nuestros hallazgos también nos llevan a coincidir con Alderson (2000), en la percepción de que la dificultad de un ítem podría verse afectada tanto por procesos internos, inherentes al proceso cognitivo del lector, como a procesos de tipo externo, ligados al texto directamente.

 

Una vez que hemos observado que la complejidad del proceso cognitivo involucrado en responder una pregunta de comprensión por sí sola no parece guardar relación con la dificultad del ítem, se podrían explorar los otros aspectos contemplados en la taxonomía de Champeau et al (1994), a saber: el tema del texto (contenido) y el recurso discursivo predominante en el mismo (función). Otras posibles fuentes de dificultad a ser estudiadas podrían estar relacionadas con rasgos lingüísticos del texto, como la lecturabilidad y el perfil léxico, .a fin de determinar la relación que podrían guardar con la dificultad de los ítemes y la manera en que estos rasgos interactúan con el objetivo de la pregunta.

 

Aunque la separación de diferentes tipos o niveles de procesos cognitivos puede resultar útil a la hora de organizar los contenidos de un programa de enseñanza, es preciso reconocer que los estudios en el área de la evaluación de la comprensión de lectura han aportado datos relevantes acerca del proceso de lectura en una L2 (Walter, s.f). En ese sentido, se espera que la información proveniente del presente estudio tenga implicaciones en el área de la enseñanza y evaluación de la comprensión de lectura en ICT que constituiría apenas una aproximación incipiente, si se toma en cuenta la complejidad que encierra el proceso de lectura, específicamente en el contexto de ICT.

 

NOTAS

 

1.  Tradución libre de las autoras del original en inglés: “It has yet to be shown that these three question types vary consistently in difficulty.”

2. “…a text with easy vocabulary, structure, and concepts can be turned into an easy item as long as the stem presents a low-level cognitive task (e.g., identification of specific information), or into a difficult one if the task requires a complex cognitive process such as inference.”

3.  “one should not be inferring from poor performance on lower order questions an inability to perform well on higher order questions”.

4. Alderson y Lukmani (1989) se refieren al tipo de tarea cognitiva como nivel de comprensión (level of comprehension).

5. “Describing certain skills as “lower-level” does not mean that they are simple or undemanding; rather, they form a group of skills that have the potential to become strongly automatized, and this automatizing of lower-level skills is a requirement for fluent reading”

 

Referencias

 

1. Alderson, J. (1990a). Testing Reading Comprehension Skills (Part One). Reading in a Foreign Language, 6 (2), pp. 425-438.

2. Alderson, J. (1990b) Testing Reading Comprehension Skills (Part Two): Getting students to Talk about taking a Reading Test (A Pilot Study). Reading in a Foreign Language, 7 (1), pp. 465-503.

3. Alderson, J. (2000). Assessing Reading. Cambridge, UK: Cambridge University Press.         [ Links ]

4. Alderson, J., y Lukmani, Y. (1989). Cognition and Reading: Cognitive Levels as Embodied in Test Questions. Reading in a Foreign Language, 5 (2), pp. 253-270.

5. Carrell, P. L. y Grabe, W. (2002). Reading. En N. Schmitt (Ed.), An Introduction to Applied Linguistics (pp. 233-250). London: Arnold Publishers.

6. Champeau, C., Marchi, G. y Arreaza, M. (1994). Un banco de ítems para medir la habilidad para la lectura de textos en inglés técnico y científico: Un sistema de clasificación. Argos, 20, pp.27-49.

7. Grabe, W. (2002). Reading in a Second Language. En R. B. Kaplan (Ed.), The Oxford Handbook of Applied Linguistics (pp. 49-59) Oxford: Oxford University Press.

8. Grabe, W. (2009). Reading in a Second Language: Moving from Theory to Practice. Cambridge: Cambridge University Press.        [ Links ]

9. Llinares, G. y Berríos, G. (1990). Writing MCIs for Reading Tests in Science and Technology. English Teaching Forum, Vol. 28 (4), pp. 43-45.

10. Mikulecky, B. (1989). A Short Course on Teaching Reading Skills. Reading, MA: Addison-Wesley Publishing Company.         [ Links ]

11. Nelson, L. (2000). Item Analysis for Tests and Surveys Using Lertap 5. Perth, Western Australia: Curtain University of Technology.         [ Links ]

12. St. Louis, R. (2001). What is Reading? [Manuscrito no publicado]. Caracas: Universidad Simón Bolívar, Departamento de Idiomas.        [ Links ]

13. Universidad Simón Bolívar, Decanato de Estudios Generales (1998-2010). Programa de Inglés de Primer Año [Programa sinóptico de las asignaturas “Inglés Técnico y Científico I, II y III”]. Caracas: Autor.        [ Links ]

14. Walter, C. (s.f.). Reading in a Second Language. Subject Centre for Languages, Linguistics and Area Studies Good Practice Guide. Disponible en http://www.llas.ac.uk/resources/gpg/2241 . Consulta: 12 /07/ 2006,         [ Links ]

 

ANEXO

 

Clasificación de las preguntas de acuerdo al objetivo (Champeau, Marchi, y Arreaza, 1994)

 

II.A.    MICROINFORMACIÓN

II.A.1.             Vocabulario-determinar significado por contexto.

II.A.2.             Determinar referentes.

II.A.3.             Seleccionar el conector apropiado o el uso apropiado de un conector específico.

II.A.4.             Repetir o parafrasear información específica.

II.A.5.             Responder preguntas sobre información especificada en el texto.

II.A.6.             Reconocer definiciones.

II.A.7.             Reconocer relaciones de comparación – contraste.

II.A.8.             Reconocer clasificación.

II.A.9.             Reconocer secuencia (proceso y cronología)

II.A.10. Reconocer causa-efecto.

II.A.11. Distinguir entre hechos e hipótesis.

II.A.12. Reconocer descripción.

II.A.13. Identificar la función de un texto.

II.A.x.             Otros.

II.B.    MACROINFORMACIÓN

            II.B.1.             Análisis

II.B.1.1.          Organizar oraciones (establecer cohesión textual.

II.B. 1.2.         Transcribir información de un texto a un gráfico o diagrama.

II.B.1.3.          Verbalizar en base a gráficos.

II.B.1.4.          Comparar ideas en dos textos.

II.B.1.5.          Reconocer inconsistencias textuales.

II.B.1.6.          Identificar la progresión lógica de un texto.

II.B.1.7.          Llegar a una conclusión y/o inferencia basada en información explícita.

II.B.1.8.          Predecir  a partir de información explícita.

II.B.1.x.          Otros

            II.B.2.             Interpretación

II.B.2.1.          Reconocer la idea principal u oración temática.

II.B.2.2.          Reconocer el propósito del autor.

II.B.2.3.          Seleccionar el título apropiado.

II.B.2.4.          Identificar la fuente y/o tipo de texto.

II.B.2.5.          Identificar a quién va dirigido el texto.

II.B.2.6.          Reconocer el tono o actitud del autor.

II.B.2.7.          Reconocer la opinión del autor.

II.B.2.8.          Llegar a una conclusión y/o inferencia basada en información implícita.

II.B.2.9.          Inferir lo que precedió.

II.B.2.10.        Predecir lo que podría seguir a partir de información implícita.

II.B.2.11.        Establecer analogía entre información del pasaje y una situación nueva.

II.B.2.x.         Otros.

 

LAS AUTORAS

 

Yris Casart. Magister en Lingüística Aplicada en la Universidad Simón Bolívar (2004).

Trabaja en el Departamento de Idiomas de la USB desde el año 2002.

Línea de investigación es la evaluación de la comprensión de lectura en L2.

E mail: ycasart@usb.ve

 

Pue Fang Fung. Magister en Lingüística Aplicada en la Universidad Simón Bolívar (2009).

Adscrita al Departamento de Idiomas de la USB.

Investiga en la evaluación de la comprensión de lectura en L2 y

la competencia escrituraria académica en L1.

E mail: puefang@usb.ve

 

Marta Trías. Magíster en Enseñanza de Inglés como Lengua Extranjera (UCV, 2003).

Trabaja en el Departamento de Idiomas de la USB desde 1997.

 Investiga sobre problemas morfo-sintácticos en el aprendizaje de lenguas extranjeras.

E mail: mtrias@usb.ve