José S. Hernández, Sergio Tobón, Lourdes González, Clara Guzmán
Centro Universitario CIFE
Resumen
Propósito: determinar la relación entre un conjunto de variables de la evaluación socioformativa y el desempeño académico en un postgrado en línea. Metodología: se realizó un estudio descriptivo correlacional con una muestra de 56 participantes de una maestría en línea. La evaluación socioformativa se basó en problemas del contexto y en el empleo de las rúbricas. Resultados: la realización de análisis de saberes previos, análisis de casos y la coevaluación de las evidencias presentaron una correlación significativa con el desempeño académico reflejado en el promedio académico. Discusión: el proceso de retroalimentación continua y el apoyo para la resolución de problemas del contexto se asocia con un mejor desempeño académico. Es necesario nuevos estudios para determinar relaciones de causalidad.
Palabras clave: evaluación socioformativa, proyectos formativos, rúbricas, socioformación, sociedad del conocimiento
Socioformative assessment and academic performance of online post graduate program
Abstract
Purpose: to determine the relationship between a set of variables of the socioformative assessment and academic performance of online post graduate program. Methodology: We conducted a descriptive correlational study with a sample of 56 participants in a master's degree program online. The socioformative assessment was based on solving context problems and the use of rubrics by competences. Results: the analysis of previous knowledge, analysis of cases and evidences of coevaluation presented a significant correlation with the academic performance reflected in the academic average. Discussion: the process for ongoing feedback and the support for solving context problems are associated at a better academic performance. New studies are necessary to be done to determine causal relationships.
Keywords: socioformative assessment, training projects, rubrics by competences, socioformation, knowledge society.
]]> Recibido: 04/02/2015 Aceptado: 11/05/2015Introducción y marco teórico
El estudio de posgrado en la modalidad en línea es una de las áreas que ha tenido mayor auge en la educación superior en los últimos años debido a los beneficios que representa esta modalidad educativa para muchas personas. Por ejemplo, elimina las barreras geográficas al permitir el estudio desde zonas alejadas o en ciudades densamente pobladas que hacen difícil el desplazamiento a los centros educativos (Tiffin, & Rajasingham, 1997); posibilita que las personas que trabajan de tiempo completo puedan continuar su formación combinando el estudio con el trabajo; ofrece la posibilidad de aprender de una manera más flexible y dinámica mediante materiales multimedia y videoconferencias; y permite el acceso a los materiales de estudio y los debates con los compañeros en cualquier momento y lugar (Marcelo, 2002). En definitiva, la educación en línea ofrece a la ciudadanía mayores oportunidades para la formación (García, 2001).
Sin embargo, también se enfrentan múltiples dificultades para consolidar esta modalidad educativa, algunas de las cuales son: la poca interactividad entre el docente y los estudiantes; los tiempos de espera largos para recibir la retroalimentación del docente lo cual conlleva estados emocionales de desmotivación; y la dificultad para asegurar que los estudiantes ingresen a la plataforma, estudien los materiales y tengan un ritmo continuo en el estudio con motivación.
Sumado a esto, uno de los aspectos más débiles de la educación en línea se refiere a la evaluación de los aprendizajes (Barberá, 2006). Esta modalidad educativa requiere que los procesos de evaluación sean muy atractivos para los estudiantes, tengan instrumentos claros y haya posibilidades de retroalimentación en el menor tiempo posible. Además, el estudiante debe poseer mecanismos para ir revisando de manera fácil sus avances, logros y aspectos a mejorar.
En la actualidad, las tecnologías de la información y la comunicación han tenido grandes desarrollos a nivel internacional y esto ha permitido impulsar procesos de formación en línea cada vez más dinámicos, flexibles e intuitivos. Es por ello que cada vez aumenta más el interés de las personas por seguir su formación en línea. Sin embargo, el desarrollo de ambientes de aprendizaje y el diseño de programas de enseñanza mediada por estas tecnologías parecen haber olvidado algo fundamental para lograr el éxito: el papel de la evaluación como columna vertebral (Barberá, 2003).
En general, lo que se hace es transferir la evaluación tradicional de contenidos mediante pruebas a esta modalidad de formación. De allí que abunden las herramientas para elaborar pruebas, aunque con escasos recursos para gestionar procesos de autoevaluación, coevaluación, diagnóstico, trabajo con el portafolio, registro de audios y videos, empleo de rúbricas y escalas de estimación, etc. La evaluación en sus diferentes momentos (de diagnóstico, continua y sumativa), así como los diferentes actores que participan (el propio estudiante, los pares, los docentes y la sociedad) requiere recursos dinámicos e interactivos con un continuo seguimiento para garantizar la continuidad, la mejora continua, la motivación y la permanencia (Gunawardena, Lowe, & Anderson, 1997; Henri, 1992; Schellens, & Valcke, 2005).
Frente a estos retos de la educación en línea, particularmente en el nivel de posgrado, la socioformación ofrece una serie de estrategias para fortalecer la evaluación. Este enfoque se ha venido desarrollando en Latinoamérica a partir de las contribuciones de Tobón (2001, 2002) para orientar la formación de las personas en el marco de los retos de la sociedad del conocimiento, buscando que posean un sólido proyecto ético de vida y contribuyan al tejido social, el desarrollo socioeconómico y la sustentabilidad ambiental. La formación, en esta perspectiva, deja de ser un proceso individual o interno y se convierte en un proceso social, basado en la interacción entre personas y la colaboración para resolver problemas del contexto, con lo cual se trasciende el conductismo, el constructivismo y el cognitivismo para quienes el aprendizaje un proceso del individuo.
Desde la socioformación, la evaluación es un proceso de apoyo y retroalimentación orientado a que las personas identifiquen, interpreten, argumenten y resuelvan problemas del contexto mediante el apoyo y la retroalimentación continua a partir de unas determinadas evidencias (Tobón, 2014a). Se basa en procesos continuos de autoevaluación, coevaluación, heteroevaluación y socioevaluación, así como en la interacción entre la evaluación de diagnóstico, la evaluación continua y la evaluación sumativa. Esto tiene como base los principios del pensamiento complejo (Morin, 2000) y los retos de la sociedad del conocimiento.
En el marco de la evaluación socioformativa, se busca que los protagonistas de la formación (estudiantes, docentes, directivos, padres de familia, entre otros) reconozcan sus potencialidades, consoliden su proyecto ético de vida y asuman la retroalimentación que la evaluación aporta con base en criterios. Por esto, la evaluación realizada por sí mismo (autoevaluación), los pares (coevaluación), el docente (heteroevaluación) y la comunidad (socioevaluación) son distintos procesos del proceso de crecimiento y formación integral.
Una vez iniciado el proceso de formación y después de valorar los saberes previos, la resolución de problemas del contexto es una de las estrategias más fecundas para lograr el desarrollo de las competencias, ya que asume la cognición humana como una construcción y una práctica social, relacionada con la forma de actuación ante la realidad. De ahí, que los análisis de caso empleando problemas del contexto constituya una de las acciones formativas con mayor impacto para lograr una evaluación que aporte sentido y significado a la formación de los estudiantes, ya que se enseña a resolver problemas con aplicación en múltiples escenarios (Tobón, 2013).
Uno de los instrumentos aplicados en la evaluación socioformativa son las rúbricas o mapas de aprendizaje definidos como tablas de doble entrada en las cuales se relacionan los criterios de las competencias con los niveles de dominio (preformal, receptivo, resolutivo, autónomo y estratégico), y que además, integran las evidencias a realizarse durante el proceso. Este instrumento a diferencia de las rúbricas constructivistas utilizadas comúnmente (Díaz Barriga, 2006) en donde los descriptores se redactan de manera general considerando los procesos y contenidos relevantes, en los mapas de aprendizaje los descriptores consideran las características específicas de las evidencias que cumplen con la calidad establecida en cada nivel de dominio (Tobón, 2013).
Poco a poco se ha comenzado a aplicar la evaluación socioformativa en programas educativos en línea partiendo de los elementos y estrategias descritas anteriormente. Sin embargo, se carece de estudios empíricos sobre sus efectos e impacto en el desempeño académico. De allí que el propósito del presente estudio consiste en determinar el papel de varios procesos de la evaluación socioformativa en el rendimiento académico, tales como la evaluación de saberes previos, la autoevaluación, la coevaluación, las oportunidades de mejora de las evidencias y el análisis de casos centrados en problemas del contexto. Esto se ha hecho en un programa de maestría en línea de una institución de educación superior en México que aplica los proyectos formativos. Las metas precisas fueron:
1. Determinar la relación entre la frecuencia de autoevaluación y el rendimiento académico en los estudiantes de posgrado que trabajan con proyectos formativos.
2. Establecer la relación entre la frecuencia de coevaluación y el rendimiento académico en los estudiantes de posgrado.
3. Determinar la relación entre los análisis de caso por problemas del contexto y el rendimiento académico en estudiantes de posgrado.
Tipo de Estudio
El tipo de estudio utilizado es el descriptivo correlacional. Es descriptivo en cuanto determina la frecuencia con la que un hecho ocurre y permite clasificar la información (Cassidy, & Hart, 2003). Y es un estudio correlacional porque se midieron las relaciones entre un conjunto de variables. Este tipo de diseño examina si los cambios en una o más variables están relacionados a los cambios en otras variables, así como su dirección, el grado, la magnitud y la fuerza de las relaciones o asociaciones entre ellas, lo cual se establece mediante correlaciones significativas (Shadish, Cook, & Campbell, 2002).
La muestra está conformada por 56 estudiantes de un una maestría en línea, los cuales ejercen la docencia en instituciones públicas y privadas de educación media superior y superior, principalmente en la zona centro del país. El 71% son mujeres y el 29% hombres, con una edad promedio de 35 años. Todos los participantes de dedican a la docencia y son de un nivel socioeconómico medio. Los participantes fueron seleccionados empleando la técnica de conglomerados (Vivanco, 2005) ya que el grupo de participantes muestra heterogeneidad interna (por ejemplo, la calidad de las coevaluaciones), pero tiene bastantes elementos homogéneos entre sí ya que comparten tiempos de evaluación, instrumentos con base en niveles de desempeño y espacios de formación en la plataforma con las mismas condiciones académicas.
Instrumentos
Cuestionario de factores sociodemográficos. Este instrumento valoró una serie de aspectos sociales, económicos y demográficos en los participantes, tales como sexo, edad, condiciones económicas, lugar de residencia, entre otros. Se completó en el proceso de registro de los participantes al inicio del programa en línea.
Rúbrica para evaluar las evidencias. Cada una de las evidencias de los proyectos formativos fuer evaluada mediante una rúbrica analítica. Con este instrumento se llevó a cabo la autoevaluación, coevaluación y heteroevaluación en los estudiantes. La rúbrica permite identificar el nivel de desempeño que cada participante logra en la realización de la evidencia, junto con los logros y aspectos por mejorar. Esta rúbrica fue revisada por un grupo de expertos quienes conceptualizaron que era pertinente para el proceso de evaluación implementado.
Procedimiento
Se hizo seguimiento a los estudiantes durante un semestre, a medida que trabajaban con la metodología de los proyectos formativos. Durante este proceso, fueron presentando evidencias de aplicación, las cuales se organizaban en un portafolio y eran evaluadas. Se registró el proceso de evaluación de cuatro unidades formativas del segundo semestre de una maestría. Los estudiantes trabajaron a través de una plataforma de educación en línea.
En la plataforma se fueron registrando los siguientes aspectos:
1) Número de veces que se realiza la autoevaluación durante el semestre.
2) Número de veces que un participante coevalúa a otro en el foro durante el semestre.
4) Promedio en la evaluación de los resultados obtenidos en la prueba de saberes previos durante el semestre.
5) Promedio en la evaluación de los resultados obtenidos en el análisis de caso durante el semestre.
6) Número de intentos para resolver el análisis de caso durante el semestre.
7) Número de veces que mejora la evidencia durante el semestre.
8) Nota promedio del semestre (promedio de las notas de las cuatro unidades formativas).
A partir de los datos obtenidos se realizó un estudio de correlación entre las variables para establecer relaciones significativas entre ellas empleando el software SPSS Statistics 20. En el estudio correlacional se hizo énfasis en la relación particular entre el rendimiento académico (promedio) de los estudiantes durante el semestre cursado y los distintos tipos de evaluación implementados, así como en la prueba de saberes previos, el análisis de casos y la mejora de la evidencia realizada.
Para el análisis de los resultados obtenidos en la correlación entre el rendimiento académico y las variables que conforman la evaluación socioformativa implementada en la maestría en línea, se utilizó el coeficiente de correlación de rangos de Spearman (Rho de Spearman) que consiste en una medida de asociación lineal que utiliza los rangos, números de orden de cada grupo de sujetos y compara dichos rangos (Martínez, Tuya-Pendás, Martínez, Pérez, & Cánovas, 2009).
Aspectos Éticos
En el presente estudio se cumplió con la Ley de Protección de Datos Personales actualmente vigente en México (DOF, 2010). Los datos de los participantes fueron guardados de manera confidencial en la plataforma. Asimismo, el estudio fue aprobado por el comité académico de la institución de educación superior donde se llevó a cabo y no representó ningún riesgo para los participantes.
De acuerdo con las metas definidas en el estudio, en la Tabla 1 se muestran los resultados obtenidos en el análisis correlacional. En síntesis, se puede decir:
1. El rendimiento académico está significativamente correlacionado con la evaluación de saberes previos (+0.552).
2. El rendimiento académico se correlaciona significativamente con el promedio obtenido por el estudiante en la resolución de los análisis de caso (+0.519).
3. El rendimiento académico se correlaciona significativamente con el número de intentos en la resolución del análisis de caso durante cada unidad de aprendizaje (+0.454).
4. El rendimiento académico se correlaciona significativamente con el número de coevaluaciones que un estudiante realiza en una unidad de aprendizaje (+0.421)
Discusión
El presente estudio mostró la importancia de realizar procesos de análisis de saberes previos en la educación en línea, con el fin de mejorar el desempeño académico. Esto se corresponde con lo expuesto en otros estudios tales como (Esteban, 2003). Los saberes previos permiten identificar cómo se encuentran los estudiantes al inicio del proceso formativo y orientar determinadas acciones de manera personalizada durante la formación.
Para que el estudiante logre un mejor rendimiento académico, es necesario que al iniciar la unidad de aprendizaje recupere y valore de forma consciente y sistemática los saberes previos que posee para un mejor aprovechamiento y aplicación de la teoría y metodología que se propone a lo largo de las actividades a realizar durante la unidad (Fainholc, 1999). En este caso, las actividades para recuperar los saberes previos están desarrolladas a partir de problemas del contexto en donde el estudiante demuestra sus conocimientos no solo declarativos, sino también procedimentales y actitudinales. Esto demuestra la importancia de establecer retos significativos al iniciar el proceso, para generar motivación y un desempeño idóneo (Tobón, 2014b).
Asimismo, el presente estudio muestra que realizar coevaluaciones a los compañeros se relaciona con un mejor desempeño académico, más que con recibirlas. Otros estudios muestran la importancia de construir significados de manera colaborativa empleando la coevaluación, como lo mencionan los autores que manejan el enfoque de tareas auténticas (Álvarez, & Guasch, 2006).
La coevaluación que cada estudiante realiza con la evidencia de otros compañeros, representa una variable que se correlaciona significativamente con el desempeño académico, ya que permite la aplicación del conocimiento adquirido durante el proceso formativo y coloca al estudiante en una posición analítica frente a lo que socialmente se construye (Tobón, 2013).
En el presente estudio se aporta evidencia en torno a la importancia de la evaluación socioformativa en los programas de educación en línea tipo maestrías. Específicamente, se muestra la relevancia de trabajar la valoración de saberes previos, el análisis de casos con problemas del contexto y la coevaluación de pares. Estos son elementos centrales en este nuevo modelo de evaluación que está centrado en lograr que las personas aprendan a identificar, interpretar, argumentar y resolver problemas del contexto en el marco de los retos de la sociedad del conocimiento (Tobón, 2013a, 2013b, 2014a, 2014b, 2015).
En contraste, la autoevaluación, el ser coevaluado y las oportunidades de mejora no mantienen una correlación significativa con el rendimiento académico. Estos puntos deben ser abordados en nuevas investigaciones para lograr una mayor claridad. En teoría, la autoevaluación es uno de los procesos fundamentales para lograr el desarrollo del pensamiento complejo y construir la sociedad del conocimiento. Además, muchos sistemas de formación en línea se basan en la autoevaluación (García-Beltrán, Martínez, Jaén, & Tapia, 2006) por lo que se debe seguir investigando este tema.
Con lo presentado en el presente estudio, se tienen algunos elementos para sugerir que los programas de maestría consideren la posible incorporación de estrategias de coevaluación, análisis de casos con problemas del contexto y análisis de saberes previos. Esto puede contribuir a fortalecer la formación integral y mejorar el desempeño académico. Además, podrían ayudar a disminuir la deserción y desmotivación que son comunes en esta modalidad educativa al lograr un proceso educativo más significativo por el trabajo con problemas del contexto.
Referencias
1. Álvarez, I., & Guasch, T. (2006). Diseño de estrategias interactivas para la construcción de conocimiento profesional en entornos virtuales de enseñanza y aprendizaje. Revista de Educación a Distancia, (14). [ Links ]
2. Barberá Gregori, E. (2003). Estado y tendencias de la evaluación en educación superior. Revista de docencia Universitaria, 3(2).
3. Barberá, E. (2006). Aportaciones de la tecnología a la e-Evaluación. RED: Revista de Educación a Distancia, 5(6), 1-13.
4. Cassidy, C., & Hart, J. (2003). Methodological issues in investigations of massage/bodywork therapy: Part III: Qualitative and quantitative designs for MBT and the bias of interpretation. Journal of Bodywork and Movement Therapies, 7(3), 136-141.
5. Coll, C., Mauri, T., & Onrubia, J. (2008). Los entornos virtuales de aprendizaje basados en el análisis de casos y la resolución de problemas. Psicología de la educación virtual. Madrid: Morata, 213-232.
6. Díaz B., F. (2006). Enseñanza situada: vínculo entre la escuela y la vida. México: Editorial Mc Graw Hill.
7. DOF (2010). Ley federal de protección de datos personales en posesión de particulares. México: DOF.
8. Esteban, M. (2003). Las estrategias de aprendizaje en el entorno de la Educación a Distancia (EaD). Consideraciones para la reflexión y el debate. Introducción al estudio de las estrategias y estilos de aprendizaje. Revista de Educación a Distancia, (7).
9. Fainholc, B. (1999). La interactividad en la educación a distancia. Buenos Aires: Paidós.
10. García, L. (2001): La educación a distancia. De la teoría a la práctica. Barcelona: Editorial Ariel Educación.
11. García-Beltrán, A., Martínez, R., Jaén, J., & Tapia, S. (2006). La autoevaluación como actividad docente en entornos virtuales de aprendizaje/enseñanza. Revista de Educación a Distancia, 5(6), 6.
12. Gunawardena, C., Lowe, C., & Anderson, T. (1997). Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing. Journal of educational computing research, 17(4), 397-431.
13. Henri, F. (1992). Computer conferencing and content analysis. En: A.R. Kaye (Ed). Collaborative learning through computer conferencing: The Nadja en Papers. Nueva Cork, NY: Springer- Verlag.
14. Marcelo, D. et al (2002). E-learning-teleformación. Diseño, desarrollo y evaluación de la formación a través de Internet. Madrid: Editorial Gestión 2000.
15. Martínez Ortega, R., Tuya Pendás, L. C., Martínez, M., Pérez, A., & Cánovas, A. (2009). El coeficiente de correlación de los rangos de Spearman caracterización. Revista Habanera de Ciencias Médicas, 8(2), 0-0.
16. Morin, E. (2000). Los siete saberes necesarios para la educación del futuro. Bogotá: Ministerio de Educación Nacional.
17. Schellens, T., & Valcke, M. (2005). Collaborative learning in asynchronous discussion groups: What about the impact on cognitive processing? Computers in Human behavior, 21(6), 957-975.
18. Shadish, W., Cook, T., & Campbell, D. (2002). Experimental and quasi-experimental designs for generalized causal inference. EUA: Wadsworth Cengage learning.
19. Tiffin, J., & Rajasingham, L. (1997). En busca de la clase virtual. La educación en la sociedad de la información. Barcelona: Editorial Paidós.
20. Tobón, S. (2001). Aprender a emprender: un enfoque curricular. Colombia: Funorie.
21. Tobón, S. (2002). Modelo pedagógico basado en competencias. Medellín: Funorie.
22. Tobón, S., Pimienta, J., García, J. (2010). Secuencias didácticas: aprendizaje y evaluación de competencias. México: Pearson.
23. Tobón, S. (2013). Formación integral y competencias (4. Ed.) Bogotá: ECOE.
24. Tobón, S. (2014a). Evaluación de competencias mediante rúbricas. México: CIFE.
25. Tobón, S. (2014b). Proyectos formativos: teoría y metodología. México: Pearson.
26. Vivanco, M. (2005). Muestreo estadístico. Diseño y aplicaciones. Chile: Editorial Universitaria.
José Silvano Hernández. Docente e investigador en el Centro Universitario CIFE, Cuernavaca, México. Sus líneas de investigación son: 1) mediación socioformativa; 2) evaluación socioformativa; 3) formación y calidad de vida en la sociedad del conocimiento. josesilvanohernandez@gmail.com
Sergio Tobón. Posdoctorado en competencias docentes. Doctor en Modelos Educativos. Docente e investigador en el Centro Universitario CIFE, Cuernavaca, México. Coordinador del doctorado en Socioformación y Sociedad del Conocimiento. Sus principales líneas de investigación son: 1) socioformación y desarrollo del talento; 2) cultura, tecnología y sociedad del conocimiento; 3) diseño y gestión curricular desde la socioformación; 4) mediación socioformativa; y 5) diseño y validación de instrumentos para evaluar competencias. stobon5@gmail.com