Beatriz Sandia;  Jonás Montilva y Judith Barrios

Universidad de Los Andes  Mérida - Venezuela bsandia@ula.ve jonás@ula.ve ijudith@ula.ve

Resumen

La evaluación de un curso en línea es un proceso complejo que demanda el uso de recursos tales como personas, herramientas, métodos y tiempo que deben ser planeados, controlados y gestionados de la mejor manera buscando asegurar la eficiencia y efectividad del proceso de evaluación. En este trabajo, se presenta un método de evaluación integral que permite evaluar cursos en línea desde diferentes puntos de vista o perspectivas, los cuales son establecidos durante el proceso mismo de evaluación. La principal contribución del método al proceso de enseñanza aprendizaje, es que provee un marco general de evaluación que puede ser adaptado a los requerimientos particulares del curso en línea que se desea evaluar. Dos características relevantes del método, son: (a) su flexibilidad para incorporar diferentes criterios de evaluación y evaluar diferentes aspectos de los cursos en línea y (b) su sólida fundamentación metodológica, la cual descansa en conceptos, principios y modelos empleados en la Ingeniería de Métodos y la Ingeniería de Software.

Palabras clave: evaluación de cursos en línea, evaluación de software educativo, sitios Web instruccionales

How to evaluate online courses

Abstract

Online courses evaluation is a complex process demanding the use of resources such as people, tools, methods, and time that have to be planned, controlled, and managed the best way possible; looking to ensure efficiency and effectiveness in the evaluation process. An integral evaluation method that allows evaluating online courses from different points of view or perspectives is presented in this paper. Such views and perspectives are established during the evaluation process itself. The main contribution of this method to the teaching-learning process is that it provides a general evaluation frame that can be adapted to the particular requirements of the online course under evaluation. Two relevant characteristics of this method are: (a) its flexibility to incorporate different evaluation criteria and to evaluate different aspects of online courses and (b) its solid methodological basis which lays on concepts, principles, and models used in method and software engineering.

Key words: online courses evaluation, educational software evaluation, instructional Web sites

En curso en línea se fundamenta en un proceso de enseñanza-aprendizaje de tipo interactivo, en el que el estudiante tiene la posibilidad de interactuar o comunicarse, a través de Internet, con el contenido, con el profesor o facilitador y con los demás participantes del curso, por medio de las asignaciones, charlas, debates, exámenes, pruebas cortas, y otros dispositivos que puedan tomar el lugar de un libro, una unidad o un capítulo del material. Los cursos en línea son utilizados tanto en programas educativos a distancia como presenciales.

En la actualidad, la mayoría de cursos en línea emplean un entorno o ambiente de enseñanza-aprendizaje basado en la tecnología web, denominado sitio web instruccional o, simplemente, sitio instruccional. Definimos el sitio instruccional como el ambiente interactivo de enseñanza-aprendizaje que integra a todos los demás elementos que componen el curso en línea: facilitadores, estudiantes, plan de estudio y demás recursos didácticos y herramientas de comunicación. El proceso enseñanza-aprendizaje se da usando el sitio instruccional como medio fundamental de interacción y comunicación.

La evaluación de un curso en línea no debe confundirse con la evaluación del estudiante. Esta última es parte inherente del proceso enseñanza-aprendizaje y se orienta a medir el grado de aprendizaje del estudiante; mientras que la primera persigue calificar el curso en línea como un todo, a fin de establecer el grado en que el curso cumple con sus objetivos.

Durante los últimos años, la evaluación de cursos en línea ha captado la atención de varios educadores e investigadores (ver, por ejemplo, Díaz, S., (2004), Greer, T., Holinga, D., Kindel, C., y Netznik, M., (2002), Grassian, E., (2000), Graham, Ch. et al., (2001), Henke, H., (2001), Leighton, H. y García, F., (2003), Rubio, M. J., (2003), Learning & Teaching Development Unit (2003) y Wright, C. R., (2004)). La mayoría de estos trabajos se centran en la definición de principios y criterios para la evaluación de cursos en línea. Ampliamente conocido es el trabajo de Graham et al. (2001), el cual establece un conjunto de siete principios que sirven de guía para la evaluación de cursos en línea. La utilización de estos principios para establecer los aspectos que se quieren evaluar en un curso en línea se ilustran en Learning & Teaching Development Unit (2003). De manera similar, los trabajos de Grassian (2000) y Henke (1997) proveen una lista de puntos de chequeo y errores frecuentes que deben evitarse durante el diseño del sitio instruccionales. Greer et al. (2002) describen un conjunto de métodos de evaluación de sitios instruccionales, que incluyen métodos personales, métodos informales y técnicas formales. Los métodos personales e informales se concentran en el contenido de los sitios instruccionales; mientras que los métodos formales, definen un proceso para la evaluación poco flexible en cuanto a qué evaluar, pues, no van más allá de proponer el uso de listas de chequeo predefinidas. Ninguno de los métodos consultados en la literatura permite que el evaluador pueda definir sus propios criterios de evaluación con base en los objetivos que él/ella, o la institución a la cual él/ella pertenece, persigue en la evaluación de un curso en línea y/o el sitio instruccional.

En este artículo se presenta un método para la evaluación de cursos en línea. El aspecto más relevante de este método es su flexibilidad pues, permite que los evaluadores puedan definir criterios propios de evaluación con base en diferentes perspectivas o puntos de vista durante la evaluación. El método provee un modelo de proceso de evaluación, que prescribe lo que un grupo de evaluación debe hacer para evaluar un curso en línea.

El artículo está organizado de la siguiente manera. En la sección 2, se presenta el marco metodológico y conceptual que fue empleado para elaborar el método. En la sección 3, se describe la estructura del método, es decir, sus componentes. Estos componentes se detallan en las secciones 4-6. Finalmente, en la sección 7 se dan las conclusiones sobre las características del método y las recomendaciones para trabajos futuros.

El proceso de evaluación de productos instruccionales

La evaluación de un producto instruccional es un proceso que permite acopiar y analizar información relevante para emitir juicios de valor sobre el producto. Los juicios se utilizan para reconducir, si fuese necesario, las situaciones o aspectos del producto que puedan mejorarse; para tomar decisiones sobre la calificación y/o certificación del producto; ó para mejorar la efectividad del producto instruccional en un proceso de enseñanza-aprendizaje.

Montilva, Barrios y Sandia (2002) proponen un marco metodológico para la evaluación de productos instruccionales que emplea principios y modelos de la Ingeniería de Métodos (Barrios, 2001). Uno de los aspectos más relevantes de este marco metodológico es su adaptabilidad a las características fundamentales del producto que se desea evaluar. En este sentido, el método facilita la evaluación de un producto desde múltiples perspectivas, las cuales son determinadas por el grupo de evaluación (ver Figura 1). Cada perspectiva define un conjunto de facetas de evaluación del producto. A cada faceta, a su vez, se le establecen los atributos de evaluación. A partir de los atributos, el grupo de evaluación diseña las preguntas que integrarán los instrumentos de evaluación. Este método sirve de fundamento para definir el proceso de evaluación de un curso en línea, propósito de este trabajo.

Figura 1. Evaluación de un producto instruccional (adaptado de Montilva, Barrios y Sandia, 2002)

Estructura del método de evaluación

El método de evaluación propuesto fue elaborado considerando las pautas establecidas en el marco metodológico señalado en la sección anterior. Este método está compuesto por tres elementos: un modelo conceptual de cursos en línea, un proceso de evaluación y un modelo de organización del grupo de evaluación.

El modelo conceptual de cursos en línea representa los objetos que generalmente están presentes en los cursos en línea; modela, por consiguiente, todos aquellos conceptos genéricos que forman parte de cualquier curso en línea. El proceso de evaluación define las fases y actividades que el grupo de evaluación debe realizar para evaluar un curso en línea. El modelo de organización sugiere una manera de estructurar el equipo de personas que participan en el proceso de evaluación definiendo sus roles y responsabilidades. Cada uno de estos tres elementos se describe detalladamente en las siguientes secciones.

Los componentes de un curso en línea

En un estudio hecho por la LTSA (Learning Technology System Architecture) (Farance F. y Tonkel J., 2001), se ha establecido que un entorno de aprendizaje en línea debe constar de tres ambientes o subsistemas: el ambiente de aprendizaje, el administrativo y el de producción de recursos educativos. El primero está conformado por el o los aprendices, el facilitador (profesor, tutor, auxiliar docente o sistema experto), el contenido del curso, el proceso de evaluación (exámenes y actividades varias), el medio para transmitir el contenido educativo y las herramientas de comunicación. El subsistema administrativo está integrado por una herramienta de gestión del proceso de enseñanza-aprendizaje y el administrador de los recursos humanos, educativos, tecnológicos. El subsistema de producción está compuesto por los diseñadores y creadores de los contenidos educativos y las herramientas y medios necesarios para la producción y uso de dichos contenidos. Estos tres subsistemas se nutren de una base de datos contentiva de los recursos educativos y de otra con el historial del aprendiz (perfil y evaluaciones del aprendiz).

En este artículo se propone una manera alternativa de caracterizar los cursos en línea, esto es a través de la definición de los objetos que lo integran y de las relaciones que se establecen entre estos objetos. De esta forma, podemos concebir un curso en línea como un sistema integrado por un conjunto de tres componentes, tal como lo señala el diagrama conceptual de la Figura 2. Este diagrama simboliza los objetos que, generalmente, están presentes en un curso en línea y denota las relaciones de generalización (D) y composición (¨) que existen entre estos objetos.

Figura 2. Modelo conceptual de un curso en línea

El componente humano incluye facilitadores, estudiantes y personal que provee apoyo en la elaboración de los componentes instruccionales o en el desarrollo y mantenimiento de los componentes tecnológicos (p. ej., administradores de sitios instruccionales, diseñadores instruccionales, etc.). El plan de estudios, el material instruccional y la guía de estudios constituyen los principales componentes instruccionales del curso. La guía de estudio, en particular, incluye los contenidos del curso y describe el conjunto de actividades de aprendizaje que los estudiantes deben realizar (p. ej., auto evaluación, lecturas, videoconferencias, etc.).

El sitio instruccional es el medio utilizado por el componente humano para comunicarse entre sí y para interactuar con los elementos del componente instruccional. El sitio instruccional implementa los tres componentes instruccionales como una colección de páginas web entrelazadas y facilita la interacción entre los componentes humanos a través de las herramientas de comunicación. Finalmente, el sistema de gestión de cursos es el software que permite al componente humano el desarrollo, uso y mantenimiento del sitio instruccional. Un elemento importante que no está representado en la Figura 2, pero que no deja de ser esencial, es el contexto del curso en línea. Todo curso en línea existe en un contexto educativo determinado; por ejemplo, una institución, un programa de estudios formales o un programa de adiestramiento profesional.

El proceso de evaluación de un curso en línea

A través de un proceso de adaptación del marco metodológico descrito en la sección 2, se estableció el proceso de evaluación de cursos en línea, el cual se resume a continuación:

Fase 1. Análisis del curso en línea

El propósito de esta fase es lograr un entendimiento del curso en línea antes de iniciar su evaluación. El análisis del curso en línea es crucial para entender el alcance y propósito de la evaluación. El modelo conceptual de la Figura 2 se utiliza, en esta fase, para alcanzar este propósito. Los pasos que se proponen para este análisis son los siguientes:

1. Identificar el contexto del curso en línea. Consiste en establecer la ubicación del curso dentro de un plan de estudios y en el contexto de la institución responsable de su dictado.

2. Analizar el curso en línea. Identificar y analizar los diferentes componentes del curso en línea; así como el tema del curso, su contenido, sus objetivos de aprendizaje y sus actividades. El análisis de estos aspectos se hace en función de los objetivos de la evaluación que se planteen.

4. Identificar las perspectivas de evaluación. Una perspectiva de evaluación es un punto de vista o posición desde la cual el grupo de evaluación calificará el curso en línea. La determinación de las perspectivas depende de los objetivos que se persigan en la evaluación. Algunas de las perspectivas desde las cuales se puede evaluar un curso en línea son: Instruccional, Tecnológica, Factor de Uso, Funcional, Estructural y Estándares de Sitios Web, entre otras.

Fase 2. Definición de los requisitos de la evaluación

La finalidad de esta fase es descubrir y describir los objetivos y requisitos de la evaluación del curso. Los pasos que se deben ejecutar son:

1. Definir los objetivos de la evaluación. Permite establecer el alcance, propósitos y beneficiarios de la evaluación.

2. Definir el enfoque u orientación a aplicar en el proceso de evaluación. Consiste en seleccionar las teorías, estilos y principios que se desean emplear como filosofía de la evaluación.

3. Establecer el tipo de evaluación. Esto es, determinar si se hará una evaluación exploratoria, comparativa, etc.

4. Definir los requisitos de la evaluación. Consiste en establecer las perspectivas, facetas y atributos que se aplicarán para evaluar el curso. De acuerdo con los objetivos de evaluación establecidos, se definen las diferentes perspectivas desde las cuales se desea evaluar el curso. Para cada perspectiva, se definen los aspectos del curso que son relevantes a los objetivos de la evaluación, a estos elementos los llamaremos facetas. Un ejemplo de las facetas que se podrían contemplar para la perspectiva “Instruccional” es: el contenido del curso, los recursos didácticos y el instructor. Una faceta está compuesta por una colección de atributos. Cada atributo describe una propiedad particular o característica del curso que el grupo de evaluación ha decidido calificar. Por ejemplo, dentro de la faceta “Instructor” dos atributos a calificar podrían ser “grado de interacción con los estudiantes” y “dominio de la temática del curso”.

5. Definir las restricciones o limitaciones que existen para la evaluación. Se establecen los recursos humanos, tecnológicos, financieros y de tiempo que están disponibles para llevar adelante la evaluación.

6. Determinar los tipos de evaluadores. Los evaluadores son todas aquellas personas que evaluarán el curso a través del llenado de los instrumentos de medida. Generalmente, los tipos de evaluadores son: estudiantes, facilitadores, diseñadores instruccionales, diseñadores web y administradores del sitio.

En esta fase, se diseñan los instrumentos de evaluación que serán aplicados por los evaluadores con la finalidad de obtener los datos para la valoración del curso en línea. Los pasos que se proponen son los siguientes:

1. Definir la cantidad de instrumentos a ser utilizados. En principio, se sugiere diseñar un instrumento por evaluación. Sin embargo, si el número de facetas y atributos que se desean evaluar crece significativamente, es más conveniente diseñar un instrumento para cada perspectiva. Otro criterio que puede emplearse es diseñar un instrumento para cada tipo de evaluador.

2. Diseñar el contenido del o de los instrumentos de medida. Este paso consiste en formular los elementos y preguntas asociadas a cada uno de los atributos. Por ejemplo, dos preguntas asociadas al atributo “grado de interacción con los estudiantes” podrían ser:
- ¿Qué tan frecuente es la interacción del instructor con los estudiantes? y
- ¿Qué modalidad de interacción instructor-estudiante se empleó, en el curso, con mayor regularidad?

3. Seleccionar la modalidad para captura de datos. Con base en los requisitos establecidos y los tipos de preguntas que se deseen realizar, se establece la modalidad mediante la cual serán capturadas las respuestas o la información provista por los evaluadores del curso. Por ejemplo, cuestionarios cerrados o abiertos, entrevistas, formularios en línea, etc.

4. Diseño de la estructura del instrumento de medida. Estará determinado por el enfoque de evaluación, la modalidad de captura de datos y, de alguna forma, el medio utilizado para su difusión. Es importante dotar al mismo de una especie de instructivo y aclaratorias (cuando sean necesarias) para su llenado.

5. Determinar características y elementos de las preguntas. Para cada pregunta se establecen: su propósito, la escala de valoración u opciones de respuestas, manera de realizar la puntación, el peso de opciones en las preguntas cerradas, el indicativo de importancia o relevancia dentro de la pregunta, etc.

6. Determinar las técnicas para analizar los datos de evaluación. Se define la técnica a ser utilizada para estudiar los datos obtenidos en la evaluación. Por ejemplo, clasificación utilizando categorías predefinidas, clasificación utilizando categorías que emergen del estudio del dato, estadística descriptiva, estadística analítica, narrativa reflexiva, entre otras.

8. Estimar el tamaño de la muestra de evaluadores. De acuerdo al enfoque a utilizar, se determinará el tamaño de la muestra ideal para que el análisis de los datos tenga validez.

9. Determinar cómo serán presentados los resultados de la evaluación. Dependerá del propósito y a quiénes van dirigidos estos resultados. Algunas formas son: sumario ejecutivo, evaluación narrativa, presentación oral, reporte de resultados, tablas o gráficos, hojas de cálculo, entre otros.

Fase 4. Producción del instrumento de medida

Los pasos propuestos para esta fase son los siguientes:

1. Determinar el medio y formato de presentación de los instrumentos de medida. El medio puede ser un formulario y su formato puede ser impreso o electrónico. El formato de presentación electrónica predominante es a través de una página web.

2. Elaborar el o los instrumentos de medida. Estos instrumentos se elaboran de acuerdo a las especificaciones de diseño establecidas en la fase anterior.

3. Elaborar instrucciones para administrar la(s) prueba(s). Estas instrucciones indican cómo se lleva(n) a cabo la(s) prueba(s), cuándo serán administradas y quiénes conducirán dichas pruebas. Una prueba es el proceso mediante el cual los evaluadores califican el sitio utilizando los instrumentos de medición.

Fase 5. Administración de la(s) prueba(s)

Es el momento en el cual la evaluación es conducida o aplicada. Consiste en:

2. Adiestrar u orientar a los evaluadores en el uso del instrumento. Si es posible, se imparte un adiestramiento o se dan instrucciones a los evaluadores antes de iniciar las pruebas. Es recomendable realizar unas instrucciones para el llenado del instrumento lo más explicitas posible, dado que pueden haber casos en los que los evaluadores no puedan recibir un adiestramiento previo.

3. Conducir la prueba siguiendo la modalidad seleccionada.

Fase 6. Análisis de los datos

Consiste en analizar los datos de evaluación obtenidos por medio del o de los instrumentos de medida y reportar los resultados. Los pasos de esta fase dependen del enfoque y tipo de evaluación que se hayan seleccionado durante la Fase 2. Las encuestas o instrumentos se procesan manual o automáticamente para obtener los totales asociados a cada pregunta del instrumento. Estos totales son, luego, analizados y resumidos para obtener indicadores más precisos de las diferentes facetas o características del curso que fueron evaluadas. Si bien el proceso descrito anteriormente puede ser conducido sin el apoyo de herramientas automatizadas, el uso de ellas es altamente recomendable. Mediante su uso se facilita la ejecución de muchos de los pasos descritos en el método, particularmente, aquellos vinculadas al diseño de los instrumentos, a la conducción de las pruebas y al procesamiento de las encuestas. Una herramienta elaborada para este propósito se describe en Pérez, D., Sandia, B. y Montilva, J. (2004).

En la tabla 1, se presenta un cuadro resumen del proceso de evaluación propuesto, en el cual se señalan las actividades, los productos obtenidos y los miembros del grupo de evaluación que participan y/o son responsables de cada una de las fases. Los roles y responsabilidades de los miembros de este grupo están definidos en la sección 6.

Cómo organizar el grupo de evaluación

El proceso de evaluación demanda la participación de un conjunto de actores que denominamos grupo de evaluación. Este grupo está integrado por varios actores cuyos roles o responsabilidades se indican a continuación.

- Los diseñadores de la evaluación.- Son los encargados de la definición de los requisitos, del diseño del instrumento de evaluación y de la producción de estos instrumentos. Además, son los encargados de identificar las fortalezas y debilidades del sitio web del curso en línea, a partir del reporte de resultados del proceso de evaluación. Luego producen el informe final en conjunto con el líder.

- El administrador.- Es el encargado de conducir la prueba y analizar los datos obtenidos durante la administración de la evaluación. Se encarga de procesar los datos recogidos con el instrumento de medida.

- Los evaluadores.- Es un grupo de personas integrado por usuarios, estudiantes, instructores, diseñadores instruccionales, etc., que utilizarán el instrumento de evaluación para calificar el producto instruccional. Este grupo es seleccionado, generalmente, mediante un proceso de muestreo.

Conclusiones

Este artículo propone un método general para evaluar cursos en línea. Los cursos en línea son productos instruccionales que requieren ser evaluados desde diferentes perspectivas o criterios, los cuales cubren desde las características del proceso enseñanza-aprendizaje para el cual el producto ha sido elaborado, hasta las tecnologías de información y comunicación que lo soportan.

El método propuesto tiene dos características especiales que lo distinguen: (1) su flexibilidad para incorporar diferentes criterios de evaluación y evaluar diferentes aspectos de un curso en línea y, (2) su sólida fundamentación metodológica, la cual descansa en conceptos, principios y modelos empleados en la Ingeniería de Métodos y en la Ingeniería de Software.

Este método está compuesto por tres elementos: (a) un modelo de cursos en línea, que establece las características generales y los componentes de los cursos en línea; (b) un proceso de evaluación, que describe las fases, pasos y actividades que el grupo de evaluación debe seguir para evaluar un curso en línea; y, (c) un modelo de organización del grupo de evaluación que sugiere una manera de estructurar el equipo de personas que participan en la evaluación, definiendo sus roles y responsabilidades.

La principal contribución de este método al proceso de enseñanza-aprendizaje es que provee un marco general de evaluación que puede ser adaptado a los requerimientos especiales del curso en línea a ser evaluado. Debido a sus características de generalidad, adaptabilidad y flexibilidad, el método permite que los evaluadores puedan definir sus propios criterios de evaluación sobre la base de diferentes perspectivas o puntos de vista que ellos asumen durante la evaluación.

Cabe destacar que el proceso de adaptación del método propuesto, que consiste en la definición de perspectivas, facetas y atributos según los objetivos y características particulares del producto que se desea evaluar, es fuertemente dependiente de la experiencia y la capacidad que tiene el grupo de trabajo en la definición de las necesidades de evaluación. Por lo tanto, nuestro trabajo futuro estará orientado hacia la extensión del método con estrategias y lineamientos que orienten y ayuden, a los evaluadores, tanto en el proceso de caracterización de las necesidades de evaluación que deben ser satisfechas, como en el proceso de traducción y especificación de tales necesidades en perspectivas, facetas y atributos a medir dentro de un proceso de evaluación particular.

1. Barrios, J. (2001). Une Méthode pour la Définition de l’Impact Organisationnel du Changement. Tesis Doctoral. University of Paris I. París, Francia.         [ Links ]

2. Díaz, S. (2004). Un método para evaluar la efectividad de los cursos de postgrado en línea en universidades venezolanas. Tesis de maestría. Universidad Nacional Experimental Simón Rodríguez. Maestría en Tecnología y Diseño Educativo. Venezuela.         [ Links ]

3. Farance F. y Tonkel J., (2001). IEEE P1484.1/D8 Standard for Learning Technology Systems Architecture (LTSA). Recuperado el 12 de abril de 2005 en http://edutool.com/ltsa/         [ Links ]

4. Graham Charles et al. (2001). Seven Principles of Effective Teaching: A Practical Lens for Evaluating Online Courses. The Technology Source. March/April. Recuperado el 15 de abril de 2005 en http://ts.mivu.org/         [ Links ]

5. Grassian, E. (2000). Thinking Critically about Discipline-Based World Wide Web Resources. University of California. Los Angeles. UCLA College Library. Recuperado el 10 de abril de 2005 en http://www.library.ucla.edu/libraries/college/help/critical/discipline.htm         [ Links ]

6. Greer, T., Holinga, D., Kindel, C., y Netznik, M. (2002). An Educators’ Guide to Credibility and Web Evaluation. University of Illinois / Urbana-Champaign. Recuperado el 25 de marzo de 2005 en http://lrs.ed.uiuc.edu/wp/credibility/index.html         [ Links ]

7. Henke, H. (2001). Evaluating Web-Based Instructional Design. Chartula Press. Recuperado el 12 de abril de 2005 en http://www.chartula.com/evalwbi.pdf         [ Links ]

8. Learning & Teaching Development Unit (2003). Evaluating online courses using SELT. The University of Adelaide. Australia. Recuperado el 25 de marzo de 2005 en http://www.adelaide.edu.au/ltdu/staff/evaluation/eval_online.html        [ Links ]

9. Leighton, H. y García, F. (2003). Calidad en los Sitios Web Educativos. Informe Técnico. Departamento de Informática y Automática. Universidad de Salamanca. Noviembre 2003.        [ Links ]

10. Montilva, J., Barrios, J. y Sandia, B. (2002). A Method Engineering Approach to Evaluate Instructional Products. Actas de la XXVIII Conferencia Latinoamericana de Informática – CLEI’2002. Montevideo, Uruguay, Noviembre.         [ Links ]

11. Object Management Group (2004). Unified Modeling Language (UML) Recuperado el 20 de marzo de 2005. http://www.omg.org/uml         [ Links ]

12. Pérez, D., Sandia, B. y Montilva, J. (2004). Diseño de una herramienta de software para evaluar sitios web instruccionales. I Congreso Ibero-Amazónico de Tecnología Educacional y Educación a Distancia, Manaos, Brazil, Octubre.         [ Links ]

13. Rubio, M. J. (2003). Enfoques y modelos de evaluación del e-learning. RELIEVE, v. 9, n. 2, p. 101-120. Recuperado el 10 de abril de 2005 en http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm         [ Links ]

14. Wright, C. R. (2004) Criteria for Evaluating the Quality of Online Courses. Grant MacEwan College. Instructional Media and Design, Alberta, Canada. Recuperado el 10 de abril de 2005 en http://www.imd.macewan.ca/imd/content.php?contentid=36.         [ Links ] ]]> 1 2001 2 2004 3 2001 4 2001 5 2000 6 2002 7 2001 8 Learning & Teaching Development Unit 2003 9 2003 10 2002 Montevideo 11 Object Management Group 2004 12 2004 Manaos 13 2003 9 2 2 101-120 14 2004