Moscaweb contenidos–instrumento para la evaluación de contenidos académicos provenientes de internet

María Angélica Pérez¹, Rosa Pérez², Susan León², María Maninat², José Triana²

1 Universidad Simón Bolívar. Departamento Procesos y Sistemas. Laboratorio de Investigación en Sistemas de Información – LISI. Edo. Miranda. Venezuela. e-mail: mariapovalles@gmail.com

2 Universidad Nacional Abierta. Centro Local Carabobo. Unidad de Computación. Edo. Carabobo. Venezuela. e-mail: rbrosabelen@yahoo.com.mx; sleo300379@yahoo.com; mmaninat@hotmail.com; jmtriana1195@yahoo.com

RESUMEN

Internet es una herramienta significativa para la búsqueda de información de corte académico e investigativo, que amerita en los usuarios, habilidades especiales, como la observación ágil, el pensamiento crítico y el uso de recursos evaluativos eficientes que determinen si un contenido descargado, cumple con las expectativas de fiabilidad y calidad deseadas. En la especialización de Telemática e Informática para la educación a distancia de la Universidad Nacional Abierta (UNA) se han explorado modelos, métodos y estrategias educativas, mediadas por las Tecnologías de Información y Comunicaciones (TIC) para el reconocimiento de características, aspectos funcionales y no funcionales, que estimen la validez de contenidos publicados en Internet. Esta investigación tiene como objetivo desarrollar un instrumento para la evaluación de contenidos descargados por Internet, utilizables en ambientes para la gestión de los aprendizajes asistidos por las TIC. Se aborda la investigación acción aplicada a los sistemas de información, siguiendo el enfoque del Framework LISI (Laboratorio de Investigaciones en Sistemas de Información) de la Universidad Simón Bolívar (USB). La población esta representada por sitios web nacionales e internacionales que ofrecen servicio de descarga de contenidos. La muestra es opinática, no probabilística y se utilizan cuestionarios convenientemente validados. MOSCAWEB Contenidos posee una estructura jerárquica de 4 niveles, con 165 métricas para su operacionalización y un algoritmo que valora la calidad de los documentos descargados desde Internet.

Palabras clave: MOSCAWEB Contenidos, Contenidos en la web, medición de calidad, Descarga de contenidos, Investigación acción aplicada a los SI (Sistemas de Información).

Contents moscaweb-instrument for the evaluation of originating academic contents of internet

ABSTRACT

The internet is a significant tool for the search for information for academic and research purpose and thus demands that users have special skills, such as agile observation, critical thinking and effective use of assessment systems to determine whether a downloaded content meets the expectations of reliability and quality desired. In the Specialization in Informatics and Telematics for distance education of the National Open University (UNA), we have explored models, methods and educational strategies, mediated by information and communications technologies (TIC) for the recognition of features and functional and non-functional aspects that consider the validity of content published on the Internet. This research aims to develop an assessment tool for online downloaded content, usable in environments for the management of ICTassisted learning. Action research applied to information systems is used, following the approach of the framework LISI (Laboratory of Research in Information Systems) from the University Simon Bolívar (USB). The population is represented by national and international Web sites that offer content download services. The sample is opinion-based, nonprobabilistic and validated questionnaires are used appropriately. Contents MOSCAWEB has a hierarchical structure of four levels, with 165 metric for operationalization and an algorithm that assesses the quality of the documents downloaded from the internet.

Keywords: Contents MOSCAWEB, Contents in the web, Measurement of quality web, Unloading of contents, Investigation action applied to IF (Information systems).

Recibido: octubre de 2008 Recibido en forma final revisado: diciembre de 2009

INTRODUCCIÓN

Internet representa una herramienta significativa, e indispensable, para la búsqueda ágil de información de corte académico y científico, que deben aprovechar docentes y alumnos, para acceder a grandes volúmenes de información, utilizando estrategias de agrupación y seriado para la revisión acelerada, selección y evaluación efectiva de aquellos contenidos que se perfilan como los más interesantes o beneficiosos. Esto pone de manifiesto un replanteo, una reflexión y cuestionamiento de los contextos para el aprendizaje a nivel de educación superior. La tendencia hacia la generación y compartición de información, a través de servicios de redes nativos de la sociedad del conocimiento, gracias al desarrollo de la web 2.0, tiene como meta maximizar una inteligencia colectiva (IC) impulsada por procesos de intercambio interactivo de datos (contenidos), tendientes a promocionar y mantener opiniones generalizadas de grupos de cibernautas, debatidas, aceptadas y autorreguladas; todo ello gracias a las bondades de las tecnologías de la información y comunicaciones (TIC), cuyos equipos y sistemas son el soporte y los mediadores de ese intercambio cultural (Joyanes, 2007).

Estos tecnociudadanos ameritan habilidades avanzadas para la observación ágil, la lectura rápida, el pensamiento crítico y complejo, así como el uso de recursos evaluativos eficientes que determinen si un contenido descargado, cumple con determinadas expectativas de fiabilidad y calidad (Marqués, 2005a). Como consecuencia, en la especialización de telemática e informática para la educación a distancia de la (UNA), en el marco de la asignatura “Internet como herramienta para la investigación” se exploraron modelos, métodos y estrategias educativas (Pérez et al. 2003), mediadas por las TIC para el reconocimiento de características, aspectos funcionales y no funcionales, tendientes a estimar la validez de un contenido publicado en Internet. De allí que el objetivo de este estudio ha sido desarrollar un instrumento (MOSCAWEB Contenidos) para la evaluación de documentos descargados por Internet utilizables en ambientes para la gestión de los aprendizajes asistidos por las TIC.

Este modelo permite a docentes y estudiantes de educación superior, contar con un instrumento para estimar (medir) de manera sencilla, la calidad de los contenidos que se acceden a través de Internet. Para su valoración, este modelo fue aplicado a doce (12) páginas web de corte académico y/o científico, cuyos contenidos están relacionados con la ingeniería de sistemas y la ingeniería industrial.

Como basamento teórico, en este artículo se presenta una breve descripción del concepto de calidad sistémica del software, algunos aspectos de la calidad de los sitios o páginas web y, posteriormente, presenta la adecuación del modelo MOSCA (modelo sistémico de calidad de software) a MOSCAWEB Contenidos. Finalmente, se presentan los resultados de la aplicación del modelo a los doce (12) casos indicados, para cerrar con las conclusiones obtenidas en la investigación.

CALIDAD SISTÉMICA DE SOFTWARE

Según las investigaciones de Callaos & Callaos (1993), la calidad de los sistemas de software no es algo que depende de una sola característica en particular, sino que obedece al compromiso de integrar todas las partes involucradas. Tomando en cuenta la calidad del producto y la calidad del proceso de fabricación de un sistema de software desarrollado profesionalmente en el LISI de la USB, se desarrolló el Modelo Sistémico de Calidad de Software –MOSCA- (Mendoza et al. 2001; 2002; 2004), que integra el modelo de calidad del producto (Ortega et al. 2000) y el modelo de calidad del proceso de desarrollo de un sistema (Pérez et al. 2001), y está soportado por los conceptos de calidad total sistémica (Callaos & Callaos, 1993; Pérez et al. 1999).

Partiendo de MOSCA, definir la calidad del software plantea diferenciar entre la calidad del producto de software y la calidad del proceso de desarrollo de éste (Callaos & Callaos, 1993; Pérez et al. 1999). De esta manera, las metas que se establecen para estimar la calidad de un producto de software, determinan los objetivos del proceso de desarrollo, ya que la calidad del primero va a depender, entre otros aspectos, de estos últimos. Para Callaos & Callaos (1993), la calidad de los sistemas de software va más allá de identificar características en particular, obedece al compromiso de todas las partes o aspectos que intervienen en su área de influencia. Con esta visión sistémica de la calidad del software, dicho enfoque evolucionó con MOSCA hacia el estudio de aspectos internos y contextuales de los productos de software, los cuales integran la opinión del usuario.

Características de las páginas web

Las páginas web, son sistemas de software que representan productos terminados al servicio de una comunidad de internautas ávidos de información. Para su diseño, requieren tener en cuenta cuestiones tales como navegabilidad, interactividad, usabilidad, arquitectura de la información y la interacción de medios como el audio, texto, imagen y vídeo.

Los sistemas de software basados en la web proveen una compleja combinación de contenidos y funcionalidades, cuyo impacto abarca a un sorprendente número de usuarios finales. La ingeniería web es un proceso mediante el cual se crean aplicaciones web de alta calidad; sin embargo ésta no posee una imagen perfecta de la ingeniería de software, pero si toma mucho de los conceptos y principios fundamentales, aplicándolos desde otro punto de vista (Pressman, 2002).

Powell (1998), sintetiza las diferencias primarias de los sistemas basados en web, incluyendo una mezcla entre medios impresos y desarrollo de software, entre mercadeo y computación, entre comunicación interna y relaciones externas, entre arte y tecnología. Destaca los atributos encontrados en la mayoría de las aplicaciones web, tales como su naturaleza de red, la importancia de controlar el contenido a través de la hipermedia para presentar texto, graficas, audio y contenido audiovisual hacia los usuarios finales. Sin embargo, lo más sorprendente es la evolución continua pues, a diferencia de una aplicación de software convencional, las web evolucionan a una velocidad inesperada.

Calidad de los sitios web

Marqués (2005b) de la Universidad Autónoma de Barcelona, define a los sitios web como un conjunto de páginas web interrelacionadas mediante enlaces hipertextuales o programas al efecto, que se muestran a través de Internet con unos propósitos concretos: presentar información sobre un tema, hacer publicidad, distribuir materiales o instruir sobre un tema determinado. De allí que los clasifica como: webs personales, webs corporativos, webs institucionales y webs de grupos (colectivos, asociaciones, entre otros). Por tales razones, cuando se habla de la calidad de los sitios web, se debe caracterizar a un producto que satisfaga tanto las especificaciones técnicas y de diseño gráfico, así como las expectativas de los usuarios.

La American Society for Quality define la calidad como la totalidad de funciones y características de un producto que les permite satisfacer una determinada necesidad. En el caso de los documentos electrónicos publicados en Internet, hablar de calidad consiste en evaluar características en la forma y la información, siendo ésta última la más importante (Pinto, 2007). Como puede observarse, la calidad de los sitios web está determinada por aspectos técnicos asociados a la arquitectura de la información, por las herramientas de navegación, la estructura de las páginas y los mapas del sitio web. También toma en cuenta el comportamiento de los usuarios, dada la necesidad de construir páginas muy visitadas, archivos descargables y contenidos atractivos.

Tendencias de la evaluación de los sitios web

Merlo (2005) de la Universidad de Salamanca (España), ha preparado un interesante trabajo donde señala que la evaluación de la información telemática disponible en la web, requiere: planificación, definición de criterios, desarrollo de métodos y la evaluación que permita estimar hasta qué punto se ponen en práctica dichos criterios.

Con la definición de criterios se materializan parámetros e indicadores de evaluación. Los métodos se desarrollan a través de procedimientos concretos, indicando recursos necesarios relacionados con el proceso de evaluación. Los parámetros, indicadores, procedimientos y recursos son, por tanto, elementos clave del proceso de evaluación de la información web. Existe un elevado número de propuestas o criterios genéricos coincidentes, para realizar evaluaciones web, tal como las realizadas por Auer (1999).

Wilkinson (1998) y otros autores realizaron un estudio en la Universidad de Georgia donde reunieron 509 criterios o indicadores válidos para el análisis de la información web. Sin embargo, se ha presentado un bajo desarrollo en los procedimientos y/o los métodos que se emplean para hacer efectiva la aplicación de parámetros e indicadores en las evaluaciones web. Merlo (2005), denota debilidades en las aportaciones teóricas o experiencias prácticas, en este sentido, indicando que sólo hay propuestas aisladas y parciales, por lo cual, la evaluación de información web adolece, en estos momentos, de una definición y sistematización de los procedimientos que se deben aplicar.

Por esta razón, para los fines de esta investigación se ha tomado como base teórica y metodológica al modelo sistémico de calidad de software (MOSCA) (Mendoza et al. 2001; 2002; 2004), bajo la perspectiva del producto terminado y el abordaje de aspectos contextuales, que configuran un modelo sistémico para estimar la calidad de la información que se divulga a través de las páginas web. En la estructura de MOSCA, se consideran 6 características de calidad del estándar internacional ISO/IEC 9126 (1991), un conjunto de categorías, características y métricas asociadas, que miden la calidad y hacen del modelo un instrumento de medición de gran valor, ya que cubre todos los aspectos imprescindibles para medir directamente la calidad del producto de software. En la figura 1, se puede apreciar que MOSCA consta de 4 niveles, los cuales son descritos seguidamente.

• Nivel 0: Dimensiones. Eficiencia del proceso, efectividad del proceso, eficiencia del producto y efectividad del producto, son las cuatro dimensiones propuestas en el prototipo del modelo. Sólo un balance y una buena interrelación entre ellas permiten garantizar la calidad sistémica global de una organización/producto.

• Nivel 1: Categorías. Se contemplan 11 categorías: 6 pertenecientes al producto y las otras 5 al proceso de desarrollo. A saber:

- Producto: funcionalidad (FUN), fiabilidad (FIA), usabilidad (USA), eficiencia (EFI), mantenibilidad (MAB) y portabilidad (POR).

- Proceso: cliente-proveedor (CUS), ingeniería (ENG), soporte (SUP), gestión (MAN) y organizacional (ORG).

• Nivel 2: Características. Cada categoría tiene asociado un conjunto de características (56 asociadas al producto y 27 al proceso de desarrollo), las cuales definen las áreas claves a satisfacer para logro del aseguramiento y control de la calidad tanto en el producto como en el proceso. Entre las características asociadas a cada categoría del producto, se proponen en el modelo MOSCA, algunas referidas al proceso (figura 1). Esto se debe a que muchas de ellas impactan directamente en las categorías del producto, al igual que ciertas características de la calidad del producto definen categorías del proceso.

• Nivel 3: Métricas. La cantidad de métricas asociadas a cada una de las características que conforman MOSCA es de 587 en total.

Adicionalmente, MOSCA cuenta con un algoritmo que facilita su operacionalización y permite estimar la calidad de software. El algoritmo contempla tres fases: (1) estimación de la calidad del producto de software con un enfoque sistémico; (2) estimación de la calidad del proceso de desarrollo de software con un enfoque sistémico; y (3) integración de las mediciones de los sub-modelos de la calidad del producto y la calidad del proceso. Para este caso de estudio, sólo se han tomado en cuenta las relacionadas con el proceso.

De lo anterior nació la necesidad de adaptar a MOSCA bajo la perspectiva de producto, para estimar, en primer lugar, la calidad de los sitios web universitarios (SWU), dada la importancia que tienen estos espacios como apoyo al los sistemas de gestión de los aprendizajes. El resultado fue el modelo de Especificación de Calidad para Sitios Web Universitarios - MOSCAWEB (Pérez et al. 2006), que posee una estructura jerárquica de cuatro niveles (similar a MOSCA), con 416 métricas para su operacionalización, y un algoritmo que valora la calidad de los SWU, en 1ª versión, con base a cualidades integradoras de manera práctica, caracterizando los atributos de calidad de estos ciberespacios.

ADECUACIÓN DE MOSCAWEB PARA LA EVALUACIÓN DE LOS CONTENIDOS DE LAS PÁGINAS WEB

Entre los estudiantes de la primera cohorte de la especialización de telemática e informática en educación a distancia de la (UNA), en el marco de la asignatura “Internet como herramienta de investigación”, surgió la necesidad de contar con un instrumento que permitiera estimar, en forma sencilla, la calidad de los contenidos que se descargan desde diversas páginas webs.

El tema de evaluación de los contenidos digitales disponibles por Internet es novedoso y hasta la presente fecha, no existen métricas estandarizadas y aplicables universalmente. Sin embargo, esto ha sido estudiado y documentado por diversos autores en forma experimental, proporcionando métodos de evaluación y sus mejores prácticas. Entre ellos debe mencionarse a Marqués (2005) de la Universidad Autónoma de Barcelona; Schrock (1996) de EDUTEKA (Portal Educativo gratuito de la Fundación Gabriel Piedrahita Uribe, Cali, Colombia); Codina (2000), Mena & Blanco (s/f), junto a un grupo de investigadores de la Universidad de Málaga. Igualmente, Davos (2008), Toro (2005), Pinto (2007) y Merlo (2005), citado anteriormente.

Para muchos expertos, el correcto diseño web implica conocer cómo se deben utilizar cada una de los elementos permitidos en el HTML, relacionarlos con el uso correcto de este lenguaje, amparado por los estándares establecidos por la W3C (World Wide Web Consortium) (Sidar, 2002), así como lo referente a la web semántica. Así mismo, el diseño web debe tomar en cuenta principios de diseño gráfico y los aspectos señalados por Nielsen (2004) referidos a la usabilidad de los sitios web. Sin embargo, en vista de la naciente gama de tendencias y criterios para la evaluación web, tanto de índole cualitativo y cuantitativo, que de alguna forma necesitan adaptarse a medidas estándares previstas en las normas ISO/IEC 9126 (1991), surge la necesidad de adaptar a la metodología de MOSCA, un instrumento de medición de estándares de calidad para la evaluación de los contenidos de las páginas web, que sea de utilidad tanto para desarrolladores de estos “Sites”, así como para los usuarios interesados en validar la calidad de un texto descargado.

MOSCA es un modelo de especificación de la calidad de los sistemas de software, que permite la medición bajo la perspectiva del producto. Para el caso de esta investigación, se ha realizado un modelo para estimar la calidad de un producto terminado (páginas web), considerando la efectividad del producto; en virtud de la necesidad imperiosa de ofrecer un instrumento para estimar la calidad de los contenidos descargados por Internet. A este modelo de evaluación de calidad de contenidos web propuesto, se le ha dado el nombre de “MOSCAWEB Contenidos”, es decir, modelo especificación de calidad para sitios web – contenidos. Consiste, en un conjunto de categorías, características, sub-características y métricas, asociadas a esa meta de calidad establecida (figura 2 y tabla 1). La estructura del modelo consta de cuatro niveles que se explican brevemente a continuación:

Perspectiva: Producto

• Nivel 0: Dimensiones. Efectividad producto.

• Nivel 1: Categorías. Se contemplan tres (3) categorías:

- Funcionalidad (FUN): es la capacidad del producto del software para proveer funciones que cumplan con necesidades específicas o implícitas, cuando el software es utilizado bajo ciertas condiciones.

- Fiabilidad (FIA): la fiabilidad es la capacidad del producto de software para mantener un nivel especificado de rendimiento cuando es utilizado bajo condiciones especificadas.

- Usabilidad (USA); esta categoría se refiere a la capacidad del producto de software para ser atractivo, entendido, aprendido y utilizado por el usuario bajo condiciones específicas.

Como se indicó en la sección anterior, MOSCA consta de seis (6) categorías, de las cuales sólo se ha previsto utilizar tres (3) para la evaluación de las páginas web.

La categoría de funcionalidad (funcionamiento) siempre debe estar presente. La primera regla de calidad es que el producto, en este caso las páginas web, ejecute sus funciones técnicas o tecnológicas, según un patrón de diseño. Se abre una balanza para medir las funciones ofrecidas vs. las funciones que ejecuta.

La categoría de fiabilidad garantiza que la página web funcione bajo las condiciones establecidas y mantenga un nivel específico de rendimiento y credibilidad de la información que se ofrece.

La categoría usabilidad refleja la capacidad de uso de las páginas web de parte de los usuarios, lo cual es fundamental para atraer su preferencia gracias a un diseño atractivo y las facilidades de manejo, nivel de interactividad.

• Nivel 2: Características. Las categorías tienes asociadas un conjunto de once (11) características en total. Una vez seleccionadas las categorías que están relacionadas con la evaluación de las páginas web (funcionalidad, usabilidad y fiabilidad), se evaluaron las características asociadas a estas categorías en MOSCA y en MOSCAWEB. Se decidió seleccionar ciertas características asociadas a la efectividad del producto y no a la eficiencia del producto, debido a que la evaluación se enfoca hacia el grupo de atributos que está a la vista del usuario final en la página web.

• Nivel 3: Sub-características. Para algunas de las características se asocian un conjunto de sub-características (14 en total) que particularizan a MOSCAWEB, para la evaluación de los contenidos de las páginas web.

• Nivel 4: Métricas. Para cada característica o sub-característica, se proponen una serie de métricas utilizadas para medir la calidad sistémica. Dada la cantidad de métricas asociadas a cada una de las características que conforman la propuesta (165 en total), éstas no serán presentadas en este artículo. Se hizo necesaria la selección de métricas adicionales relacionadas con funcionalidad, usabilidad y fiabilidad, para adaptar a MOSCA y a MOSCAWEB hacia la evaluación de los contenidos de las páginas web.

La presente propuesta se realizó tomando en cuenta las investigaciones señaladas en los párrafos anteriores, a fin de integrar tendencias y las mejores prácticas en torno al tema.

En resumen, la propuesta del modelo de evaluación de contenidos de las páginas web (MOSCAWEB Contenidos) consta de un total de 3 categorías, 11 características, 14 subcaracterísticas y 165 métricas (tabla 1).

Una vez formulado el modelo, se utilizó el algoritmo de MOSCA, que describe el proceso a seguir para estimar la calidad del software, en este caso, las páginas web.

SISTEMA DE PONDERACIÓN

Definidas las características, sub-características y métricas, se procedió a establecer la importancia relativa existente entre ellas. Para esto se utilizó una escala de puntuación ponderada del 1 al 5. Bajo este esquema, se le atribuye la puntuación más alta a aquella característica que luce como la más importante para el evaluador. En este caso, se le asignó un valor de 5 (cinco) puntos, a esa característica que luce como más importante (funcionalidad). De igual forma, se colocaron ponderaciones relativas a las características menos importantes (fiabilidad y usabilidad), como se indica en la tabla 2.

Por otro lado, para asignar un valor a las preguntas asociadas a cada métrica, se empleo una escala de Likert del “1” al “5”, cuyo significado se presenta en la tabla 3.

Como puede apreciarse, el valor “1” representa la ausencia de calidad, (“nunca” o “no”) “y el valor “5” (cinco) es todo lo contrario, la presencia de calidad.

De esta forma se tiene que la puntuación para una característica es igual a:

donde:

“Pj” es la ponderación (P) de la característica “j” y “Vi” es el valor (V) asignado al atributo iésimo.

Por ejemplo: la máxima puntuación para la característica

“funcionalidad” será:

FUN = (47 métricas FUN1 x 5 (valor Likert máximo)) + (20 métricas FUN2 x 5(Likert máximo)) + (5 métricas FUN3 x 5 (Likert máximo)) + (6 métricas FUN4 x 5 (Likert máximo)) = (235) + (100) + (25) + (30) = 390

Luego,

= 390 x 5 (peso de la característica) = 1950 puntos máximos.

Como el algoritmo de MOSCA establece que un producto de software debe cumplir al menos con un 75% de la puntuación máxima de funcionalidad, es decir, 1462,50 puntos; se define a este valor como el mínimo de puntuación básica de calidad para las páginas web. Cumplido este requisito, se pueden evaluar las otras categorías, considerándose satisfechas cuando superen el 75% de conformidad.

La puntuación mínima y máxima para el resto de las categorías se calcula en forma similar, haciendo los ajustes de rigor. En la tabla 4 se presentan dichas puntuaciones:

RESULTADOS Y DISCUSIÓN

La naturaleza de este estudio se enmarcada en la modalidad investigación acción aplicada a los sistemas de información, bajo el enfoque del Framework LISI de la (USB) (Pérez et al. 2004), apoyada por la revisión bibliográfica y el estudio de campo.

Para este estudio, se trabajó con una población representada por sitios web nacionales e internacionales que ofrecen servicio de descarga de contenidos, considerándose una muestra no probabilística de tipo opinática. Como instrumentos de recolección de datos, se emplearon cuestionarios convenientemente validados, los cuales conforman MOSCAWEB Contenidos.

Para la prueba de MOSCAWEB Contenidos, se seleccionaron doce (12) páginas web, cuyos contenidos están relacionados con la Ingeniería de Sistemas y la Ingeniería Industrial. Estas páginas pertenecen a universidades nacionales y extranjeras, revistas digitales, artículos de congresos y eventos científicos, páginas profesorales y guías de expertos.

Este instrumento MOSCAWEB Contenidos, se sometió a pruebas de confiabilidad y validez, arrojando resultados favorables. MOSCAWEB Contenidos, ha sido utilizado por los autores de esta investigación, todos docentes de la UNA – Centro Local Carabobo, siguiendo el algoritmo de MOSCA.

Luego de aplicar el instrumento, se registraron las evaluaciones parciales de cada página web, que una vez procesados arrojaron los siguientes resultados: como se puede observar en la figura 3, los requisitos de calidad relacionados con la funcionalidad de las páginas web evaluadas, está por encima de un 60%, registrando un valor promedio del 82%. Para el caso de artículos provenientes de revistas científicas (arbitradas) la funcionalidad casi toca un 100% de conformidad.

De acuerdo al algoritmo establecido para MOSCAWEB Contenidos, como el porcentaje de calidad del grupo de páginas web evaluadas está por encima del 75%, entonces se procedió estimar la calidad de las demás características.

Con respecto a la fiabilidad, en la figura 4, se evidencia que estos requisitos de calidad, están por debajo de un 25%, registrándose un promedio del 21%. Esto representa un 75% de necesidades de mejoras en este sentido.

Para el caso de la usabilidad, en la figura 5, se evidencia que estos requisitos de calidad, están entre un 60% y un 74%, registrándose un promedio del 71%. Esto refleja un nivel medianamente aceptable con relación a estas especificaciones.

En la figura 6, se muestra de manera conjunta, el grado de satisfacción de las páginas web evaluadas, con respecto a las características de calidad diseñadas para estimar la funcionalidad, fiabilidad y usabilidad.

Analizando los resultados obtenidos se puede indicar, de forma conjunta, que las páginas web evaluadas satisfacen las características de calidad relacionadas con funcionalidad (superan el 75% de conformidad). Pero con respecto a la fiabilidad (21%) y la usabilidad (71%) las categorías de calidad no han sido satisfechas.

Considerando las pautas del algoritmo de MOSCAWEB (basados en MOSCA), se puede afirmar que las páginas web evaluadas, poseen un nivel de calidad de producto “Básica” (tabla 5).

CONCLUSIONES

La calidad es un elemento esencial en todo proceso generador de productos y servicios, puesto que marca la diferencia entre lo que simplemente se acepta o usa y lo que se prefiere o espera. Las innovaciones relacionadas con el uso e incorporación de las tecnologías de la información, no escapan a esta necesidad, a pesar de que durante el desarrollo inicial de internet y de las páginas web, no se contó con una reglamentación que se pronunciara al respecto. Las páginas web de corte académico e investigativo, deben garantizar un mínimo de características de calidad, que permitan a los usuarios tener confianza en los contenidos que se publican en ellas, sobre todo, porque es justamente el “contenido” uno de los mayores atractivos de estos recursos. Insistir en aumentar la calidad de las páginas web no es una tarea fácil, debido al carácter multi-dimensional de este concepto.

El objetivo de esta investigación, se cubrió al poder desarrollar una propuesta, un instrumento para la evaluación de contenidos académicos provenientes de Internet (MOSCAWEB Contenidos), inspirado en MOSCA y MOSCAWEB (Pérez et al. 2006), motivo por el cual se utilizaron tres categorías de estos modelos, para efectuar la evaluación de las Páginas Web, ellas son: funcionalidad, fiabilidad y usabilidad. Con estas categorías se abordan requerimientos no funcionales relevantes en el contexto de las páginas web de las cuales se descargan contenidos como apoyo a tareas académicas e investigativas.

El instrumento obtenido posee una estructura jerárquica de cuatro niveles, el cual contiene 165 métricas para su operacionalización y un algoritmo que valora la calidad de los documentos descargados de Internet, en 1ª versión. Con base a sus características innovadoras, se favorece el desarrollo de competencias para el uso refinado de las TIC, en cualquier entorno de aprendizaje a nivel de pregrado y postgrado.

AGRADECIMIENTOS

Esta investigación fue realizada con el apoyo y asesoría del personal del Laboratorio de Investigaciones en Sistemas de Información (LISI) de la Universidad Simón Bolívar (USB), el cual contó con el financiamiento del Fondo Nacional de Ciencia, Tecnología e Innovación (FONACIT) a través del proyecto S1-2000000437.

REFERENCIAS

1. Auer, N.J. (1999). Evaluating internet informa. Recuperado el 09 de julio de 2008 en: http://www.lib.vt.edu/research/libinst/idle/evaluating.html.         [ Links ]

2. Callaos, N. & Callaos, B. (1993). Designing with Systemic Total Quality, en International Conference on Information Systems, International Institute of Informatics and Systemics, Orlando, pp. 548-560.        [ Links ]

3. Codina, L. (2000). Evaluación de recursos digitales en línea: conceptos, indicadores y métodos. Revista Española de Documentación Científica, 2000, vol. 23, n. 1, pp. 9-44.        [ Links ]

4. Codina, L. (2000). Parámetros e indicadores de calidad para la evaluación de recursos digitales. En Jornadas Españolas de Documentación (7. 2000. Bilbao). La gestión del conocimiento: retos y soluciones de los profesionales de la información. Bilbao: Universidad del País Vasco, 2000, pp. 135-144.        [ Links ]

5. Davos, H. (2008). 50 preguntas para evaluar la calidad de tu sitio Webs. Recuperado el 16 de mayo de 2008 en: http://www.hernandavos.com.ar/000/50-preguntaspara-evaluar-la-calidad-de-tu-sitio-web.        [ Links ]

6. Del Moral, E. (1998). El desarrollo de la creatividad y las nuevas herramientas tecnológicas. Comunicación Educativa y Nuevas Tecnologías”, Barcelona: Praxis. pp. 51-66.        [ Links ]

7. ISO/IEC 9126 JTC 1/SC 7 (1991). Information technology - Software product evaluation - Quality characteristics and guidelines for their use, JTC 1 Organization, Montreal, Quebec, 1991. s/n.        [ Links ]

8. Joyanes, L. (2007). Web 2.0 y Redes Sociales en la Sociedad del Conocimiento. Universidad Pontifica de Salamanca en Madrid. Facultad de Informática. Recuperado el 07 de mayo en: http://gicoge.udistrital.edu.co/index.php?option=com_content & task=view & id=39 & Itemid=29.        [ Links ]

9. JTC 1/SC 7 (1991). Software Process Assessment, TR 15504, on-line, WG 10: Software Process Assessment. ISO/IEC Organization. Recuperado el 20 de mayo de 2008 en: http://www.sqi.gu.edu.au/spice.        [ Links ]

10. Marqués, G. (2005a). Los espacios Web multimedia: tipología, funciones, criterios de calidad (primera versión 1999), última revisión 8 enero 2005. Recuperado el 11 de julio de 2008 en: http://dewey.uab.es/PMARQUES/tipoweb.htm.        [ Links ]

11. Marqués, G. (2005b). Las Webs docentes (primera versión 2002), última revisión 8 enero 2005. Incluye ficha de análisis. Recuperado el 26 de julio de 2008 en: http://dewey.uab.es/PMARQUES/webdocen.htm.        [ Links ]

12. Mena, M. & Blanco, L. (S/F). Cuestionario para Evaluar Páginas Webs. Universidad de Málaga.        [ Links ]

13. Mendoza, L., Pérez, M., Rojas, T. (2004). Modelo sistémico para estimar la calidad de los sistemas de software. (MOSCA).ASOVAC, Acta Científica Venezolana, (53:3) p. 435. Recuperado el 02 de mayo de 2008 en: http://www.lisi.usb.ve/publicaciones.        [ Links ]

14. Mendoza, L., Pérez, M., Grimán, A., Rojas, T. (2002). Algoritmo para la Evaluación de la Calidad Sistémica del Software. 2das. Jornadas Iberoamericanas de Ingeniería del Software e Ingeniería del Conocimiento (JIISIC 2002).        [ Links ]

15. Merlo, J. (2005). La Evaluación de la Calidad de la Información Web: Aportaciones Teóricas y Experiencias. Universidad de Salamanca. Facultad de Traducción y Documentación. Recuperado el 27 de julio de 2008 en: http://exlibris.usal.es/merlo/escritos/calidad.htm.        [ Links ]

16. Nielsen, J. (2004). Web usability. Recuperado el 12 de julio de 2008 en: http://www.useit.com/.        [ Links ]

17. Nielsen, J. (2000). Diseño de sitios Web. Madrid, España. Prentice Hall, pp. 14-55.        [ Links ]

18. Nielsen, J. & Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI’90 Conf. (Seattle, WA, 1-5 April), pp. 249-256.        [ Links ]

19. Ortega, M., Pérez, M., Rojas, T. (2000). A Model for Software Product Quality with a Systemic Focus, en The 4th World Multiconference on Systemics, Cybernetics and Informatics SCI 2000 and The 6th Intrernational Conference on Information Systems, Analysis and Synthesis ISAS 2000. Orlando, USA, Julio. Recuperado el 07 de julio de 2008 en: http://www.lisi.usb.ve/publicaciones.        [ Links ]

20. Pérez, M., Rojas, T., Ortega, M., Álvarez, C. (1999). Toward Systemic Quality: Case study, en 4Th Squad Meeting, Squad, Porlamar, Venezuela, July 1999. Recuperado el 02 de mayo de 2008 en: http://www.lisi.usb.ve/publicaciones.        [ Links ]

21. Pérez, M., Mendoza, L., Grimán, A. (2006). Modelo de Especificación de Calidad para Sitios Web Universitarios – MOSCAWEB. Recuperado el 29 de mayo de 2008 en: http://www.lisi.usb.ve/publicaciones.        [ Links ]

22. Pérez, M., Mendoza, L., Rojas, T., Grimán, A. (2001). Systemic Quality Model for System Development Process: Case Study, en: Seventh Americas Conference on Information Systems AMCIS 2001. Boston, USA, Agosto 2001. Recuperado el 20 de mayo de 2008 en: http://www.lisi.usb.ve/publicaciones.        [ Links ]

23. Pérez, M., Rojas, T., Grimán, A., Mendoza, L., Grimán, A. (2004). LISI: A Systemic Methodological Framework for IS Research. AMCIS 2004. New York, USA. Recuperado el 09 de mayo de 2008 en: http://www.lisi.usb.ve/publicaciones.        [ Links ]

24. Pressman, R. (2002). Ingeniería de Software: Un enfoque Práctico. 5ta. Edición. McGraw Hill. México.        [ Links ]

25. Pinto, M., María (2007). Calidad y Evaluación de los Contenidos Electrónicos. E-coms. Recuperado el 27 de julio de 2008 en: http://www.mariapinto.es/e-coms/eva_con_elec.htm.        [ Links ]

26. Powell, T.A. (1998). Web Site engineering. Prentice-Hall.        [ Links ]

27. Reeves, T. (1998). A model to guide the integration of the www as a cognitive tool in K-12 education. Universidad de Georgia. Recuperado el 10 de junio de 2008 en: http://itechl.coe.uga.edu/Reeves.html.        [ Links ]

28. Schrock, K. (1996). Evaluación crítica de una página web - Para niveles de enseñanza primaria, media y secundaria. EDUTEKA. Recuperado el 5 de mayo de 2008 en: http://www.eduteka.org/profeinvitad.php3?ProfInvID=0009.        [ Links ]

29. Stephen, B. (1998). Evaluating checklist. Evaluating training software. Lancaster University. Recuperado el 27 de Julio de 2008 en: http://www.keele.ac.uk/depts/cs/Stephen_Bostock/docs/evaluationchecklist2.htm.        [ Links ]

30. SIDAR (2002). Recomendación W3C. Pautas de Accesibilidad del Contenido en la Web 1.0. 05-05-1999. Recuperado el 02 de mayo de 2008 en: http://www.3wc.com, http://www.accesosis.es/~carlosegea/PautasWAI.htm y también en: http://www.tawdis.net/acc.htm#taw.        [ Links ]

31. Toro, C. (2005). Medios de Evaluación: Criterios e Instrumentos. Pontificia Universidad Católica de Puerto Rico. Recuperado el 18 de julio en: www.pucpr.edu/facultad/edctv/32_765_criterios.pdf.        [ Links ]

32. Wilkinson, G.L. Bennet, L.T., Oliver, K. M. (1998). Evaluating the quality of Internet information sources. Recuperado el 17 de Julio de 2008 en: http://www.edtech.vt.edu/edtech/kmoliver/webeval/webeval.html.        [ Links ]