This paper proposes a scheme for the evaluation of ontologies in modeled state. These ontologies are unique in a knowledge domain. In each phase of the ontology development life cycle, we evaluate the following approaches: the right use of the codification language, the accuracy of the taxonomic structure, the meaning of the terms and the concepts represented and finally the adjustment of the request specified at the beginning of our development. To test the feasibility of our evaluation scheme, we describe its applicability during the development of ontology for the human semen analysis domain. As results of this evaluation, we were able to identify not only some mistakes and syntactic inconsistencies, but also several vocabulary omissions, as well as redundancy and inconsistencies in some classes and instances. The suitable identification and immediate correction of this mistakes, allowed obtaining a first quality ontological development for this domain. The results achieved validate our evaluation scheme as an alternative to test the quality of ontologies in unprecedented modeled state in any domain, without comparison against any another ontologies.

Key words: Ontologies, Ontology Evaluation, Domain Ontologies

Una ontología es una especificación formal y explícita de una conceptualización compartida (Studer, Benjamins y Fensel, 1998), que se caracteriza por definir un vocabulario común que incluye además la interpretación de los conceptos básicos del dominio y sus relaciones. La utilización de las ontologías en aplicaciones de negocios, en la Web semántica, para la administración, integración y reutilización de conocimiento, entre otras, se ha ido incrementando cada vez más y su uso ya es común en diversas áreas.

Dado lo costoso y complejo que resulta la construcción de ontologías, es común que los Desarrolladores de Ontologías (DO) reutilicen ontologías existentes en un dominio de interés. Sin embargo, un inconveniente que por lo general deben enfrentar, es que para un mismo dominio las conceptualizaciones pueden presentar algunas diferencias y por lo tanto las ontologías varían entre sí. Ante esta diversidad los DO deben elegir cuál ontología reutilizar y para ello necesitan evaluar las disponibles y seleccionar aquella que mejor se adapte a sus requerimientos. Por otro lado, es importante que en cada fase del ciclo de vida de construcción se realicen evaluaciones de los resultados parciales que se vayan obteniendo, con la finalidad de garantizar una ontología de calidad (Burton-Jones, Storey, Suguraman y Ahluwalia, 2005).

En ambas situaciones, se evidencia la necesidad de la evaluación para garantizar que los resultados sean exitosos, ya que una buena ontología es aquella que sirve para el propósito para el cual fue creada (Brewster, Alani, Dasmahapatra y Wilks, 2004).

Son muchos y variados los métodos de evaluación de ontologías (Brank, Grobelnik y Mladenic, 2005; Obrst, Ashpole, Ceusters, Mani, Ray y Smith, 2007), los cuales, por lo general, se basan en la comparación con ontologías de referencia. Pero cuando la ontología que se está desarrollando es la única descripción que se conoce del dominio, es decir, no existen precedentes, los desarrolladores se ven en la necesidad de utilizar de manera parcial los métodos de evaluación disponibles, lo cual no garantiza que la evaluación sea lo suficientemente completa y confiable. Ante esta situación surge una interrogante, ¿cómo llevar a cabo la evaluación de una ontología en estado de modelado, si ella es la única descripción conocida de un dominio?

Con la finalidad de dar respuesta a esta pregunta, en este trabajo se propone un esquema para evaluar la calidad de una ontología en estado de modelado, la cual es única en un dominio específico del conocimiento.

Aunque existe gran cantidad de investigaciones sobre metodologías, algoritmos, herramientas de edición y lenguajes de construcción de ontologías en la Ingeniería de Software, un aspecto que no ha sido considerado con suficiente interés es la evaluación. Algunas razones que justifican el escaso desarrollo en esta área son las dificultades para establecer qué elementos evaluar y cuáles criterios considerar para determinar la calidad de las ontologías (Brewster y cols, 2004; Burton-Jones y cols, 2005).

La evaluación de ontologías debe realizarse como cualquier componente de software. El proceso consiste en la emisión de un juicio técnico del contenido con respecto a un marco de referencia (requerimientos, preguntas de competencia, entre otros) en cada fase del ciclo de vida (Gómez-Pérez, Fernández-López y Corcho, 2004). La evaluación considera la verificación y validación de la ontología; en la primera se chequea la construcción correcta, es decir, que las definiciones implementen los requerimientos y den respuestas a las preguntas de competencia preestablecidas. La validación se refiere a que las definiciones de la ontología modelen lo más exactamente posible el dominio para el cual fueron creadas. Más específicamente, la evaluación de una ontología consiste en determinar si ésta satisface los criterios de diseño preestablecidos.

En el proceso de evaluación se establecen y ejecutan un conjunto de pruebas y se analizan los resultados de éstas (Hartman, Spyns, Giboin, Maynard, Cuel, Suárez-Figueroa y Sure, 2005), considerando tres posibles estados de las ontologías: a) premodelado, b) modelado y c) entregadas (delivery).

La evaluación en estado de premodelado considera la revisión y evaluación de los materiales disponibles para la construcción de la ontología. En el modelado se comprueba la calidad de los significados y la consistencia y redundancia de los conceptos, utilizando otras ontologías disponibles y las preguntas de competencia; además, se evalúan los posibles errores sintácticos cometidos durante la codificación. La evaluación de ontologías entregadas (delivery) consiste en determinar su calidad, comparando contra otras ontologías diferentes pero equivalentes. Para ello se establece un conjunto de criterios cualitativos y cuantitativos, que se miden mediante un conjunto de métricas preestablecidas.

Para Brewster y cols (2004), las ontologías deben evaluarse: a) desde la perspectiva de los principios usados para su construcción (rigurosidad taxonómica), b) su eficiencia en el contexto de una aplicación y c) la congruencia entre ella y el conocimiento del dominio. Los autores proponen comparar varias ontologías contra un corpus y determinar una medida que pueda ser usada como indicador de calidad.

Según Obrst y cols (2007), los criterios de evaluación a considerar son: a) representación de los individuos (consistencia y completitud del lenguaje usado para su modelado), b) rendimiento de las tareas que usan la ontología, c) grado de similitud con otras ontologías y d) la compatibilidad para realizar razonamiento automático.

En el enfoque presentado en (Porzel y Malaka, 2004) se evalúan tres aspectos: a) alcance del vocabulario (uso de conceptos adecuados), b) taxonomías apropiadas y c) las relaciones semánticas (no taxonómicas). El esquema propuesto mide el rendimiento de una o varias ontologías utilizadas por una tarea específica.

Para Burton-Jones y cols (2005), la calidad debe medirse evaluando: a) sintaxis (cómo se aplican los componentes del lenguaje utilizado para codificar), b) semántica (significado, claridad y consistencia de los términos), c) pragmática (utilidad de la ontología para los agentes que la usan) y d) calidad social (interacción entre la ontología y los agentes). La evaluación se lleva a cabo mediante un conjunto de métricas basadas en la teoría de la semiótica.

Brank y cols (2005), realizan una revisión de técnicas de evaluación y concluyen que los criterios que deben evaluarse son: a) vocabulario (evaluación contra otras fuentes), b) jerarquía, taxonomía y relaciones semánticas, c) contexto de aplicación (rendimiento de las aplicaciones que usan las ontologías); d) sintaxis (cumplir con los requerimiento del lenguaje utilizado) y e) estructura, arquitectura y diseño (corroborar manualmente que los requerimientos preestablecidos se cumplan).

Finalmente, el método ONTOMETRIC (Lozano-Tello, 2002) permite seleccionar entre un conjunto de ontologías aquellas que resulten más apropiadas y, en base a una medida cuantitativa, decidir cuál es la más idónea para ser utilizada en una aplicación. Los criterios de evaluación que considera son: a) contenido y organización, b) lenguaje utilizado para la codificación, c) metodología de desarrollo, d) herramientas de software usadas para construir y editar la ontología y e) costo de construcción.

La mayoría de las propuestas coinciden en la evaluación de los siguientes criterios: a) la rigurosidad taxonómica, b) el lenguaje utilizado para la codificación, c) el rendimiento de las aplicaciones o tareas que utilizan las ontologías y d) el vocabulario utilizado para representar los conceptos y relaciones del dominio modelado. Es importante destacar que muchos de estos criterios se evalúan sobre la base de la comparación con otras ontologías disponibles las cuales se usan como referencia o estándar de oro (Maedche y Staab, 2002).

Por lo antes mencionado, sería recomendable que los métodos que utilicen los DO para evaluar la calidad de las ontologías incluyan al menos estos cuatro criterios (taxonomía, lenguaje, vocabulario y rendimiento). No obstante, si se considera que para realizar la evaluación, de acuerdo a los autores citados, es necesario comparar con ontologías existentes y ocurre que la ontología que se está desarrollando es la única descripción que se conoce del dominio, es decir, no existen precedentes, los desarrolladores se ven en la necesidad de utilizar de manera parcial los métodos disponibles. Esta situación no garantiza que la evaluación sea suficientemente completa y confiable.

Es por esta razón, y con la finalidad de solventar este último inconveniente, que en este trabajo se propone un esquema para evaluar la

calidad de una ontología única en un dominio de conocimiento y en estado de modelado.

Algunos objetivos del desarrollo de ontologías son: a) proporcionar una estructura de conocimiento común en un dominio, b) facilitar la reutilización del conocimiento y c) analizar el conocimiento (Noy y McGuinness, 2001). Estos objetivos se alcanzarán sólo si la ontología es de calidad y para garantizarlo es necesario que en cada fase del ciclo de vida de desarrollo, los DO evalúen los resultados parciales.

Es posible valorar la calidad de una ontología sin la necesidad de recurrir a referencias de desarrollos previos, examinando un conjunto mínimo de criterios como son: que el vocabulario utilizado para representar el conocimiento tenga cobertura suficiente del corpus (conocimiento experto, textos y otras fuentes), que la ontología esté escrita de manera correcta, sin errores y conforme a las reglas del lenguaje utilizado, que la estructura taxonómica que organiza los conceptos y términos del dominio sea completa, sin redundancias y consistente y que satisfaga los requerimientos para los cuales fue creada y, de manera particular, que las preguntas de competencia sean respondidas adecuadamente.

El esquema de evaluación propuesto examina precisamente estos criterios de la manera siguiente:

Uso correcto del lenguaje: evaluar, con base en las características y reglas de construcción del lenguaje usado, la codificación de la ontología.

Exactitud de la estructura taxonómica: examinar la taxonomía considerando la consistencia, completitud y no redundancia de los conceptos y términos codificados.

Validez del vocabulario: evaluar el significado de los términos y conceptos a partir del conocimiento de expertos, recopilaciones de textos o cualquier otra fuente de conocimiento disponible del dominio.

Adecuación a requerimientos: validar si la ontología implanta los requerimientos preestablecidos y si responde a las preguntas de competencia.

El esquema está constituido por cuatro fases, una para cada criterio a evaluar, los cuales pueden aplicarse sin un orden rígido, dependiendo del ámbito del conocimiento. A continuación se describen las fases y las actividades que las constituyen.

Es recomendable que el lenguaje seleccionado sea sólido (cualquier expresión pueda ser derivada a partir del conocimiento codificado) y completo (cualquier expresión que esté lógicamente implícita en la base de conocimiento pueda ser derivada). De esta forma, se pueden aplicar métodos de razonamiento sobre la ontología de manera satisfactoria (Obrst y cols, 2007). También es importante que la escritura esté libre de errores o defectos, para garantizar su futura utilización de manera exitosa.

Las actividades que permitirán evaluar este criterio son:

Validar que el lenguaje cumpla con estándares para desarrollos ontológicos, como: OWL (Ontology Web Language), RDF (Resource Description Framework), DAML (DARPA Agent Markup Language), etc.

Para examinar la rigurosidad de la estructura taxonómica que representa los conceptos, términos y clases del dominio, así como la naturaleza de las diferentes relaciones jerárquicas y semánticas, es necesario, y en algunas oportunidades imprescindible, el conocimiento que sólo los expertos humanos pueden proporcionar (Brank y cols, 2005; Brewster y cols, 2004).

La evaluación taxonómica considera el chequeo de inconsistencias, completitud y redundancia de los términos de la taxonomía (Gómez-Pérez y cols, 2004). Los errores más comunes son: clasificaciones semánticas incorrectas (clasificación de conceptos como subclase de una clase a la que no pertenecen), clases e instancias con diferentes nombres pero definiciones similares, omisión de conocimiento disjunto entre clases, ausencia de conceptos, redundancia de relaciones (clases con más de una relación de subclase), clases definidas como generalización o especializaciones de sí misma, entre otros.

Las actividades que se proponen realizar en esta fase son las siguientes:

Identificar inconsistencias tales como:

Clases definidas como generalizaciones o especializaciones de sí mismas

Conceptos que no pertenecen a una clase en particular

Evaluar la completitud de los conceptos codificados en la ontología

Ausencia de conceptos relevantes del dominio

Omisión de conocimiento disjunto entre clases de la estructura

Evaluar la existencia de redundancias en clases, instancias y relaciones

Clases e instancias con diferentes nombres, pero definiciones similares

Clases que tienen más de una relación de subclase.

Chequear que los términos codificados en la ontología existan y sean significativos en otras

fuentes de conocimiento independientes, como por ejemplo, el conocimiento contenido en el corpus del dominio, entendiéndose por corpus, al conjunto más extenso y ordenado posible de datos o textos científicos, literarios, etc., que pueden servir de base a una investigación (http://rae.es).

Las actividades de esta fase son las siguientes:

Analizar el corpus del dominio: Identificar, extraer y organizar (en una tabla) los términos significativos del dominio a partir de los documentos. Es muy posible que en esta actividad sea necesaria la colaboración de los expertos.

Evaluar el vocabulario considerando medidas de calidad de resultados usadas en escenarios de recuperación de información (búsqueda de documentos), tales como la precisión y el recall (exhaustividad) (Brank y cols, 2005). Los insumos para esta actividad serán la tabla construida en la primera actividad y el glosario de términos de la ontología.

Calcular Precisión: porcentaje de los términos de la ontología que aparecen en el corpus con relación a la cantidad total de términos de la ontología, utilizando la siguiente expresión:

Precisión = CO-C / COnto (1)

CO-C = Cantidad de términos que se solapan entre la ontología y el corpus.

COnto = Cantidad total de términos de la ontología.

Calcular Recall: porcentaje de términos del corpus que aparecen en la ontología con relación al total de términos en el corpus, utilizando la siguiente expresión:

Recall = CO-C / CCorp (2)

CCorp = Cantidad total de términos del corpus

En función de los valores obtenidos para la Precisión y el Recall, se establece una valoración cualitativa acerca de lo adecuado del vocabulario.

La principal actividad al inicio del desarrollo de una ontología, tal como sugieren los métodos de Methontology (Gómez-Pérez y cols, 2004) y On-To-Knowledge (Sure y Studer, 2003), consiste en la elaboración de un documento de requerimientos que especificará para qué se construye la ontología, cuál es la meta a alcanzar, descripción del dominio, posibles aplicaciones que la utilizarán, nivel de formalidad, fuentes de conocimiento disponibles, usuarios potenciales y escenarios de uso. Además, incluirá preguntas de competencia (posibles preguntas que la ontología deberá responder), las cuales serán utilizadas como un indicador del alcance y contenido del dominio representado, ya que pueden comportarse como un conjunto de pruebas para validar los requerimientos (Obrst y cols, 2007).

Las actividades para evaluar la adecuación a los requerimientos son:

Verificar que las especificaciones del documento de requerimientos se cumplan.

Verificar que las respuestas proporcionadas por la ontología a las preguntas de competencias sean correctas y pertinentes.

Una vez realizada la evaluación, el desarrollador deberá chequear y analizar la validez de los resultados. En caso de no ser satisfactorios, se regresará a fases previas hasta alcanzar los resultados deseados, así, de manera incremental, se verificará la calidad de la ontología. En la Figura 2 se muestran las fases del esquema de evaluación propuesto.

En esta sección se evalúa, utilizando el esquema descrito para la evaluación de ontologías únicas en un dominio, una ontología en estado de modelado para el dominio del Análisis de Líquido Seminal humano (ALS) (Pereira, 2007). El propósito de esta ontología es representar, organizar, formalizar, estandarizar y compartir el conocimiento del dominio, para que se encuentre a la libre disposición de la comunidad involucrada (bioanalistas, médicos, biólogos, estudiantes de las ciencias de la salud, pacientes y personas interesadas) en el análisis de líquido seminal humano.

Esta ontología es la única descripción que se conoce del dominio y la certeza de este enunciado se basa en que no fue posible recuperar ninguna información en la revisión realizada en la Web, que consideró, entre otras fuentes:

Por lo antes expuesto, se concluye que para esta ontología no existen precedentes de desarrollos que puedan ser utilizados como referencia en la evaluación.

La manera como se evaluó la ontología del ALS, utilizando el esquema de evaluación propuesto fue la siguiente:

Se evalúa la calidad de la ontología considerando la manera como está escrita.

Actividad a. Para codificar la ontología se seleccionó el sublenguaje de OWL (estándar recomendado por W3C -http://www.w3.org-), OWL-DL, el cual permite máxima expresividad sin perder la completitud computacional.

Actividad b. En cada fase del ciclo de desarrollo se utilizó el marco de chequeo que provee el editor Protégé-OWL. Esta funcionalidad permitió corregir inconsistencias sintácticas, permitiendo alcanzar un código libre de errores. Adicionalmente se utilizó el analizador sintáctico de archivos OWL de la Universidad de Manchester (http://www.mygrid.org.uk/OWL/Validator).

Los elementos a considerar son: identificación de inconsistencias, completitud de conceptos y existencia de redundancias en clases, instancias y relaciones.

Para facilitar este chequeo se desarrolló un software de visualización que de manera semiautomática permite a los expertos y a los desarrolladores identificar algunos de los elementos antes mencionados. El uso del software no limita la realización de la evaluación, la cual se puede hacer también manualmente.

Algunas funcionalidades que ofrece el software son:

1. Observar la estructura jerárquica usada para representar el conocimiento.

2. Visualizar las definiciones y las propiedades de los conceptos y sus relaciones semánticas.

3. Visualizar las definiciones y las propiedades de las instancias.

4. Visualizar gráficamente para cada concepto el nodo padre y los nodos hijos (si los posee).

El chequeo de redundancias en clases, instancias y relaciones fue realizado mediante las funcionalidades 2 y 3 del software. Un ejemplo de la interfaz del software que permitió visualizar las definiciones similares para clases (o instancias) con diferentes nombres se observa en la Figura 3.

La utilización de las funcionalidades 1 y 4 hizo posible la identificación de inconsistencias en la jerarquía de conceptos, como por ejemplo: la clase Espermatogénesis, es una subclase de la clase Túbulos Seminíferos, pero durante algunos de los ciclos de iteración, ésta fue ubicada de manera errónea como subclase de la clase Testículos.

Actividad a. Se identificaron y extrajeron los términos significativos del corpus. En los documentos digitales se hizo de manera semiautomática y en los textos se llevó a cabo en forma manual. En total se extrajeron 322 términos que fueron organizados alfabéticamente en una tabla. Por otro lado, el glosario de términos de la ontología contabilizó 234 entradas.

Seguidamente se contaron la cantidad de términos que se solaparon entre la ontología y el corpus, obteniendo coincidencias para 204 términos.

En resumen se tiene:

CCorp = Cantidad de términos del corpus = 322

COnto = Cantidad de términos de la ontología = 234

CO-C = Cantidad de términos que se sola-pan entre la ontología y el corpus = 204

La Tabla 1 resume los valores obtenidos para la precisión y el recall.

Se tiene que el valor obtenido para la precisión indica que 87% de los términos codificados en la ontología existen en el corpus; mientras que el resultado para el recall refiere que 63% de los términos del corpus, existen en la ontología.

Entre las razones que podrían explicar el valor obtenido para el recall, están que los términos del dominio son altamente especializados, son difíciles de identificar y frecuentemente se utilizan siglas y acrónimos para etiquetarlos y por ello no habrían sido incluidos en la ontología. Está claro que ha sido posible detectar las ausencias y por tanto, tomar las acciones correctivas a que haya lugar. Se sugiere incrementar el vocabulario, extendiendo la revisión bibliográfica de manera conjunta con los expertos del dominio.

En esta fase se verifica y valida que los requerimientos especificados se alcancen de manera satisfactoria.

Actividad a. Esta actividad se realizó en cada fase del ciclo de vida del desarrollo de la ontología, verificando que las especificaciones del documento se alcanzaran, haciendo especial énfasis en el cumplimiento de los objetivos, en los formalismos de representación del conocimiento y en la consecución de respuestas correctas para las preguntas de competencia. Producto de las reuniones con expertos, la revisión de las fuentes de conocimiento disponibles y la continua discusión del grupo de desarrolladores, se logró alcanzar el objetivo planteado que fue representar, organizar, formalizar y estandarizar el conocimiento del dominio del análisis de líquido seminal humano.

Actividad b. Conjuntamente con los expertos, se realizaron recorridos sobre la ontología para verificar que el conocimiento representado permitiera responder las preguntas de competencia, algunas de las cuales son: 1. ¿Cuáles son las posibles causas de la infertilidad masculina?, 2. ¿Qué tratamientos existen para lograr la fecundación artificial?, 3 ¿Cuáles son las características de una muestra de semen clasificada como normozoospermica?, 4. ¿Cuáles pruebas constituyen el análisis de líquido seminal?, 5. ¿Cuáles son los valores de referencia sugeridos por la Organización Mundial de la Salud?, 6. ¿Qué es la andrología y que aspectos considera?

Para llevar a cabo esta actividad se utilizó la aplicación de software mencionada anteriormente. Los recorridos sobre la estructura taxonómica permitieron encontrar las respuestas a muchas de estas preguntas. En la Figura 5 se muestra la definición almacenada en la ontología del concepto Andrología y los aspectos que ésta considera (tratamientos, evaluación de la fertilidad, aparato reproductor masculino, etc.) con lo cual se da respuesta a la pregunta número 6.

El esquema de evaluación propuesto constituye una herramienta que facilita la evaluación de ontologías que son descripciones únicas de un dominio, sin necesidad de contrastar con ontologías de referencia.

La evaluación de la ontología del dominio del Análisis de Líquido Seminal humano fue posible gracias a la aplicación de este esquema y los resultados alcanzados fueron satisfactorios, tanto para los desarrolladores de ontologías como para los expertos que participaron en el proyecto. La aplicación del esquema propuesto en cada fase del ciclo de vida de desarrollo de la ontología permitió identificar errores e inconsistencias sintácticas en el archivo OWL-DL, redundancia e inconsistencias para algunas clases e instancias, así como omisiones en el vocabulario utilizado para representar el conocimiento. Es importante resaltar la capacidad lograda para la identificación de ausencias y carencias, y por tanto se presenta la oportunidad de introducir la corrección de los errores; esto permitió obtener finalmente un primer desarrollo ontológico para este dominio.

Es recomendable la utilización de otros criterios que permitan incrementar la confiabilidad de la evaluación realizada. Por ejemplo, el hecho de haber construido la ontología usando la metodología Methontology (la cual es considerada un estándar por la ingeniería ontológica), de alguna manera garantiza que el desarrollo se haya realizado adecuadamente.

Una ontología de calidad permitirá que las tareas y aplicaciones de software que la utilicen ofrezcan resultados exitosos.

5 Transformación del lenguaje de marcado semántico DAML a través de la inclusión de algunas características de OIL (Ontology Interface Layer).

6 Extensión de Protégé que soporta el lenguaje de marcado semántico OWL (http://protege.stanford.edu/overview/protege-owl.html)

1. Brank, J., Grobelnik, M. y Mladenic, D. (2005). A Survey of Ontology Evaluation. (Versión electrónica). In International Conference on Language Resources and Evaluation, Techniques. SIKDD 2005 Multiconference IS. Ljubljana. Slovenia. Recuperado el 10 de Diciembre 2008 de la World Wide Web: http://kt.ijs.si/dunja/sikdd2005/Papers/BrankEvaluationSiKDD2005.pdf        [ Links ]

2. Brewster, C., Alani, H., Dasmahapatra, S. y Wilks, Y. (2004). Data driven ontology evaluation. (Versión electrónica). In Proceeding of International Conference on Language Resources and Evaluation. Lisbon, Portugal. Recuperado el 13 de Julio de 2008 del Sitio Web de la Universidad de Southampton: http://eprints.ecs.soton.ac.uk/9062/        [ Links ]

3. Burton, A., Storey, V., Suguraman, V. y Ahluwalia, P. (2005). A Semiotic Metrics for Assessing the Quality of Ontologies. Data & Knowledge Engineering. Elsevier. (55). 84-102         [ Links ]

4. Gómez, A., Fernández-López, M., Corcho, M. (2004) Ontological Engineering. Springer Verlag, London.        [ Links ]

5. Hartman, J., Spyns, P., Giboin, A., Maynard, D., Cuel, R., Suárez-Figueroa, M. y Sure, Y. (2005). D1.2.3 Methods for Ontology Evaluation. Knowledge Web Consortium. Project Number IST-2004-507-507-482. Recuperado el 10 de Diciembre 2007 del Sitio Web del Semantics Technology & Applications Research Laboratory de Vrije Universiteit Brussel: http://knowledgeweb.semanticweb.org/o2i/menu/D1.2.3.pdf        [ Links ]

6. Horridge, M., Knublauch, H., Rector, A., Stevens, R. y Wroe, C. (2004). A Practical guide to building OWL ontologies using the Protégé-OWL Plugin and CO-ODE Tools Edition 1.0. Recuperado el 15 de Abril de 2008 del sitio Web de la Universidad de Stanford: http://www.co-ode.org/resources/tutorials/ProtegeOWLTutorial.pdf        [ Links ]

7. Lozano, A. (2002). Métrica de idoneidad de ontologías. (Versión electrónica) Tesis de doctorado, Universidad de Extremadura. Recuperado el 3 de Febrero 2008 de la World Wide Web: http://dialnet.unirioja.es/servlet/oaites?codigo=329        [ Links ]

8. Maedche, E. y Staab, S. (2002). Measuring Similarity between Ontologies. [Versión electrónica]. En Gómez-Pérez, A., y Benjamins, VR. (eds) 13th International Conference on Knowledge Engineering and Knowledge Management (EKAW’02). Sigüenza, Spain. Lecture Notes in Artificial Intelligence LNAI 2473. Springer-Verlag, Berlin, Germany. 251-263        [ Links ]

9. Mortimer, D. (1994). Practical Laboratory Andrology. University Press, Oxford.         [ Links ]

10. Noriega, T., Orosa, J., Puerta, M. y Goncalves, J. (2002). Manual Práctico I Curso de Actualización. Análisis del Líquido Seminal. Universidad Central de Venezuela. Facultad de Medicina. Escuela de Bioanálisis. Cátedra de Histología.         [ Links ]

11. Noy, N. y McGuinness, D. (2001). Ontology development 101: A Guide to creating your first ontology. Technical Report KSL-01-05. (Versión electrónica). Recuperado el 22 de Julio 2008 del sitio Web de la Universidad de Stanford: http://protege.stanford.edu/publications/ontology_development/ontology101.pdf        [ Links ]

12. Obrst, L., Ashpole, B., Ceusters, W., Mani, I., Ray, S. y Smith, B. (2007). The evaluation of ontologies: Toward improved semantic interoperability. (Versión electrónica). En Baker, C. y Cheung, KH. (eds.) Semantic Web Revolutionizing Knowledge in the Life Science. Springer US. 139-158        [ Links ]

13. Organización Mundial de la Salud -OMS-. (2001). Manual de Laboratorio para el Examen del Semen Humano y de la Interacción entre el Semen y el Moco Cervical. Editorial Médica Panamericana, Madrid, España.        [ Links ]

14. Pereira, Y. (2007). Ontología en ambiente Web para el análisis del líquido seminal human. Trabajo especial de grado: Escuela de Computación. Universidad Central de Venezuela. Recuperado el 29 de Julio 2008 del Sitio Web del Laboratorio de Inteligencia Artificial de la UCV: http://lia.ciens.ucv.ve/ALS/documentos.do        [ Links ]

15. Porzel, R. y Malaka, R. (2004). A Task-based Approach for Ontology Evaluation. ECAI Workshop on Ontology Learning and Population. España. Recuperado el 5 de Julio 2008 de la World Wide Web: http://olp.dfki.de/ecai04/final-porzel.pdf        [ Links ]

16. Studer, R., Benjamins, V. y Fensel, D. (1998). Knowledge Engineering: Principles and Methods. Data and Knowledge Engineering (DKE) 25(1-2).161-197.        [ Links ]

17. Sure, Y. y Studer, R. (2003). A Methodology for Ontology-based Knowledge Management. En Davies, J., Fensel, D. y van Harmelen, F. (eds.). Towards the Semantic Web. London: J. WileyJohn Wiley & Sons, LTD. 33-45.        [ Links ]