Calidad y evaluación de la producción científica en Venezuela: Breve análisis y algunas propuestas

José Enrique Finol

Laboratorio de Investigaciones Semióticas y Antropológicas (LISA) Facultad de Ciencias, Departamento de Ciencias Humanas. Universidad del Zulia. E-mail: joseenriquefinol@cantv.net Web: www.joseenriquefinol.com

INTRODUCCIÓN

Es necesario reconocer que la calidad de la producción científica en Venezuela ha venido mejorando en las últimas décadas. Varias razones han contribuido a ello. En primer lugar, desde la segunda mitad del siglo pasado comenzó un proceso académico creciente y sostenido, que permitió formar a nivel de postgrado, tanto en calidad como en cantidad, a numerosos egresados universitarios, muchos de ellos miembros de de la comunidad académica. La mayoría obtuvo entonces sus títulos de magíster y doctorado en universidades extranjeras. Este logro fue posible gracias a los programas de formación del personal docente y, a pesar de sus graves limitaciones, al programa masivo de becas de la Fundación Gran Mariscal deAyacucho. En segundo lugar, como consecuencia de lo anterior, las universidades venezolanas comenzaron a desarrollar sus propios postgrados, lo que facilitó obtener formación de ese nivel para aquellos que no podían viajar al exterior. En tercer lugar, se crearon las facultades de ciencias básicas, y a partir de allí, tanto en las universidades como en el Estado venezolano comenzó, a consolidarse el interés por la investigación científica y por su utilización en el conocimiento y solución de problemas locales, regionales y nacionales. En cuarto lugar, comenzaron a aparecer y apuntalarse numerosos centros e institutos de investigación.

En quinto lugar, comenzaron a desarrollarse en las universidades los Consejos de Desarrollo Científico y Humanístico, los cuales estaban previstos en la Ley de Universidades pero que amenudo no funcionaban, y cuando lo hacían eran minúsculas dependencias a las cuales no se les asignaban recursos. En sexto lugar, la aparición y progresiva consolidación de numerosas revistas científicas, esa suerte de "registro oficial y público de la ciencia", como las denomina Ruiz Pérez (www).

En séptimo lugar, se creó en 1990 la Fundación Venezolana de Promoción del Investigador, la cual no sólo promovió una competencia entre investigadores sino que además premió en prestigio y en dinero la actividad de investigación.

1. VENEZUELA EN LOS REGISTROS INTERNACIONALES

Apesar del avance mencionado,Venezuela sigue estando retrasada en materia de investigación si comparamos con nuestros pares, ya no de Estados Unidos o Europa sino de Argentina, México, Brasil y Chile. América Latina aporta menos del 0.7% al gasto mundial de Investigación y Desarrollo, del cual el 0.4% lo aporta Brasil (1).

En Venezuela, la inversión del Estado en I y D en 1990 era del 0.37% del PIB, porcentaje que en 1995 subió al 0.62% y descendió en 2001 a 0.48%. Como puede observarse, se trata de porcentajes aún muy lejos del 1% mínimo que los organismos internacionales recomiendan invertir en I y D a los países en desarrollo.

En cuanto al registro internacional de publicaciones venezolanas, en el Science Citation Index vemos también un crecimiento importante, si se toma en cuenta que de 437 artículos venezolanos registrados allí en 1990 se pasó a 767 en el 2002 (2), lo que representa un incremento del175%, superior incluso al promedio de América Latina y el Caribe en su conjunto. Si analizamos ese número de publicaciones por institución de procedencia de los investigadores, LUZ aparece de quinta, detrás de UCV, IVIC, ULAy USB, a pesar de estar de primera en el número de investigadores adscritos al PPI. AllíVenezuela sigue la tendencia de América Latina, según lo reflejado por el informe sobre El estado de la ciencia, de la Red de Indicadores de Ciencia y Tecnología:

La calidad de la ciencia latinoamericana ha aumentado en forma constante durante los últimos años, a tenor del comportamiento seguido por los indicadores bibliométricos. En efecto, la cantidad de publicaciones registradas en el Science Citation Index (SCI) para América Latina y el Caribe ha tenido un marcado crecimiento en el periodo 1994-2003, alcanzando un incremento del 140% entre puntas. Esta tasa de crecimiento es llamativamente alta, cuadruplicando la del total de registros en la base de datos, que fue del 33%. Asimismo, supera el aumento de la producción española, que también tuvo un incremento importante en este periodo. Las cifras permiten observar que en SCI, los 14.692 artículos de 1994 representaban el 1,84% del total de aquel año, pero una década después los 35.299 registros en la misma fuente ya equivalían al 3,30% (Red de Indicadores de Ciencia y Tecnología).

Esa tendencia manifestada en el SCI, que sólo registra publicaciones de 3.700 revistas en las áreas de las llamadas ciencias físicas, naturales, técnicas y médicas, se confirma en el index francés Pascal:

Una tendencia similar puede observarse en las publicaciones registradas por la base PASCAL, producida por el Institut de l’Information Scientifique et Technique (INIST) de Francia, la que al igual que SCI tiene carácter multidisciplinario. Dejando de lado la caída registrada hasta 1995, cuando la trayectoria de la producción de los autores pertenecientes a países de América Latina y el Caribe se corresponde con una disminución igualmente marcada de la cantidad de registros indexados en esta fuente, se verifica aquí un crecimiento del 95% entre 1994 y 2003, mientras que el total se mantuvo estable. (Red de Indicadores de Ciencia y Tecnología. Http://www. ricyt.org/interior/interior).

Si bien estos indicadores promueven un optimismo razonable entre las instituciones académicas, no debemos olvidar que aún las dificultades son enormes y que algunas desviaciones se observan en la implementación de estrategias que hasta ahora han sido relativamente exitosas. Una de ellas, por ejemplo, es el fenómeno no deseado originado por el Programa de Promoción del Investigador (PPI) que algunos denominan "articulitis", el cual podría definirse como la elaboración acelerada, a menudo superficial y sin control, de artículos para revistas arbitradas que no tienen un propósito de divulgación científica, sino de mera acumulación de recaudos para ingresar o ascender en ese programa. Ello, incluso, ha generado la incorporación fraudulenta de autores y co-autores, lo que conduce a una suerte de tráfico académico que desvirtúa el propósito y la razón del programa y, lo que es peor, de la actividad científica. En un área de trabajo que amenudo se fundamenta en la confianza y en la ética personal, estos efectos no deseados amenazan seriamente la confiabilidad de nuestro trabajo. Un ejemplo similar ocurre con postgrados deficientes y con la creación de centros de investigación a lamedida de los intereses de un investigador.

En el marco de lo señalado anteriormente, vamos a intentar analizar aquí los dos componentes principales de la propuesta de esta exposición. Se trata de examinar los conceptos y las condiciones de calidad y de evaluación en la producción científica enVenezuela y, fundamentalmente, de reunir algunas propuestas dispersas sobre cómomejorar la calidad de las publicaciones científicas, más que medir su calidad actual (3). Los conceptos mencionados son determinantes en el análisis de toda la problemática y de las políticas científicas tanto del Estado venezolano como de las universidades y unidades de investigación del país.

2. CALIDAD

¿Qué es la calidad?, y, en particular, ¿qué es la "calidad de la producción científica"? ¿Cuáles son los criterios que la definen?, y, a partir de allí, ¿qué significa "calidad" en una publicación científica?

El término "calidad" implica un significado de bondad, excelencia, superioridad. En tal sentido, cuando evaluamos la producción científica, la producción de conocimiento, y afirmamos que ésta es de calidad, le estamos atribuyendo unas propiedades que bien podríamos denominar con términos como "buena", "excelente" o "superior", términos que, en ese orden, indican una gradación de la calidad misma.

Ahora bien, ¿cómo medimos, en términos cualitativos, la condición de "bueno", "excelente" o "superior"? En cierto modo, es la investigación en sí misma, el desarrollo específico de un proyecto de investigación, lo que puede considerarse como "producción científica", es decir, el proceso de crear conocimiento nuevo; mientras que el artículo o el informe científico debe entenderse como el producto, como consecuencia natural de esa producción o generación de conocimiento.Comopuede deducirse, la relación entre producción producto es inseparable, la segunda supone la primera (pero también la inversa es cierta), y en consecuencia cabría pensar que la calidad de una investigación determinará la calidad de la publicación. Sin embargo, la experiencia nos indica que no siempre esta hipótesis se cumple, y que a menudo buenas investigaciones conducen a mediocres publicaciones. De manera que la elaboración de una publicación tiene sus reglas específicas, sus valores propios, sus propias "cualidades".

Si decimos que hay una relación estrecha entre investigación y publicación, entre producción y producto, también puede hablarse de una relación similar cuando hablamos de evaluación y calidad, pues es, en fin de cuentas, la evaluación la que permitirá que los expertos determinen si, en efecto, los resultados expuestos, tanto en su forma como en su contenido, son conocimientos novedosos, "buenos", "excelentes" o "superiores".

Los especialistas, en general, consideran que la calidad de la producción científica se mide, en primer lugar, según criterios utilizados para determinar la valoración de un proyecto de investigación. En efecto, el proyecto de investigación es, desde diversos puntos de vista, el antecedente que determinará, en no escasa medida, lo que será el artículo científico.

Algunos de esos criterios son los siguientes:

- La determinación correcta de un objeto de investigación.

- El diseño apropiado del proyecto de investigación, lo que incluye la teoría, la metodología y las hipótesis formuladas.

- La adecuación de las técnicas de investigación utilizadas.

- La recolección, clasificación ymanejo adecuado de los datos obtenidos.

- La interpretación coherente, acorde con los datos, de los fenómenos analizados.

Si esos criterios son cubiertos por el investigador, le será más fácil presentar en un artículo o en un informe científico los resultados alcanzados en el desarrollo del proyecto de investigación. Así, la calidad de ese artículo, reflejo del conocimiento producido, se medirá, por ejemplo, en términos de:

a) La novedad de los resultados alcanzados.

b) La solidez de los argumentos utilizados en la demostración de las hipótesis propuestas.

c) La coherencia y sistematicidad de la argumentación en la redacción de un artículo.

d) La pertinencia de las fuentes bibliográficas.

e) La actualización de las fuentes bibliográficas.

f) La correcta utilización de los lenguajes (redacción, estilo, capacidad de síntesis, ortografía, etc.) utilizados para comunicar los resultados obtenidos.

3. EVALUACIÓN

Ahora bien, ¿cómo nos aseguramos de que esos criterios de calidad se cumplan en los artículos científicos? ¿Cómo reducimos a su mínima expresión las fallas en el cumplimiento de estos criterios? O, al menos, ¿cómo nos acercamos lo más posible a esos criterios? Buela-Casal ha elaborado una lista de 20 parámetros de calidad que deben evaluarse en un manuscrito o en una revista (Buela-Casal, 2003). Yo sólo me referiré aquí a algunos parámetros que me han parecido más relevantes.

3.1. Criterios formales vs contenido

Los índices internacionales de revistas han creado una serie de indicadores formales de calidad, cuyo cumplimiento determina que una publicación sea admitida o no en esos índices. SciELO (www), por ejemplo establece diez criterios formales: carácter científico, arbitraje por pares, consejo editorial, periodicidad, duración, puntualidad, resumen, normalización, afiliación de autores, citas recibidas, criterios que aparecen entre los treinta y tres tomados en cuenta porLATINDEX. Sin duda el cumplimiento de estos criterios formales es muy importante para la evaluación de una revista. Sin embargo, ellos no garantizan la calidad del contenido de una publicación, por lo que se hace necesario profundizar el esfuerzo para asegurar artículos cada vez mejores. Para ello es necesaria una evaluación estricta y sistemática de los contenidos, de su organización y de su relación con el conocimiento.

Como podemos imaginar, la calidad de la producción científica está estrechamente atada a la calidad de la comunidad científica, a las competencias de sus investigadores, a su formación, a su tradición, a los recursos materiales y humanos con los que ellos cuentan. De manera que para una evaluación completa de la calidad de la producción científica de una región, una universidad o un país, es necesario conocer las competencias, experiencias y recursos con los que cuentan los miembros de esa comunidad científica. Aquí, no obstante, sólo vamos a referirnos a la evaluación de los manuscritos destinados a ser publicados en una revista de divulgación científica.

3.2. El sistema de arbitraje

En cuanto a la evaluación de los productos -los conocimientos generados una vez reunidos en un artículo o un informe, el mejor método conocido hasta ahora, universalmente aplicado, es la evaluación por un grupo de pares, el arbitraje de expertos. Pero el arbitraje de expertos, en sí mismo, a pesar de sus bondades, no es suficiente (como lo prueba el hecho de que existen numerosas revistas arbitradas, con publicaciones extremadamente deficientes). Se trata, como dicen los filósofos, de una condición necesaria pero no suficiente. El sistema de arbitraje debe reunir ciertas condiciones mínimas:

a) Los árbitros deben ser verdaderos expertos, no amigos del editor, no expertos seleccionados "porque responden rápido", ni, mucho menos, amigos del autor del manuscrito.

b) Debe asegurarse el anonimato absoluto, lo que le da al evaluador la posibilidad de hacer su trabajo sin presión ni prejuicio alguno.

c) El Comité de Árbitros debe ser lo más variado, amplio y universal posible. Un Comité de Árbitros donde la mayoría de sus miembros son de la institución que edita una revista no propende a obtener dictámenes objetivos, bien calificados, garantes de la novedad, de la actualidad y del valor de los resultados expuestos en el manuscrito. Es por ello necesario tener un Comité de Árbitros muy internacional, de competencias plenamente demostradas y con capacidad de aportar y enriquecer el manuscrito con sus críticas y observaciones.

d) Deben atenderse las observaciones de los evaluadores, para lo cual es necesario asegurarse de que el autor haga las correcciones y/o responda a las observaciones e interrogantes que el evaluador plantea. He vivido la experiencia de hacer observaciones a un artículo y verlo luego publicado sin que mis observaciones hayan sido atendidas. En este sentido, el mejor método es enviar de nuevo el manuscrito a los evaluadores para que éstos verifiquen si las correcciones han sido hechas y si las observaciones han sido atendidas correctamente. En ocasiones el intercambio anónimo y continuo entre evaluador y autor ha sido extremadamente enriquecedor para ambos. Conozco autores que, a través del editor, han tenido que enviar al evaluador más de cinco veces sus manuscritos hasta que finalmente éste queda satisfecho.

Sugerimos que los comités editoriales lleven una estadística sobre los árbitros que incluya, entre otras cosas, el porcentaje de manuscritos que dictaminan como publicables, publicables con modificaciones y no publicables. Una estadística como esta nos permitiría clasificar a los árbitros y sus estándares de evaluación como, por ejemplo, muy estrictos, estrictos e indulgentes.

3.3. Los editores y comités editoriales

Los editores deben comprender que ellos son los custodios de la calidad de una revista. Su papel no debe limitarse a una simple intermediación burocrática, a recibir un artículo y enviarlo a unos evaluadores. El editor y su equipo deben involucrarse en cada artículo que reciben, pues si bien sus competencias científicas no cubren todos los campos que su revista abarca, sí deben estar atentos, entre otras cosas, a los fraudes, a la inclusión, por ejemplo, de coautores cuya competencia científica no tiene nada que ver con el tema que se está tratando en el manuscrito o que por ejemplo, son familiares (4) del autor.

El Comité Editorial de una revista debe contar con los expertos mejor calificados de la comunidad científica donde esa publicación funciona. El prestigio, la experiencia, la competencia de los miembros del Comité Editorial es a menudo dejada al azar de las relaciones o de la amistad. Esa dejadez es una falla que se refleja en el prestigio de la revista y, a la larga, se traduce en debilidades estructurales cuando se trata de evaluar la calidad de las publicaciones.

Aunque un manuscrito ya haya sido evaluado, los editores no deben dudar en enviarlo de nuevo a nuevos árbitros cuando su calidad esté en duda, particularmente en aquellos casos en que los evaluadores hacen numerosas críticas y observaciones o pocas observaciones pero sobre aspectos decisivos y, no obstante, éstos los dictaminan como "publicable" o "publicable con ligeras modificaciones".

3.4. Redacción y estilo

No se insistirá suficiente sobre la correcta redacción de un artículo. Si bien esta es una variable difícil de controlar, no debe ello conducirnos a seguir publicando artículos mal redactados, con claras fallas ortográficas, de concordancia y estilo, o con escasa lógica argumentativa.

Como afirmaMolino "Un índice de calidad de una revista es también su calidad formal, en cuanto que cumpla las normas nacionales e internacionales al respecto. Generalmente la calidad formal y la calidad intrínseca de una revista suelen ir paralelas, siendo la primera un requisito previo para la segunda" (www).

En tal sentido, creo que toda revista debe contar con un equipo de revisión de estilo y redacción, pues son numerosos los errores que cada vez más, en particular en las carreras propias de la "articulitis", se cometen en nuestras revistas. El Comité de Redacción debe estar en capacidad de decirle a un autor que su manuscrito está aceptable pero que debe buscar a alguien que revise su estilo y redacción.

Los autores debemos entender que un manuscrito debe siempre ser revisado cuidadosamente antes de entregarlo al editor, y que invariablemente es bueno que otros pares de ojos lo lean, pues sin duda, como la experiencia lo indica, habrá errores que nuestros ojos ya no ven o, mejor todavía, habrá formas diferentes de decir lo que de manera ambigua, ininteligible o poco clara decimos en un texto escrito. Esto es particularmente válido en las ciencias sociales, donde, a diferencia de las ciencias físicas y naturales, no contamos con lenguajes precisos, universalmente aceptados por su extensa tradición, como ocurre en la Matemática, la Química, la Física o la Biología.

3.5. Evaluación periódica de las propias revistas

Es imprescindible establecer sistemas de evaluación de las revistas mismas como un todo. Los comités editoriales deben evitar las "auto-evaluaciones", que conducen fácilmente a la endogamia científica; por el contrario, deben crear grupos externos de análisis, capaces de aplicar una metodología de evaluación que, con rigor, nos señalen fallas y aciertos, así como estrategias para mejorar la calidad de lo que se publica. Existen ya metodologías de evaluación que podrían aplicarse anualmente, pues hoy la evaluación constituye incluso materia de los programas de estudio de la carrera de Bibliotecología de algunas universidades (5).

Las publicaciones científicas constituyen hoy una especialidad bibliográfica a título propio, que las escuelas de bibliotecología de las universidades no pueden ignorar o relegar a rincones dentro de otras materias, de modo que la formación de estos profesionales debe incluir una formación específica, pues sin duda ellos podrían aportar un recurso técnico eficiente, que contribuiría a la calidad de nuestras revistas (6). En tal sentido, las comisiones de editores de cada universidad deberían proponer a las escuelas de bibliotecología, archivología y documentación, incluir una mayor formación en el área de evaluación de publicaciones científicas, a fin de formar recursos técnicos para esta difícil tarea.

Uno de los experimentos de evaluación de la calidad de lo que publicamos podría ser la evaluación crítica de una selección, al azar, de artículos ya publicados. El artículo se enviaría a árbitros distintos de aquellos que lo evaluaron por primera vez. El propósito de esta evaluación a posteriori sería el de confrontar unas evaluaciones con las otras y poder obtener estadísticas comparativas que podrían ser útiles en las nuevas y sucesivas evaluaciones.

CONCLUSIONES

Ciertamente, mantener en nuestro medio la calidad de una publicación científica es una tarea muy ardua; ella supone la constitución de un equipo con dedicación de tiempo y provisión de recursos, e implica estar consciente de la existencia de variables que es difícil, sino imposible, controlar. Tomar conciencia de esas limitaciones es tal vez la primera tarea de los editores. La segunda es diseñar, ejecutar y, finalmente, evaluar normas y estrategias que permitan acercarnos al máximo a la calidad de las revistas de mayor tradición, liderazgo y calidad en el mundo. Si bien es cierto que la calidad de las publicaciones científicas es expresión de la comunidad científica que la utiliza, también es cierto que esas publicaciones contribuyen, en no escasa medida, a dar forma, a consolidar y profundizar el trabajo de los investigadores.

Notas

1. Ver la red de Indicadores de Ciencia y Tecnología en http://www. ricyt.edu.ar/.

2. Ver www.asovac.org.ve. Para la elaboración de esta información se tomaron en cuenta las publicaciones donde al menos uno de los autores del artículo es venezolano o vive en Venezuela. Fecha de consulta: 29/10/2006.

3. La literatura tradicional señala el factor de impacto como indicador fundamental de la calidad de una publicación, un criterio que ha aplicado insistentemente el Institute for Scientific Information, de Filadelfia, Estados Unidos, el cual ha creado los famosos índices Science Citation Index, para las ciencias físicas y naturales y para las técnicas, el Social Science Citation Index, para las Ciencias Sociales, y el Arts and Humanities Citation Index, para las llamadas humanidades. El factor de impacto es el producto de relacionar la cantidad de citas anuales que una revista obtuvo con la cantidad de artículos que esa revista publicó en los dos últimos años. Muchos autores han criticado duramente el sesgo que manifiesta este tipo de evaluación.

4. Martínez Navarrete y Montero Ruiz hacen una lista de fraudes en materia de publicaciones científicas: "Se considera fraude científico (Sancho 2004) tanto los perjuicios al conocimiento como las malas prácticas en el proceso de publicación de la ciencia. Entre los fraudes más graves están la fabricación de datos, la modificación de datos reales para obtener resultados más favorables a las hipótesis de partida y el plagio. Entre los fraudes menores está la inclusión como autor de quien no ha contribuido al desarrollo del trabajo, la publicación duplicada o autoplagio, o la que se limita a inflar con datos conclusiones ya publicadas. También es una mala práctica el exceso de autocitas y la incorrección en las citas bibliográficas por omisión de citas relevantes, por atribución de ideas a los autores con citas generales, sin especificar las páginas donde se expresan, o por el contrario, por copiar referencias sin consultarlas con el riesgo de repetir y perpetuar errores" (2004:6). Para un trabajo más extenso sobre el tema ver:

Sancho, R. 2004: "Fraude científico". Madrid+d: análisis Madrid+ d. 13/5/04. (Http:madrimasd.org/globalidi/analisis.asp? id=15983).

5. Tal es el caso, por ejemplo, del Departamento de Biblioteconomía y Documentación de la Universidad de Granada, donde se imparte la materia denominada "Evaluación de revistas científicas como medios de comunicación científica" (http://www.ugr.es/~dbibliot/ doctorado/ rruiz.htm). También la Universidad Carlos III de Madrid, incluye una materia denominada "Evaluación de las revistas científicas españolas". http://www.uc3m.es/uc3m/gral/TC/ESDO/esdo03programasempere. html. Ver también a este respecto Delgado López-Cózar, E.; Ruiz Pérez, R. (1998); para una metodología de evaluación aplicada a revistas de Economía ver Giménez Toledo (1998), y para una metodología aplicada a revistas de Ciencias Sociales y Humanidades ver Lamarca Langa (2005) y López Baena, Alfonso Juan;Valcárcel Cases, Miguel; Barbancho Medina, Manuel (2005).

6. Una de las universidades iberoamericanas que más ha desarrollado la evaluación de publicaciones científicas es la Universidad de Granada, España, cuyo grupo de investigación EC3, dedicado a la Evaluación de la Ciencia y de la Comunidad Científica, viene publicando desde 1987 una serie de trabajos, que han contribuido enormemente al desarrollo de una comunidad científica actualizada y de un sistema de publicaciones cada vez más eficiente. Ver al respecto: http://ec3.ugr.es/in-recs/grupoinvest/public.html. Tambien el observatorio de la Calidad en Biblioteconomía y Documentación, de la Universidad Complutense, España, ha producido una serie de trabajos sobre producción y evaluación de la ciencia. Ver: http://www.ucm.es/info/multidoc/observatorio/revistas.htm.

Bibliografía

1. ASOCIACIÓN VENEZOLANA PARA EL AVANCE DE LA CIENCIA (ASOVAC). www.asovac.org.ve. Consulta: 31/10/2006.        [ Links ]

2. BUELA-CASAL, GUALBERTO. 2003. Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad. Psichotema, v. 15, n. 1, pág. 23-35. En http://www.psicothema.com/pdf/400.pdf. Consulta: 2/11/2006.        [ Links ]

3. DELGADO LÓPEZ, Cózar E.; Ruíz Pérez, R. (1998) Normalización de revistas científicas: método de evaluación. Salamanca: Ediciones Universidad de Salamanca, ISBN 84-7481-994-6.        [ Links ]

4. IMÉNEZ TOLEDO, Elea. Problemas metodológicos en la evaluación de revistas científicas españolas. http:www.//fesabid98.florida-i.es/Comunicaciones/ e_ruth.htm. Consulta: 1/11/2006.        [ Links ]

5. LAMARCA LANGA, Genaro; et al. 2005. "Evaluación de la calidad de las revistas científicas españolas en Humanidades y Ciencias Sociales". Boletín de la ANABAD, vol. 55, num. 1-2, pp. 377-393.        [ Links ]

6. LÓPEZ BAENA, ALFONSO; Valcárcel Cases, Miguel; Barbancho Medina, Manuel. 2005. Propuesta de un sistema de evaluación de revistas científicas en las áreas de ciencias humanas y sociales. http://cat.inist.fr/?aModele= afficheN & cpsidt=16794707. Consulta: 1/11/2006.        [ Links ]

7. MARTÍNEZ NAVARRETE, MARÍA Y MONTERO RUIZ, IGNACIO. 2004. "Calidad de revistas científicas". Trabajos de Prehistoria, v. 61, n. 2, pág. 5-7. http://www.ih.csic.es/publicaciones/tp/botones/indi/editorial.pdf.        [ Links ]

8. MOLINO, PAULINA. Evaluación aplicada a las revistas científicas. Citas y factor de impacto. http://bib.us.es/guias/pdf/evaluacion.pdf. Consulta: 1/10/2006.        [ Links ]

9. OBSERVATORIO NACIONAL DE CIENCIA, TECNOLOGÍA E INNOVACIÓN (ICTI), Ministerio de Ciencia y Tecnología. Http://www. mct.gov.ve. Consulta: 29/10/2006.        [ Links ]

10. RED DE INDICADORES DE CIENCIA Y TECNOLOGÍA. EL ESTADO DE LA CIENCIA 2004. http://www.ricyt.org/interior/interior). Consulta: 29/10/2006.        [ Links ]

11. RUIZ PÉREZ, RAFAEL. Evaluación de revistas científicas como medios de comunicación científica. Http://www.ugr.es/~dbibliot/doctorado/rruiz. htm. Consulta: 1/11/2006.        [ Links ]

12. SCIENTIFIC ELECTRONIC LIBRARY ONLINE (SciELO). http://www. scielo.org. Consulta: 2/11/2006.        [ Links ]