Bibliometría e indicadores de actividad científica (VIII). Indicadores cienciométricos en Journal Citation Reports

El Journal Citation Reports (JCR) es una base de datos integrada en la plataforma de la Web of Science que publica anualmente una serie de indicadores bibliométricos utilizados en la evaluación de la calidad científica de las revistas, cuyo cálculo se realiza a partir de las citas recibidas y de los artículos publicados en las revistas indexadas en el Science Citation Index y en el Social Science Citation Index. 

En el presente trabajo se lleva a cabo un análisis a través del Journal Citation Reports de la categoría Pediatrics y de las revistas que forman parte de la misma, identificando los principales indicadores basados en citas, entre ellos, el factor de impacto, el índice de inmediatez o el Eigenfactor score. 

Según se detalla en el presente artículo, existen diversas opciones tanto de búsqueda como de visualización en el JCR dependiendo de las necesidades informativas del usuario. En nuestro ejemplo a través de la categoría Pediatrics se ha accedido a las revistas que la conforman, y para las métricas se han consultados los datos de la revista European Journal of Pediatrics. Sin embargo, la pantalla principal de JCR también ofrece otras posibilidades de búsqueda como son: 1) introduciendo directamente el nombre de la revista (Go to Journal Profile); 2) comparar las métricas de dos revistas (Compare Journals) y 3) consultar las revistas cuyo título se ha modificado (View Title Journals). Los resultados que aportan cualquiera de estas búsquedas, basados en la descripción de las revistas y el cálculo de los indicadores de citas, han sido ya comentados a lo largo del desarrollo de este trabajo. 

Toda la información en el artículo anexo y que también se puede recuperar de la revista Acta Pediátrica Española.

Presencia y relevancia de las revistas científicas editadas en lengua española incluidas en el repertorio Journal Citation Reports

PANACEA, en la mitología griega, fue una diosa de la salud, la que todo lo cura gracias a una cataplasma o poción. De ahí devino el concepto de panacea en medicina, una sustancia para curar todas las enfermedades, y en sentido figurado como algo destinado a resolver por completo un gran y multifacético problema. Pero con ese nombre también se conoce a una revista profesional especializada de reconocido prestigio y destinada a ayudar a resolver la mayoría de los problemas de traducción médica: Panace@, Revista de Medicina, Lenguaje y Traducción. 

Una revista que es una “panacea” para los profesionales de la traducción, redacción, edición, corrección de estilo, terminología, lexicografía y demás actividades conexas en el campo de la medicina y de sus ciencias afines. Y también para el común de los lectores que creemos que es importante cuidar nuestro idioma español. 

Acaba de aparecer el último número de Panace@, libre y en formato electrónico (http://www.tremedica.org/panacea/PanaceaActual.htm), una revista de imprescindible lectura y consulta para los amantes del lenguaje médico. Si no hubiera, habría que inventarla. Pero eso ocurrió hace ya 16 años, de la mano de Fernando A. Navarro y con la actual dirección de Bertha Gutiérrez, dos amigos de tertulias. 

Precisamente Fernando y Bertha fueron los directores de la pasada XI Jornada MEDES en El Escorial y ellos son parte de los muchos defensores del idioma español, también en la ciencia. Y en el último número de Panace@ hemos tenido el honor de publicar el artículo "Presencia y relevancia de las revistas científicas editadas en lengua española incluidas en el repertorio Journal Citation Reports", que podéis encontrar en formato abierto tanto en la revista como en el PDF anexo. 

Os invitamos a su lectura, pero algunos datos son relevantes: 

- De las 154 revistas editadas en países de habla hispana recogidas por el JCR de 2015, y que suponen el 1,8% del total de revistas indexadas aquel año, el 46 % se editan en español —todos los artículos publicados en su versión impresa están es este idioma—, 31 % son multilingües —aparecen artículos en más de un idioma, en general español e inglés— y 23 % se editan en inglés. 

- Un total de 152 de estas 154 revistas cuentan con factor de impacto (FI), lo cual permite su clasificación en cuartiles. Así, 3 se encontraban en el Q1 (2%), 19 en el Q2 (12,5%), 23 en el Q3 (15,1%) y 107 el en Q4 (70,4%). Las tres revistas situadas en el Q1 se editan en España, y son: Emergencias, Revista Matemática Iberoamericana y European Journal for Philosophy of Science. Estas revistas se editan, respectivamente, en español, de manera multilingüe e inglés. 

- Las revistas se distribuyen en los siguientes países: 74 de España, 25 de México, 22 de Chile, 14 de Argentina, 10 de Colombia, 8 de Venezuela y 1 de Costa Rica. 

- Todos los actores de la publicación científica —autores, lectores y editores— somos responsable a la hora de crear y diseminar ciencia en español. Sabedores de que queda mucho por recorrer y que no es ciencia del más alto nivel, pero también debemos saber reconocer que es posible hacerlo mejor y sin menoscabo de la calidad.

Mucho queda por hacer, pero sería un buen camino de inicio el que la Universidad española (u otras organizaciones de España) no penalice el español en las publicaciones científicas (todo un oximorón, claro está) a la hora de optar a puestos docentes e investigadores. Lo fácil para una evaluación como ANECA es coger al "peso" el factor de impacto y cuartiles de las publicaciones, valorar la cantidad sin considerar la calidad o su aplicabilidad en la práctica clínica. Esto, al menos, para los investigadores y docentes clínicos (que nada tenemos que ver con los investigadores y docentes de ciencias básicas, ni en forma, ni en modo, ni en tiempo, ni en recursos).

Y no conviene repetir la comorbilidad asociada al factor de impacto (para el interesado dejo dos enlaces al respecto: 1 y 2) o a los cuartiles. Sea como sea, para potenciar el español en las revistas científicas sería deseable implantar menos la impactolatría y más la racionalidad en la evaluación científica. Si nada de eso ocurre, la fuga de artículos de calidad a revistas con factor de impacto de otros países seguirá ocurriendo. Pero, claro, los sexenios son los sexenios... aunque no creo que quepa recordar que este camino solo ha llevado a un fracaso estrepitoso de España en el "mundial" de universidades.  No es fácil el camino si las instituciones no dan pasos en ese sentido... y que no es otra cosa que compaginar la publicación de calidad en inglés y también en español.

   

Presencia y relevancia de las revistas científicas editadas en lengua española incluidas en el repertorio Journal Citation Reports de Javier González de Dios

Formación e información en Pediatría. Fuentes de información (IV). Bases de datos multidisciplinares

Desde antes del verano no hemos publicado esta sección en el blog. Ello ha sido por dos motivos: el primero es que este artículo, centrado en el análisis de Science Citation Index / Journal Citation Reports, se ha publicado en dos partes; el segundo es que el oportuno descanso estival de Acta Pediátrica Española hace que la primera parte fuera publicada en junio y la segunda en septiembre.

De nuevo estamos aquí. Hoy nos adentramos en el portal Web of Knowledge (WOK), que permite la consulta de la Web of Science (WOS), Current Contents Connect, Proceedings y Journal Citations Reports. A su vez, WOS incluye las siguientes bases de datos que pueden consultarse conjuntamente o de manera independiente: Science Citation Index Expanded, Social Science Citation Index, Arts and Humanities Citation Index, Conference Proceedings Citation Index, Index Chemicus y Current Chemical Reactions.

Una de las peculiaridades de las bases de datos de la WOS (que permite realizar búsquedas en más de 9.200 revistas) es que incluyen las referencias bibliográficas de los artículos citados en las bibliografías de los artículos fuente, por lo que es posible recuperar tanto los trabajos citadores (y conocer a quien citan sus autores en la bibliografía), los trabajos citados (e identificar quién es citado y cuántas citas ha recibido) y también los trabajos relacionados (aquellos que coinciden en citar los mismos trabajos en sus bibliografías). El principio en el que se sustentan es que la bibliografía de un trabajo es una parte clave de cualquier documento científico, ya que muestra las fuentes en las que se ha basado la investigación.

En este trabajo se presentan el proceso y las etapas que deben seguirse en la búsqueda de trabajos en el Science Citation Index a través de la WOS según las diferentes opciones (búsqueda simple, avanzada), referencias citadas, citas recibidas por un determinado autor o trabajo (Cited Reference Search) y el factor de impacto y otros indicadores bibliométricos (número de citas recibidas por cada revista, factor de impacto de 5 años o índice de inmediatez, entre otros) de las revistas que forman parte de la cobertura del Science Citation Index y el Social Science Citation Index en Journal Citation Reports.

Abajo os dejamos ambos documentos, por si os interesa profundizar en estas bases de datos multidisciplinares esenciales.

Formacion e informacion (iv) bases multidisciplinares(parte 1)

View more documents from Javier González de Dios

Formacion e informacion (iv) bases multidisciplinares(parte 2)

View more documents from Javier González de Dios

Aproximación al “impacto” de las revistas pediátricas

Al revisar la estructura del Journal Citation Reports-Science Citation Index (JCR-SCI) ya comentamos que existe una dinámica de citación distinta entre las distintas especialidades, especialmente al comparar el subámbito de la Medicina Clínica y de las Ciencias de la Vida.

El área de Pediatrics es una de las 44 categorías del entorno de la Medicina Clínica, que en el JCR-SCI del año 2009 presenta las siguientes características:
- Engloba 94 revistas biomédicas, 12.648 artículos, 297.188 citas y un Factor de impacto (FI) medio de 1,406.
- Clasificación de las 94 revistas en Pediatrics por FI: 29 revistas con FI entre 0-0,999, 37 con FI entre 1-1,999, 24 con FI entre 2-3,999 y 4 con FI ≥4.
- El mayor FI corresponde a J Am Acad Child Psy (4,983), Arch Pediatr Adol Med (4,726), Pediatrics (4,687) y J Pediatr (4,092).
- El mayor número de artículos publicados corresponde a Pediatrics (752), J Pediatr Surg (512) y Pediatr Blood Cancer (398).
- La distribución de las revistas pediátricas por países se puede clasificar en cuatro grupos: 1) el liderazgo procede de Estados Unidos, con 53 revistas; 2) dos países destacados son Gran Bretaña (14 revistas) y Alemania (10); 3) con dos revistas se encuentra cuatro países: Australia, Holanda, India y Suiza; 4) con una revista se encuentran nueve países: Brasil, Canadá, China, Croacia, España, Francia, Irán, Japón y Turquía. Analizando las 23 revistas situadas en el primer cuartil la distribución por países es: 16 de Estados Unidos, 5 de Gran Bretaña, 1 de Alemania y 1 de Australia.
- La distribución de las revistas pediátricas por idiomas confirma el predominio absoluto del inglés (89 revistas), frente a tan sólo 5 en otros idiomas: dos en alemán (Klin Padiatr, puesto 31 por orden de FI; y Monatsschr Kinderh, puesto 91), una en croata (Paediatr Croat, puesto 92), una en francés (Arch Pediatrie, puesto 86) y una en español (An Pediatr, puesto 89).

Este es el entorno en el que se mueve “impactolatría” en Pediatría. El FI tiene sus debilidades y fortalezas, también sus amenazas y oportunidades. Pero para abordarlas lo primero es conocer el campo que tratamos. Para profundizar algo más sobre todo lo anterior os remitimos al siguiente artículo.
Cualquiera de las puntualizaciones sobre el FI realizadas a lo largo de la última semana en este blog tiene un punto en común: reflexionar sobre la publicación científica pediátrica en España, su internacionalización y su repercusión más allá de nuestra fronteras.

Adentrarse en la estructura y dinámica del Journal Citation Report - Science Citation Index

En 1965, Eugene Garfield fué el primero en sugerir un indicador para contabilizar las citas que recibían las publicaciones individuales e introdujo el conocido factor de impacto (FI), publicando en el Institute for Scientific Information de Filadelfia el primer volumen del Science Citation Index (SCI). Un producto derivado del SCI, el Journal Citation Reports (JCR), proporciona anualmente indicadores bibliométricos sobre el consumo de información de un amplio (pero selecto) número de revistas, entre ellos el número de citas que han recibido, la vida media, el índice de inmediatez y el FI, así como otros indicadores de reciente incorporación en JCR (factor de impacto de 5 años, Eigenfactor score y Article influence score).

En los días previos hemos comentado algunos aspectos de la impactolatría y de la comorbilidad asociada al FI. Nada mejor que adentrarnos en el JCR-SCI último (el que corresponde al año 2009; en breve aparecerá el 2010) para conocer alguna de sus características y peculiaridades:

-JCR-SCI engloba en el año 2009 un total de 7.347 revistas (con un incremento de un 20% en los últimos tres años) distribuidas en 171 categorías de estudio.
-De estas 171 categorías de estudio, 63 corresponden a Biomedicina y Ciencias de la Salud: 44 categorías de enfoque médico-clínico, que se incluyen en el subámbito de la medicina clínica (MC) y 19 de enfoque más básico, que se incluyen en el subámbito de ciencias de la vida (CV).
- En el subámbito de MC las categorías con mayor número de revistas son Clinical Neurology (167), Surgery (166), Oncology (165), Medicine General & Internal (132) y Public, Environmental & Occupational Health (122). En el subámbito de CV las categorías con mayor número de revistas son Biochemistry & Molecular Biology (283), Pharmacology & Pharmacy (236), Neurosciences (230), Cell Biology (161) y Genetics & Heredity (144).
- El número total de artículos publicados en las 44 categorías de MC en el año 2009 fueron 332.465, con un FI medio global de 1,714. El número total de artículos publicados en las 19 categorías de CV en el año 2009 fueron 264.047, con un FI medio global de 2,375.
- En cada categoría se percibe una dinámica de citación distinta, especialmente al comparar el subámbito de la MC y de la CV. Es por ello que el FI de un pediatra se debe comparar y ponderar con el de otro pediatra, no con el de un cardiólogo (también en el subámbito de la MC) y menos con el de un genetista (ya en el subámbito de CV).
- El mayor número de artículos (y también de citas) publicados en 2009 corresponde a las revistas Science (897), Nature (866), Cell (359), New Engl J Med (352) y Lancet (280), lo que sin duda habla de su mayor visibilidad y uso por la comunidad científica.
- La importancia de valorar distintos indicadores bibliométricos se refleja al comparar las tres revistas con mayor FI de todo el repertorio: en primer lugar, Ca-Cancer J Clin, cuyo FI es 87,925, pero sólo ha publicado 23 artículos y recibido un total de 8.528 citas; en segundo lugar Acta Crystallogr A cuyo FI es 49,926, pero que ha publicado 48 artículos y ha recibido un total de 14.394; en tercer lugar New Engl J Med, cuyo FI es 47,050, pero ha publicado 352 artículos y ha recibido un total de 216.752 citas.
- ¿Cuántas revistas españolas hay en JCR-SCI?: 59, de las cuales 32 corresponden a Biomedicina y Ciencias de la salud (encabezado por Aids con FI 3,786, Rev Esp Cardiol con FI 2,746 e Histol Histopathol con FI 2,404) y 27 a otras áreas. De las 10 revistas españolas en Biomedicina y Ciencias de la salud con mayor FI, seis se publican en inglés, dos en bilingüe español e inglés (Rev Esp Cardiol y Arch Bronconeumol) y dos en español (Enferm Infec Micr Cl y Rev Neurol).

La sola enumeración de estos datos nos acerca a la pura “infoxicación”. Y esta sensación la conseguimos sólo con enumerar algunos someros datos de las revistas volcadas en JCR-SCI… no en otras bases de datos. Porque hay vida más allá de JCR-SCI (no sé si tan intelingente, pero hay vida).

Menos impactolatría y más racionalidad en la evaluación científica

El factor de impacto (FI) es un indicador bibliométrico basado en el recuento de citas del Science Citation Index-Journal Citation Reports (SCI-JCR) que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los 2 años anteriores (numerador), y el total de artículos publicados en ella durante esos dos años (denominador).
El problema es que sólo se computa en el numerador las citas generadas desde el conjunto de revista incluidas en SCI-JCR, mientras que las citas generadas en el resto de revistas “no cuentan”. Asimismo, en el denominador sólo se tienen en cuenta los artículos “citables” (substantive, citables o source ítems) que no siempre son fáciles de determinar cuáles se escogieron, aunque en principio no incluyen ni “editoriales” ni “cartas al editor”. El motivo de coger 2 años es que es el tiempo promedio a partir del que se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado.

En relación con el análisis de citas, aunque para la mayoría de los autores no tienen duda de su utilidad como un indicador bibliométrico, su aplicación práctica no está libre de deficiencias. Apuntamos 10 limitaciones que cabe considerar en el análisis del FI:
- Punto crucial: el FI se hizo para revistas, no para autores
- A través de datos obtenidos del SCI-JCR, aproximadamente el 25% de los artículos publicados no son citados nunca; el 55% se cita sólo una vez, y sólo el 1% recibe 50 o más citas. Además, del 10 al 20% aproximadamente de todas las citas son autocitas. Se conoce que como promedio un 15% de los artículos acapara el 50% de todas las citas
- No existe una definición operativa de lo que SCI-JCR considera como documento citable o fuente.
- SCI-JCR no realiza una vaciado documental de las revistas con un criterio estable a lo largo del tiempo
- SCI-JCR tiene un claro sesgo a favor de las publicaciones en lengua inglesa y, concretamente, está dominada por las norteamericanas
- Los hábitos de citaciones son distintos, según disciplinas y tipo de investigación (clínica frente a básica), lo que influye de forma muy importante en el FI. Las áreas poco desarrolladas y/o con un reducido número de investigadores y/o con escaso apoyo institucional obtienen menos FI (porque publican menos trabajos “citables”)
-Los FI de una revista no son estadísticamente representativos de sus artículos individuales. La tasa de citación de un artículo determina el FI de la revista, pero no viceversa
- Las citas en la misma lengua de la revista son preferidas por los autores que publican en dicha revista
- Los artículos de revisión son muy citados, “inflando” el FI de la revista
- No hay corrección para la autocitación

Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido de tal manera que algunos colegas profesan una verdadera “impactolatría”, es decir, culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación en ciencia. La “impactolatría” conlleva una práctica simplista en la que se presupone que el FI de la revista es indicativo de la calidad o importancia de la investigación científica concreta y, por extensión, de los autores de ésta. Es necesario que todos (pero, principalmente las instituciones que evalúan a los médicos y/o científicos) conozcamos las debilidades y fortalezas del FI, así como las amenazas que implica un mal uso y/o abuso del mismo y la oportunidad que surge de utilizarlo con coherencia como un indicador más (nunca el único) dentro de la multidimensionalidad de la cienciometría.

El “impacto” tiene que ir precedido de la “calidad” (rigor científico) e “importancia” (interés en modificar y/o mejorar la práctica clínica) de la investigación. Y, sobre todo, de la coherencia y racionalidad de la evaluación. En esto todos somos responsables: las instituciones que evalúan por aplicar esta “ley” y los médicos evaluados por aplicar la “trampa”.
Algunos autores ya han tratado este tema, pero derivamos la atención a uno de los primeros artículos sobre la “impactolatría” de Jordi Camí. Aún así, se espera con expectación los nuevos FI cada año: en breve aparecerán los de 2010. Y ya sabéis que el que una revista tenga FI o aumente año a año es motivo de orgullo y se publicita. Algo tendrá, cuando el rio suena…