Mostrando entradas con la etiqueta factor de impacto. Mostrar todas las entradas
Mostrando entradas con la etiqueta factor de impacto. Mostrar todas las entradas

miércoles, 29 de julio de 2026

CoARA (Coalition for Advancing Research Assessment): qué, por qué y para qué

 

En junio de 2022, los estados miembros de la Unión Europea adoptaron el compromiso político de iniciar de forma coordinada un proceso de modificación de los sistema de reconocimiento del mérito investigador, acordaron fortalecer las capacidades para la publicación y comunicación de resultados de investigación y se posicionaron a favor de proteger y desarrollar el multilingüismo en la publicación académica en todo el Espacio Europeo de Investigación (ERA, por sus siglas en inglés). Uno de los principales frutos de este compromiso ha sido la creación de la Coalition for the Advancement of the Research Assessment (CoARA). Y sobre CoARA conviene profundizar… 

CoARA: ¿qué es? 

CoARA en sus siglas en inglés significa Coalición para el Avance de la Evaluación de la Investigación. Es una iniciativa internacional surgida hace cuatro años para reformar cómo se evalúa la ciencia, con el objetivo de reducir la dependencia de métricas simples —como el factor de impacto o el índice h— y dar más peso a la calidad, la diversidad de contribuciones y el juicio experto. 

La idea central es que la investigación no puede medirse bien solo por dónde se publica o por cuántas citas acumula, porque eso deja fuera muchas aportaciones valiosas: datos compartidos, software, transferencia, docencia, mentoría, divulgación, ciencia abierta o impacto social. 

CoARA: ¿por qué surge? 

CoARA nace del consenso acumulado durante años sobre las limitaciones de los sistemas tradicionales de evaluación. El CSIC explica que ya existían alertas previas en iniciativas como DORA (2012), el Manifiesto de Leiden, The Metric Tide y otras declaraciones internacionales que criticaban el uso aislado y descontextualizado de métricas bibliométricas. 

La coalición se impulsa de forma conjunta por Science Europe, la European Universities Association y la Comisión Europea, y cristaliza tras un proceso de co-creación en 2022 que reunió a centenares de organizaciones de muchos países. En otras palabras, CoARA no aparece como una moda repentina, sino como la respuesta institucional a una insatisfacción creciente con la evaluación basada casi exclusivamente en revistas, rankings y cifras de impacto. 

CoARA: ¿qué propone? 

El acuerdo de CoARA plantea varios principios básicos: reconocer la diversidad de contribuciones científicas, evaluar principalmente mediante revisión cualitativa por pares, usar los indicadores cuantitativos de forma responsable y abandonar el uso inadecuado de métricas basadas en revistas o publicaciones. Esto me recuerda las veces que hemos criticado esos indicadores usados “a peso”, conociendo la compra-venta de factor de impacto de las revistas depredadoras y la publicación previo pago. Revisar estos enlaces de este blog a lo largo de los años: 1, 2, 3, 4 y 5.     

También pide evitar los rankings institucionales como sustituto de una evaluación real, y promover criterios más ajustados a cada disciplina, etapa profesional y tipo de investigación. Esto es importante porque no se puede valorar igual una disciplina con lógicas de publicación muy rápidas que otra donde pesan más los libros, las bases de datos, las colecciones, los protocolos clínicos o la transferencia a la sociedad. 

Pero, ¿qué cambia en la práctica? 

El cambio más visible es que la evaluación deja de centrarse tanto en “dónde publicas” y pasa a valorar mejor “qué aportas”. Eso supone un giro hacia evaluaciones más multidimensionales, donde cuentan la originalidad, la solidez metodológica, la cooperación, la apertura de datos, la contribución al grupo, el impacto social y la adecuación del trabajo a su contexto disciplinar. 

En la práctica, esto puede favorecer carreras investigadoras menos dependientes de publicar en un pequeño grupo de revistas de alto impacto y más abiertas a reconocer perfiles diversos: quienes hacen investigación básica, aplicada, traslacional, clínica, interdisciplinar o de impacto social. También puede ayudar a reducir incentivos perversos, como la carrera por acumular artículos, la presión por publicar “lo máximo posible” o la tentación de privilegiar métricas antes que calidad. 

Por tanto, CoARA está significando un cambio de paradigma en la gobernanza de la ciencia. Su importancia no está solo en los principios, sino en que obliga a instituciones, agencias y universidades a revisar sus criterios, sus formularios, sus comités y sus rutinas de evaluación. 

En España, por ejemplo, el CSIC, ANECA y CRUE participan en el National Chapter Spain, y varias universidades ya han empezado a adaptar sus políticas a este marco. Eso indica que CoARA no se limita a una declaración de intenciones: está entrando en la arquitectura real de la evaluación científica. 

Pero CoARA también genera dudas legítimas. Cambiar métricas no es tan sencillo como sustituir un número por otro, porque el desafío consiste en construir evaluaciones más justas sin volverlas más opacas o arbitrarias. Por eso el acuerdo insiste en la transparencia, la formación de evaluadores, la comunicación clara y el uso responsable de datos e indicadores. 

Además, la transición no será igual en todos los países, disciplinas ni instituciones. Algunos ámbitos ya están muy acostumbrados a la bibliometría; otros necesitan criterios más cualitativos desde hace tiempo. CoARA intenta precisamente ofrecer un marco común, pero flexible, para que esa reforma sea compartida y no una suma de soluciones improvisadas. 

Como colofón a CoARA… 

CoARA surge como respuesta a la insuficiencia de los modelos de evaluación apoyados en métricas simplificadas y busca reorientar la valoración científica hacia la calidad, la diversidad y el impacto real de la investigación. Su relevancia está en que está cambiando no solo el debate teórico, sino también las prácticas institucionales con las que se decide qué cuenta como buena ciencia. 

Mientras tanto, en el camino, se han desangrado vocaciones docentes e investigadoras por obra y gracia de aquellos indicadores y del negocio de la publicación. Si Eugene Gardfiel levantara la cabeza, él que creó en 1955 el factor de impacto para revistas y no para investigadores…

miércoles, 27 de junio de 2018

Bibliometría e indicadores de actividad científica (VIII). Indicadores cienciométricos en Journal Citation Reports


El Journal Citation Reports (JCR) es una base de datos integrada en la plataforma de la Web of Science que publica anualmente una serie de indicadores bibliométricos utilizados en la evaluación de la calidad científica de las revistas, cuyo cálculo se realiza a partir de las citas recibidas y de los artículos publicados en las revistas indexadas en el Science Citation Index y en el Social Science Citation Index. 

En el presente trabajo se lleva a cabo un análisis a través del Journal Citation Reports de la categoría Pediatrics y de las revistas que forman parte de la misma, identificando los principales indicadores basados en citas, entre ellos, el factor de impacto, el índice de inmediatez o el Eigenfactor score. 

Según se detalla en el presente artículo, existen diversas opciones tanto de búsqueda como de visualización en el JCR dependiendo de las necesidades informativas del usuario. En nuestro ejemplo a través de la categoría Pediatrics se ha accedido a las revistas que la conforman, y para las métricas se han consultados los datos de la revista European Journal of Pediatrics. Sin embargo, la pantalla principal de JCR también ofrece otras posibilidades de búsqueda como son: 1) introduciendo directamente el nombre de la revista (Go to Journal Profile); 2) comparar las métricas de dos revistas (Compare Journals) y 3) consultar las revistas cuyo título se ha modificado (View Title Journals). Los resultados que aportan cualquiera de estas búsquedas, basados en la descripción de las revistas y el cálculo de los indicadores de citas, han sido ya comentados a lo largo del desarrollo de este trabajo. 

Toda la información en el artículo anexo y que también se puede recuperar de la revista Acta Pediátrica Española.

miércoles, 6 de septiembre de 2017

Bibliometría e indicadores de actividad científica (IV). Indicadores de impacto basados en las citas (2)


El factor de impacto (FI) es un índice calculado anualmente por Clarivate Analytics (hasta 2016 Thomsom Reuters y, previamente, Institute for Scientific Information) ampliamente utilizado en la evaluación también lo utilizan para valorar la calidad de los trabajos publicados en revistas, otorgando más calificación a los artículos publicados en revistas que ocupan posiciones superiores en los rankings de revistas. 
Como es natural, los investigadores que están sometidos a evaluaciones (profesores de universidad e investigadores, principalmente, pero también personas en formación como becarios de investigación) intentan publicar sus trabajos en revistas que estén bien situadas en los rankings de revistas. Los editores de las revistas también lo utilizan frecuentemente como índice para medir el funcionamiento de su revista y como reclamo para la obtención de más y mejores manuscritos. 

En este artículo se analizan las luces y las sombras del factor de impacto, uno de los indicadores bibliométricos más utilizados en la evaluación de la actividad científica y también uno de los más polémicos. Se indica el método de cálculo, sus críticas y otros indicadores relacionados con él, como el factor de impacto de 5 años y el índice de inmediatez. 
Se describen también otros indicadores alternativos, como el Eigenfactor, el Scimago Journal Rank (SJR) que ofrece el grupo Scimago a partir de los datos de la base de datos Scopus, y el Source Normalized Impact per Paper (SNIP) que propone el Centre for Science and Technology Studies (CWTS) de la universidad de Leiden, en Países Bajos. 

Vale la pena su lectura. Y vale la pena reflexionar sobre ello, por lo que si tenéis un poco de tiempo os aconsejo el enlace que habla de la morbilidad asociada al FI: "impactofilia", "impactofobia" e "impacto¿qué?". Porque no es la primera vez que desde este blog abogamos por menos impactolatría y más racionalidad en la evaluación científica.

Toda la información en el artículo anexo y que también se puede recuperar de la revista Acta Pediátrica Española.


lunes, 14 de julio de 2014

Dime qué índice h tienes, y te diré quién eres...


El factor de impacto (FI), definido por Eugene Garfield en los años 50, es probablemente el indicador bibliométrico más conocido. Conocemos bien las luces y, sobre todo, las sombras del FI, con muchas iimitaciones para medir la ciencia y a los científicos, de ahí la necesidad de alternativas. Algunos indicadores de aparición más reciente que se utilizan también para poner en valor las publicaciones biomédicas han intentado solventar este hándicap. Así, tanto el Eigenfactor promovido por el propio ISI Web of Knowledge, como el Scimago Journal Rank promovido por Elsevier o el índice h-5 utilizado por Google Schoolar tienen en cuenta para sus respectivos cálculos un valor diferencial de la citación en función de la revista en la cual dicha citación se produce. 

El FI es el indicador bibliométrico más usado, pero también del que más abuso y mal uso se ha hecho. Para solucionar este mal uso del FI, se han propuesto diversos indicadores que aproximen la visibilidad y repercusión de cada investigador en concreto. Uno de los más utilizados es el índice h o de Hirsch, pues fue descrito por Jorge Hirsch en 2005. 
Un científico tiene índice h si, entre todos sus trabajos, tiene h que reciben al menos h citas cada uno. Es decir, alguien que tenga un índice h de 16 significa que tiene al menos 16 artículos que han sido citados al menos 16 veces. 

El índice h de un científico crece progresivamente con el tiempo de vida del investigador. También es un índice que se puede aplicar a revistas científicas, tal como comentamos con las revistas pediátricas españolas. Pero como todo indicador, aunque mejora algunos aspectos, no está exento de limitaciones. 

Así que siguiendo con el título aplicada a una entrada previa de este blog respecto a los cuartiles, ojo con el dime qué índice h tienes, y te diré quién eres. He aquí las principales limitaciones: 
- El índice h tiende a penalizar a los autores que priman la calidad frente a la cantidad. 
- El índice h tiende a favorecer a los científicos con carreras más dilatadas, perjudica a los más noveles por el bajo número de publicaciones y presenta problemas para discriminar entre investigadores situados en niveles intermedios. 
- El índice h no permite comparar investigadores de áreas diferentes debido a los diferentes hábitos de publicación y de citación en cada campo. 
- El índice h no valora las citas de un documento, no tiene en cuenta si éstas son para ensalzar o para criticar el artículo. 
- El índice h no tiene en cuenta la calidad de las revistas de publicación. 
- El índice h no tine en cuenta la calidad de las revistas citantes. 
- El índice h está sujeto a los mismos riesgos y limitaciones referentes a la autocitación que comentábamos para el FI. 
- El índice h tiene también limitaciones técnicas: problemas de homonimia, variantes de firmas, errores tipográficos y falta de normalización. 
- El índice h de un investigador puede variar según la base de datos utilizada para su cálculo: WoS, Scopus o Google Schoolar. 

Así pues, ya conocemos los dos indicadores bibliométricos quizás más utilizados y aceptados (el FI y el índice h), pero también conocemos sus limitaciones. Por eso, quizás sea bueno poner en entredicho, una vez más, el dime qué...tienes, y te diré quién eres.

A continuación, compartimos el reciente artículo publicado por el grupo EC3: Evaluación de la Ciencia y de la Comunicación Científica de la Universidad de Granada y que nos muestra el índice h de las revistas científicas españolas según Google Scholar Metrics (2009-2013).



miércoles, 18 de junio de 2014

Dime qué cuartil tienes, y te diré quien eres...


Sobre indicadores bibliométricos, luces y sombras del factor de impacto y enfermedades asociadas al mismo (entre ellos la impactolatría, la impatofilia, la impactofobia y el impacto¿qué?) hemos hablado repetidamente desde este blog. Es un tema de reflexión siempre interesante alrededor de la medicina, la ciencia y los científicos. 

Aunque realmente es difícil ponerse de acuerdo en las cifras exactas en el número de revistas en el mundo y en las distintas bases de datos, recientemente pudimos realizar una aproximación a propósito de una ponencia en un congreso. 
- El número de revistas científicas en el mundo es superior a 22.000 (y la mitad, al menos, son biomédicas). 
- En España hay al menos 400 revistas biomédicas. 
- El número de revistas registradas en las principales bases de dato y repertorios varía en número: 8.637 en Science Citation Index-Expanded, 8.400 en Embase, 6.800 en Scopus, 5.642 en PubMed/Medline, 877 en LILACS, etc. 
- Science Citation Index se convierte en el "sancta sanctorum", pues publica anualmente el factor de impacto (FI) de las revistas biomédicas en la base conocida como Journal Citation Reports (JCR). 
- El top 5 de FI del total de 8.637 revistas en SCI fue para CA-Cancer J Clin (FI= 153,459), N Engl J Med (FI= 51,658), Rev Mod Phys (FI= 44,982), Chem Rev (FI= 41,298) y Nat Rev Genet (FI= 41,063). 
- En el último JCR publicado (del año 2012) se registraron un total de 122 revistas pediátricas en el área Pediatrics. El top 5 de FI fue para J Amer Acad Child Adol Psychiatr (FI= 6,970), Pediatrics (FI= 5,119), Arch Pediatr Adol Med (FI=4,282), J Pediatr (FI= 4,035) y Eur Child Adol Psychiat (FI= 3,699). 
- Y dentro del FI nos encontramos los cuartiles. Si un listado de revistas ordenadas de mayor a menor FI se dividiera en cuatro partes iguales, cada una de las partes sería un cuartil. En el área de Pediatrics, dado que son 122 revistas en cada cuartil nos encontramos 30 revistas; en el primer cuartil (Q1) las 30 primeras revistas por orden de FI, en el segundo cuartil (Q2) de la 31 a la 60, en el tercer cuartil (Q3) de la 61 a la 90 y en el cuarto cuartil (Q4) de la 91 al final. 
- En el último JCR publicado (del año 2012) se registraron un total de 125 revistas publicadas en España, de las cuales 41 eran de Biomedicina y Ciencias de la Salud. De estas 41 revistas, el top 5 correspondía a Aids Rev (FI= 4,075, publicada en inglés), Rev Esp Cardiol (FI= 3,204, publicada en bilingüe), Inter J Develop Biology (FI= 2,613, publicada en inglés), Emergencias (2,578, publicada en español) e Inter Microbiol (FI= 2,556, publicada en inglés). 
- Dentro de las 41 revistas españolas de Biomedicina y Ciencias de la Salud, sólo dos están en el Q1 de su área: Aids Rev y Emergencias. El resto se distribuyen como seis revistas en Q2, diez en Q3 y 23 en Q4. La única revista pediátrica española en JCR (Anales de Pediatría) se encuentra en Q4 con un FI de 0,867. 

Todo esto está muy bien, pero conviene no perder el horizonte. Y para llegar a la excelencia en la investigación científica y en la publicación biomédica, antes de llegar al "impacto", hay que iniciarse en la "calidad" y seguir con la "importancia". Si es así, el impacto llegará por gravedad... Como recordatorio: 
- La "calidad" corresponde al rigor científico. Rigor en el fondo y en la fonda de la publicación científica, como principio de la investigación que debemos difundir en las nuevas generaciones. 
- La "importancia" es la relevancia de la publicación aplicada a la práctica clínica. 
- El "impacto" es la difusión o visibilidad a corto plazo de una investigación entre la comunidad científica. 

Pero es importante volver a recordar que el FI corresponde a revistas, no a autores. Pero sobre todo, conviene recordar que hay vida científica (y útil para la clínica) más allá del FI… y de los cuartiles.

lunes, 27 de enero de 2014

Luces y sombras del Factor de impacto


El proceso científico es susceptible de ser cuantificado a través de los indicadores métricos de la información. En la contribución científica de una investigación es importante distinguir entre calidad (o rigor científico), importancia (o relevancia sobre el avance del conocimiento científico y/o práctica clínica) e impacto, aspectos interrelacionados, pero no equivalentes. 

En 1965, Garfield fue el primero en sugerir el concepto bibliométrico más conocido, el Factor de impacto (FI), mediante la contabilización de las citas que recibían las publicaciones individuales y se publica anualmente en el Journal Citation Reports (JCR) a través de las revistas (más de casi 9.000) que forman parte de la cobertura del Science Citation Index (SCI). 

El FI de una revista es el número medio de veces que son citados en el año actual los artículos de esa revista publicados en los dos últimos años. El FI no está exento de limitaciones y de comorbilidad a su alrededor por lo que se buscan indicadores alternativos; aún así, es el indicador bibliométrico más conocido y utilizado. Os dejamos, sobre este aspecto, dos artículos solicitados recientemente para una revista de Reumatología. 

En el primer artículo se analiza la utilidad del FI en una categoría del JCR, en este caso Rheumatology. Pero que es aplicable a cada una de las 171 categorías de estudio que se encuentran en JCR-SCI (63 de las cuales corresponden a Biomedicina y Ciencias). 

En el segundo artículo se valoran las luces y sombras del FI, sus fortalezas y debilidades. Y, especialmente, la comorbilidad asociada al mismo, con cuatro posibilidades: la “impactolatría”, “impactofobia”, “impactofilia” e “impacto¿qué?”. 

Si hemos de utilizar el FI (o nos someten a él), al menos conviene conocerlo bien…Porque el mensaje es claro: resulta absurdo pensar que toda la calidad, importancia e impacto científico de un investigador pueda resumirse en una simple cifra. Y por ello remarco la importancia de evaluar la ciencia (y a los científicos) en base a indicadores cienciométricos multidimensionales utilizados con rigurosidad por especialistas de esta materia, y conocedores de sus ventajas y limitaciones.

 

lunes, 7 de octubre de 2013

¿Publicar o perecer?


Este fin de semana se ha celebrado en Oporto el 14º Congreso Nacional de Pediatría. He tenido la oportunidad de ser “palestrante” (una palabra preciosa en portugués que es el equivalente a conferenciante; porque realmente subimos a la palestra a dar una conferencia) en la Mesa redonda titulada: “¿Publicar o perecer?”
En ella se ha reunido a los editores de tres revistas de tres países: Dr Renato Procianoy, editor de Jornal de Pediatría (Brasil), Dr Joao Eurico de Fonseca, editor de Acta Reumatológica Portuguesa (Portugal) y Dr Javier González de Dios, editor de Evidencias en Pediatría (España).

Aunque mi intervención estuvo ligada al “Análisis de la productividad, colaboración, impacto y ámbitos temáticos de la Pediatría española en el contexto europeo y mundial” (y sus análisis DAFO), mis compañeros palestrantes si abordaron aspectos concretos de cómo conseguir una política eficiente de publicación y cómo orientar a los autores a que valoren a priori qué va a considerar un editor como un buen artículo y, por tanto, que tenga mayores garantías de ser publicado. 
Seis puntos clave: 
- Que sea un trabajo original (original por novedoso y original por tipo de artículo) 
- Que interese a los lectores de la revista 
- Que se encuadre en el perfil editorial de la revista 
- Que pueda general potencialmente muchas citaciones
- Que se fundamente en los criterios éticos establecidos 
- Que sea de fácil lectura (y fácil lectura en ciencia significa: frases cortas, voz activa, afirmaciones positivas y palabras simples). 
Y también cabe recordar las principales razones para rechazar un artículo Original: 
- Metodología inadecuada: 1) Grupo control no adecuado; 2) Grupo de estudio no representativo; 3) Tamaño muestral inadecuado; 4) Análisis estadístico inadecuado. 
- Tema del artículo repetitivo 
- Artículo no inteligible 
- Tema no adecuado para el perfil de la revista.

Una de las labores esenciales del equipo editorial de una revista científica es conseguir la mayor visibilidad de la revista (amén que el mayor factor de impacto posible). Y esto se consigue con 5 puntos esenciales:
1) Publicar en un idioma que conozca la mayoría de la comunidad científica. Hoy en día es el inglés. Un recurso para revistas de países no anglosajones es la publicación bilingüe. Pero invertir en mantener el idioma original (en España el español, en Portugal y Brasil el portugués) y publicar también en inglés es una de las inversiones más rentables que se puedan conocer en ciencia médica.
2) Colocar la revista en bases de datos y repositorios internacionales. Sin duda, PubMed, Embase y Science Citation Index son unas "mecas" a la que toda revista de calidad debe aspirar.
3) Conseguir el libre acceso. Sin duda, uno de los puntos esenciales para la visibilidad y que se enlaza como los movimientos Open Access o PLoS.
4) Editar la revista en forma electrónico, bien simultáneamente a la edición en papel (ej. Anales de Pediatría) o sólo como edición electrónica (ej. Evidencias en Pediatría).
5) Cuidar la calidad editorial, en todos y cada uno de sus pasos, que será la base para que tenga lugar el rigor científico y que éste sea el mejor compañero de viaje de la visibilidad.

Sin duda, al hablar de publicar o perecer siempre aparece el omnipresente factor de impacto (FI) de las revistas y cómo conseguirlo. Curiosamente las dos revistas pediátricas en portugués más importantes están sufriendo un devenir muy diferente: mientras Jornal do Pediatría en Brasil ha seguido una política de gran interés (entre otros aciertos con la publicación en bilingüe portugués e inglés) y demuestra con orgullo su 80% de rechazo de artículos y su FI 2012 de 1,154 (la mejor clasificación para una revista de fuera del ámbito anglosajón), Acta Pediátrica Portuguesa en Portugal tiene grandes dificultades para mantener una publicación regular, y ello le impide estar en las bases bibliográficas y repositorios esenciales. 

Ya comentamos en el blog hace un tiempo esta diatriba entre los dos mundos en Medicina alrededor del FI: 1) el mundo de los investigadores “básicos”, muy ligados a la “impactofilia”, algo impuesta por todo lo relacionado con los sexenios y carrera profesional y ligado a la máxima conocida de “publish or perish”; 2) el mundo de los médicos “clínicos”, más ligados a la “impactofobia” y al “impacto¿qué?”, pues a la postre uno no tiene la sensación de que se enseñe bien en el pre y postgrado el valor de la investigación bien hecha (la investigación que nos hace mejores médicos y que se traduce en mejora en la atención de nuestros pacientes y la salud poblacional) o que se tenga muy en cuenta en los méritos profesionales (las “publicaciones” se tienden a minusvalorar en las oposiciones para una plaza en propiedad, con menor peso, en ocasiones, que el conocer el idioma autonómico en cuestión). En esta antítesis (no deseable) no existe un responsable, sino muchos. Porque son muchas voces y durante muchos años las que reclaman un cambio que dignifique la investigación y acabe con esta morbilidad asociada al FI. 

Porque publicar es mucho más que tener “impacto”. Publicar significa investigar; investigar significa disponer de rigor científico (y otras cualidades) que, sin duda, se filtran también en el rigor (y otras cualidades) con el que tratamos a nuestros pacientes. No me invento nada, está demostrado: los profesionales sanitarios, los servicios y/o los hospitales que lideran la investigación y la publicación biomédica de calidad atesoran mejores niveles de satisfacción en la relación médico-paciente y en aspectos de humanización de la práctica clínica. 

Así que está claro: publica sin perecer… y no persigas el FI, sino tu excelencia profesional.

jueves, 1 de noviembre de 2012

Revistas científicas españolas en el JCR de 2011


La Web of Science, base de datos de citas y referencias bibliográficas, ha pasado en los últimos tres años de indexar 72 revistas científicas españolas a indizar 179 en la actualidad. 
Adicionalmente, la empresa Thomson Reuters, publica en la base de datos Journal Citation Report (JCR) el índice de calidad que clasifica las revistas según su área temática, permitiendo establecer ránkings de las que han recibido mayor número de citas y las que poseen mejor factor de impacto dentro de su categoría. En el año 2011, el número de revistas científicas españolas que aparecen en el JCR son 132 (78 del área de Science y 54 del área de Social Science), lo que implica un progresivo incremento respecto a los años 2008 (53), 2009 (91) y 2010 (125). 
Del año 2010 al 2011, 12 revistas se han incorporado al JCR, mientras que 5 revistas han salido de esta base de datos. 

Tras la publicación del factor de impacto de 2011, la Fundación Española para la Ciencia y la Tecnología (FECYT) ofrece en este informe un análisis de la evolución e incremento de presencia que están experimentando las revistas españolas en los últimos años en el JCR, con información detallada de su clasificación temática y variación con respecto a los cuartiles en los que están clasificados. 

No queremos contribuir a la morbilidad asociada al factor de impacto, pero si informar de un indicador bibliométrico que, hoy por hoy (y pese a sus debilidades), sigue siendo el más utilizado. Conocer la realidad de nuestras revistas científicas, nos permite realizar una mejor gestión y estrategia en las áreas de nuestra investigación.
En este enlace también se puede acceder al Factor de impacto de las revistas biosanitarias españolas en el año 2011 y la evolución del factor de impacto de estas revistas desde el año 2006.

miércoles, 19 de septiembre de 2012

Análisis cienciométrico de la pediatría española 2006-2010 (IV): indicadores de impacto y sociodemográfico


El impacto o visibilidad de los trabajos mide la repercusión que han tenido los trabajos en otros estudios posteriores a partir de las citas que han recibido. Pese a sus limitaciones y carácter controvertido, se trata de la medida de uso más extendido para evaluar la actividad científica española en el área de las Ciencias de la Salud, ya que las revistas incluidas en los listados de Thomson Corporation son las indicadas por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) como referente de los procesos evaluativos. 
Los indicadores cienciométricos ofrecen una visión global más amplia de la actividad científica si se asocian a otros indicadores económicos y sociodemográficos, pues permiten corregir los desequilibrios motivados por los diferentes recursos destinados a la investigación, la concentración demográfica o la riqueza. En este trabajo se ha calculado la productividad relativa en relación con el número de habitantes y el producto interior bruto (PIB) de las provincias y comunidades autónomas españolas. 

Respecto a la citación e impacto: 

1.- El número total de citas recibidas ha sido de 15.704, con una media de 4,3 citas por trabajo en SCI-E, y 20.777 con una media de 3,3 en Scopus. 
Las revistas más citadas en SCI-E han sido Pediatrics (n=770), seguida de Pediatric Infectious Disease Journal (n=709) y Journal of Clinical Endocrinology and Metabolism (n=553). La primera revista española más citada ha sido Revista de Neurología (n=270), seguida de Anales de Pediatría (n=121). En Scopus, la revista más citada ha sido Anales de Pediatría (n=1.479), seguida de Pediatrics (n=919); la segunda revista española más citada ha sido Revista de Neurología (n=437), seguida de Enfermedades Infecciosas y Microbiologia Clínica (n=114). 
Del total de 2.177 instituciones identificadas en SCI-E, 1.852 (85,1%) han recibido al menos una cita. La institución española más citada ha sido la Universitat de Barcelona (n=2.035), seguida del el Hospital Clínic i Provincial de Barcelona (n=1.688) y el Hospital de Sant Joan de Déu (n=1.637). En Scopus, del total de 2.940 instituciones identificadas, 2.318 (78,8%) han recibido al menos una cita y el ranking de instituciones españolas más citadas ha sido similar al encontrado en SCI-E. 

2.- El análisis de citas limitado a los artículos originales muestra un patrón de citación bastante similar al de la citación total, con las mismas revistas e instituciones liderando el ranking de citas recibidas. 

3.- El indicador "citas/artículos" o índice de impacto en SCI-E es mayor en las instituciones de Granada (II=4,55), Vizcaya (II=3,97) y Jaén (II=3,62). En Scopus, las instituciones de Jaén son las que reciben un mayor número de citas por documento (II=6,19), seguidas de las de Granada (II=5,59) y Vizcaya (II=4,87). 

Respecto a la productividad relativa según el número de habitantes y el PIB: 

1.- La mayor productividad relativa según el número de habitantes por provincia corresponde a Madrid, seguida de algunas provincias que ocupan posiciones inferiores en cuanto a productividad absoluta, como Zaragoza, Zamora y Navarra. La comunidad autónoma más productiva ha sido la Comunidad de Madrid, seguida de la Comunidad Foral de Navarra, Aragón y Cataluña. 

2.- La productividad relativa según el PIB está encabezada por Zamora, Zaragoza, Granada y Madrid. Por comunidades autónomas destaca la Comunidad de Madrid, seguida de Aragón y la Comunidad Foral de Navarra. 3.- Madrid y Barcelona, que son las provincias que obtuvieron un mayor nº de proyectos FIS, ocupan los lugares 7º y 12º en el ranking de provincias según el nº de documentos por proyecto.

 
(Foto: Macizo Jungfraujoch. Suiza)

miércoles, 1 de febrero de 2012

La nueva Ley de la Ciencia y la investigación pediátrica española


La nueva Ley 14/2011 de la Ciencia, la Tecnología y la Innovación que deroga la Ley 13/1986 de la Investigación Científica y Tecnológica ha entrado en vigor el pasado 1 de diciembre. En estos 25 años hemos asistido a un relevante despegue en la capacidad científica español en términos cuantitativos (novena potencial mundial en producción científica), pero el panorama es menos alentador en términos cualitativos (número de citaciones, efecto sobre investigación traslacional y generación de patentes). Hemos podido profundizar sobre estos aspectos en una reciente Tribuna en Diario Médico.

Son numerosas las reflexiones y análisis que se han realizado sobre la ciencia y tecnología en España (con la biomedicina como paradigma). Se ha realizado análisis internos (debilidades y fortalezas) y externos (amenazas y oportunidades) de nuestra investigación biomédica, en general, y de la pediátrica, en particular. A este último aspecto hemos dedicado varias líneas de investigación en los últimos 15 años, en relación con el estudio de revistas pediátricas, artículos científicos y/o comunicaciones a congresos en España (la presentación anexa, realizada hace 5 años, resume parte de estos resultados).

Estos análisis tienen el sesgo de estar focalizados en actividades dentro del país (y no se analizan los artículos publicados en revistas internacionales), pero ya se vislumbran más sombras que luces en la calidad, importancia e impacto de la investigación científica pediátrica en España. Para obviar ese sesgo, la Asociación Española de Pediatría ha financiado el estudio “Análisis de la productividad, colaboración, impacto y ámbitos temáticos de la pediatría española en el contexto europeo y mundial (2006-2010)”, cuyos resultados se presentarán en el próximo Congreso Nacional de Pediatría (Granada, 31 mayo-2 junio de 2012) y que prometen ser muy relevantes y útiles para la planificación de los recursos enfocados a grupos consolidados y emergentes, así como a líderes en redes colaborativas de líneas de trabajo concretas. Para este exhaustivo estudio, en el que llevamos trabajando durante el último año, contamos con la colaboración fundamental del Departamento de Historia de la Ciencia y Documentación y de la Unidad de Información e Investigación Social y Sanitaria-UISYS (CSIC-Universidad de Valencia).

No son buenos momentos en sanidad, pero no debemos tener más excusas para mejorar. La nueva Ley de la Ciencia, la Tecnología y la Innovación es importante, pero antes queda mucho por hacer en Pediatría: convertir la investigación en una actividad con unas prioridades bien establecidas, unos profesionales mejor formados y más reconocidos en su promoción, una organización más flexible, una financiación suficiente y transparente, y un sistema de evaluación mucho más exigente. Y, por encima del factor de impacto (o del factor H), los resultados de la ciencia pediátrica deberán enfocarse a proporcionar más salud a la población infantil, tener mayor capacidad de aplicabilidad o traslacionalidad y de generar patentes, lo que deberá redundar en una mayor bienestar y riqueza para todos.
Menos impactolatría estéril (lo que exigiría una revisión en profundidad de la evaluación curricular de los investigadores, que pocas instituciones estarán dispuestos a asumir) y más investigación con resultados tangibles en salud. Esto quizás no venga como tal desarrollada en la nueva Ley de la Ciencia, pero es una reflexión previa fundamental que nos deberíamos hacer para no seguir errando en el camino.

lunes, 29 de agosto de 2011

Evidencias en Pediatría y los “big five”


En la revista Evidencias en Pediatría (EvP) revisamos más de 80 revistas biomédicas, tanto de pediatría como revistas generalistas y de otras especialidades (pero que publican artículos pediátricos). EvP selecciona, mediante un proceso estructurado de puntuación, aquellos estudios científicamente válidos, clínicamente importantes, así como novedosos o relevantes. En resumen, elige los mejores artículos de la literatura y realiza una valoración crítica de la información para que el pediatra la use y adapte a su práctica clínica diaria. Para más detalles, la estructura de EvP y las normas de publicación se desarrollan en la web de la revista.

Para los “mejores artículos” de la literatura científica, existe en EvP una premisa (no escrita, pero tácita) de intentar valorar el mayor número de artículos (válidos, importantes y novedosos) de las principales revistas generales y pediátricas. A estas revistas principales les hemos llamado las “big five” : revistas que han demostrado, con el tiempo y el uso, la “utilidad” que implica su lectura para la actualización y formación continuada de los pediatras. Es una clasificación que va más allá de la impactolatría , pero que no es ajena a que las revistas seleccionadas son de calidad y con elevado factor de impacto (FI).


¿Cuáles son para EvP las “big five” en el entorno de la pediatría?.

Si hablamos de revistas de medicina general está claro la posición de NEJM, Lancet, JAMA, BMJ y en la quinta posición se abre el abanico (¿Ann Inter Med, CMAJ o…?).
Si hablamos de revistas de pediatría está claro la posición de Pediatrics, J Pediatrics, Arch Dis Child, Arch Pediat Adol Med y en la quinta posición se abre el abanico (¿Eur J Pediatr, Ped Res o…?.

Cuando un pediatra realiza un estudio importante, ¿dónde intenta publicarlo?. Están claras las opciones, en general: seguramente se debe intentar en aquella revista que tenga mayor calidad y visibilidad en el panorama científico (y, por ende, mayor FI). Si el trabajo es de la máxima calidad se intentará alguna de las “big five” de medicina general (que se mueven con FI entre 20 y 50); si no fuera posible, se intentaría alguna de las “big five” de pediatría (que se mueven con FI entre 2 y 5); si no fuera posible, se intentaría alguna de las “big five” de las especialidades pediátricas (por ejemplo, en el área de la neonatología la revista principal es Neonatology y su FI es inferior a 2). Obsérvese que el mundo de la impactolatría sigue también reglas matemáticas: entre los “big five” de medicina general y los “big five” de pediatría se establece una diferencia marcada, con un factor de conversión de 10.

Pero está claro que no son todos los que están, ni están todos los que son. Y así como algunos artículos publicados en los “big five” no se corresponden con la calidad de la revista en sí, otros muchos artículos de calidad son publicados en revistas fuera de los “big five”. Aunque la revista se compone de sus artículos, lo importante (y esto es trasladable al análisis de citas y referencias) es el artículo individual. Por eso en EvP respetamos los “big five”, pero no nos dejamos deslumbrar por ello. Y valoramos la calidad científica, importancia clínica y aplicabilidad para la práctica clínica del artículo individual, proceda de donde proceda.

jueves, 17 de febrero de 2011

Aproximación al “impacto” de las revistas pediátricas


Al revisar la estructura del Journal Citation Reports-Science Citation Index (JCR-SCI) ya comentamos que existe una dinámica de citación distinta entre las distintas especialidades, especialmente al comparar el subámbito de la Medicina Clínica y de las Ciencias de la Vida.

El área de Pediatrics es una de las 44 categorías del entorno de la Medicina Clínica, que en el JCR-SCI del año 2009 presenta las siguientes características:
- Engloba 94 revistas biomédicas, 12.648 artículos, 297.188 citas y un Factor de impacto (FI) medio de 1,406.
- Clasificación de las 94 revistas en Pediatrics por FI: 29 revistas con FI entre 0-0,999, 37 con FI entre 1-1,999, 24 con FI entre 2-3,999 y 4 con FI ≥4.
- El mayor FI corresponde a J Am Acad Child Psy (4,983), Arch Pediatr Adol Med (4,726), Pediatrics (4,687) y J Pediatr (4,092).
- El mayor número de artículos publicados corresponde a Pediatrics (752), J Pediatr Surg (512) y Pediatr Blood Cancer (398).
- La distribución de las revistas pediátricas por países se puede clasificar en cuatro grupos: 1) el liderazgo procede de Estados Unidos, con 53 revistas; 2) dos países destacados son Gran Bretaña (14 revistas) y Alemania (10); 3) con dos revistas se encuentra cuatro países: Australia, Holanda, India y Suiza; 4) con una revista se encuentran nueve países: Brasil, Canadá, China, Croacia, España, Francia, Irán, Japón y Turquía. Analizando las 23 revistas situadas en el primer cuartil la distribución por países es: 16 de Estados Unidos, 5 de Gran Bretaña, 1 de Alemania y 1 de Australia.
- La distribución de las revistas pediátricas por idiomas confirma el predominio absoluto del inglés (89 revistas), frente a tan sólo 5 en otros idiomas: dos en alemán (Klin Padiatr, puesto 31 por orden de FI; y Monatsschr Kinderh, puesto 91), una en croata (Paediatr Croat, puesto 92), una en francés (Arch Pediatrie, puesto 86) y una en español (An Pediatr, puesto 89).

Este es el entorno en el que se mueve “impactolatría” en Pediatría. El FI tiene sus debilidades y fortalezas, también sus amenazas y oportunidades. Pero para abordarlas lo primero es conocer el campo que tratamos. Para profundizar algo más sobre todo lo anterior os remitimos al siguiente artículo.
Cualquiera de las puntualizaciones sobre el FI realizadas a lo largo de la última semana en este blog tiene un punto en común: reflexionar sobre la publicación científica pediátrica en España, su internacionalización y su repercusión más allá de nuestra fronteras.

lunes, 14 de febrero de 2011

Adentrarse en la estructura y dinámica del Journal Citation Report - Science Citation Index


En 1965, Eugene Garfield fué el primero en sugerir un indicador para contabilizar las citas que recibían las publicaciones individuales e introdujo el conocido factor de impacto (FI), publicando en el Institute for Scientific Information de Filadelfia el primer volumen del Science Citation Index (SCI). Un producto derivado del SCI, el Journal Citation Reports (JCR), proporciona anualmente indicadores bibliométricos sobre el consumo de información de un amplio (pero selecto) número de revistas, entre ellos el número de citas que han recibido, la vida media, el índice de inmediatez y el FI, así como otros indicadores de reciente incorporación en JCR (factor de impacto de 5 años, Eigenfactor score y Article influence score).

En los días previos hemos comentado algunos aspectos de la impactolatría y de la comorbilidad asociada al FI. Nada mejor que adentrarnos en el JCR-SCI último (el que corresponde al año 2009; en breve aparecerá el 2010) para conocer alguna de sus características y peculiaridades:

-JCR-SCI engloba en el año 2009 un total de 7.347 revistas (con un incremento de un 20% en los últimos tres años) distribuidas en 171 categorías de estudio.
-De estas 171 categorías de estudio, 63 corresponden a Biomedicina y Ciencias de la Salud: 44 categorías de enfoque médico-clínico, que se incluyen en el subámbito de la medicina clínica (MC) y 19 de enfoque más básico, que se incluyen en el subámbito de ciencias de la vida (CV).
- En el subámbito de MC las categorías con mayor número de revistas son Clinical Neurology (167), Surgery (166), Oncology (165), Medicine General & Internal (132) y Public, Environmental & Occupational Health (122). En el subámbito de CV las categorías con mayor número de revistas son Biochemistry & Molecular Biology (283), Pharmacology & Pharmacy (236), Neurosciences (230), Cell Biology (161) y Genetics & Heredity (144).
- El número total de artículos publicados en las 44 categorías de MC en el año 2009 fueron 332.465, con un FI medio global de 1,714. El número total de artículos publicados en las 19 categorías de CV en el año 2009 fueron 264.047, con un FI medio global de 2,375.
- En cada categoría se percibe una dinámica de citación distinta, especialmente al comparar el subámbito de la MC y de la CV. Es por ello que el FI de un pediatra se debe comparar y ponderar con el de otro pediatra, no con el de un cardiólogo (también en el subámbito de la MC) y menos con el de un genetista (ya en el subámbito de CV).
- El mayor número de artículos (y también de citas) publicados en 2009 corresponde a las revistas Science (897), Nature (866), Cell (359), New Engl J Med (352) y Lancet (280), lo que sin duda habla de su mayor visibilidad y uso por la comunidad científica.
- La importancia de valorar distintos indicadores bibliométricos se refleja al comparar las tres revistas con mayor FI de todo el repertorio: en primer lugar, Ca-Cancer J Clin, cuyo FI es 87,925, pero sólo ha publicado 23 artículos y recibido un total de 8.528 citas; en segundo lugar Acta Crystallogr A cuyo FI es 49,926, pero que ha publicado 48 artículos y ha recibido un total de 14.394; en tercer lugar New Engl J Med, cuyo FI es 47,050, pero ha publicado 352 artículos y ha recibido un total de 216.752 citas.
- ¿Cuántas revistas españolas hay en JCR-SCI?: 59, de las cuales 32 corresponden a Biomedicina y Ciencias de la salud (encabezado por Aids con FI 3,786, Rev Esp Cardiol con FI 2,746 e Histol Histopathol con FI 2,404) y 27 a otras áreas. De las 10 revistas españolas en Biomedicina y Ciencias de la salud con mayor FI, seis se publican en inglés, dos en bilingüe español e inglés (Rev Esp Cardiol y Arch Bronconeumol) y dos en español (Enferm Infec Micr Cl y Rev Neurol).

La sola enumeración de estos datos nos acerca a la pura “infoxicación”. Y esta sensación la conseguimos sólo con enumerar algunos someros datos de las revistas volcadas en JCR-SCI… no en otras bases de datos. Porque hay vida más allá de JCR-SCI (no sé si tan intelingente, pero hay vida).

jueves, 10 de febrero de 2011

Factor de impacto y su comorbilidad: "impactofilia", "impactofobia" e "impacto¿qué?"


Ya hemos comentado ayer en el blog que si hemos de evaluar a los médicos e investigadores, conviene realizarlo en base a criterios multidimensionales, evitando la “impactolatría”.

Porque el factor de impacto (FI) arrastra mucha comorbilidad consigo, con dos variantes extremas bien conocidas (la “impactofilia” y la “impactofobia”, ambas no deseables) y una de nueva aparición (el “impacto¿qué?”).

-Se entiende por “impactofilia” la extrema obsesión por orientar las publicaciones a revistas con FI, en busca de la mayor visibilidad internacional, criterio lícito y deseable, pero que en ese contexto lleva a no valorar en su justa medida la publicación de calidad e importancia realizada en revistas no incluidas en SCI-JCR y que presenta valor añadido en la formación e información del profesional. Dado que el SCI-JCR está dominado por las revistas de habla inglesa, se penaliza la publicación de calidad en español y a los investigadores que publican en nuestro idioma. Porque son pocas las revistas españolas en SCI-JCR (59 en el año 2009, sobre un total de 7.347 revistas volcadas en ese año en el repertorio) y con factores de impacto generalmente bajos (oscilan en 2009 entre 3,786 de Aids-Rev y 0,000 de Ginecol Obstet Clin).

-Se entiende por “impactofobia” la posición opuesta, que consiste en descalificar este consagrado indicador bibliométrico, dar más peso a las limitaciones (bien reconocidas) que a las bondades del FI y no tener en cuenta su contribución (que la tiene y mucha) a la búsqueda de la calidad de la publicación. La “impactofobia” puede ser un mecanismo defensivo y la excusa de un bajo perfil científico e investigador. Mal asunto…

-¿Y qué llamamos el “impacto¿qué?” ?. Pues al desconocimiento marcado de este indicador bibliométrico en el entorno de la formación de los clínicos, algo así como que “ni sé lo que es y no sé si me importa saberlo”. En una encuesta realizada a 140 residentes de Pediatría de 4º año (con representación de todo el país) distribuidos en dos años (promoción del año 2009 y del año 2010) se les preguntó 8 preguntas básicas sobre el FI (concepto y aplicabilidad en su especialidad) con un resultado desalentador: sobre 5 ítems posibles ninguna de las respuestas fue correcta en un porcentaje superior al 25% (es decir, no se mejoró prácticamente ni las respuestas posibles por el azar). Este misma encuesta se aplicó hace unos meses a 44 neuropediatras (36 adjuntos y 8 residentes en formación) y el resultado fue similar (datos pendientes de publicación).

De esta forma se establecen dos mundos en Medicina alrededor del FI:

1) El mundo de los investigadores “básicos”, muy ligados a la “impactofilia”, algo impuesta por todo lo relacionado con los sexenios y carrera profesional y ligado a la máxima conocida de “publish or perish”.
2) El mundo de los médicos “clínicos”, más ligados a la “impactofobia” y al “impacto¿qué?”, pues a la postre uno no tiene la sensación de que se enseñe bien en el pre y postgrado el valor de la investigación bien hecha (la investigación que nos hace mejores médicos y que se traduce en mejora en la atención de nuestros pacientes y la salud poblacional) o que se tenga muy en cuenta en los méritos profesionales (las “publicaciones” se tienden a minusvalorar en las oposiciones para una plaza en propiedad, con menor peso, en ocasiones, que el conocer el idioma autonómico en cuestión). En esta antítesis (no deseable) no existe un responsable, sino muchos (y que lance la primera piedra el que esté libre de culpa, incluído el que esto escribe). Porque son muchas voces y durante muchos años las que reclaman un cambio que dignifique la investigación y acabe con esta morbilidad asociada al FI.

Está claro que resulta absurdo pensar que toda la calidad, importancia e impacto científico de una publicación pueda resumirse en una simple cifra (sea el FI, el factor H… o el que sea). Remarcamos la importancia de evaluar la ciencia (y a los científicos) en base a indicadores cienciométricos multidimensionales utilizados con rigurosidad por especialistas de esta materia, y conocedores de sus ventajas y limitaciones. Ya incluso, el alcance del análisis de citas –incluido el concepto de FI- puede cambiar en los próximos años debido a la aparición de competidores del hasta ahora monopolio de Thompson-ISI: tal sería el caso de Google Scholar o de Scopus de Elsevier, iniciativas que ofrecen recuentos alternativos de citas que, lógicamente, no coinciden con los de la particular estrategia de Thompson-ISI. Y más allá aún, en el mundo hipertextual de la Word Wide Web, ya se empieza a utilizar el factor de impacto Web y otros indicadores cibermétricos. Asimismo, en la actualidad se están imponiendo diversos estimadores alternativos como el estudio del “impacto social”, que analiza la influencia directa de las publicaciones en la mejora de la salud de la población.

miércoles, 9 de febrero de 2011

Menos impactolatría y más racionalidad en la evaluación científica


El factor de impacto (FI) es un indicador bibliométrico basado en el recuento de citas del Science Citation Index-Journal Citation Reports (SCI-JCR) que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los 2 años anteriores (numerador), y el total de artículos publicados en ella durante esos dos años (denominador).
El problema es que sólo se computa en el numerador las citas generadas desde el conjunto de revista incluidas en SCI-JCR, mientras que las citas generadas en el resto de revistas “no cuentan”. Asimismo, en el denominador sólo se tienen en cuenta los artículos “citables” (substantive, citables o source ítems) que no siempre son fáciles de determinar cuáles se escogieron, aunque en principio no incluyen ni “editoriales” ni “cartas al editor”. El motivo de coger 2 años es que es el tiempo promedio a partir del que se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado.

En relación con el análisis de citas, aunque para la mayoría de los autores no tienen duda de su utilidad como un indicador bibliométrico, su aplicación práctica no está libre de deficiencias. Apuntamos 10 limitaciones que cabe considerar en el análisis del FI:
- Punto crucial: el FI se hizo para revistas, no para autores
- A través de datos obtenidos del SCI-JCR, aproximadamente el 25% de los artículos publicados no son citados nunca; el 55% se cita sólo una vez, y sólo el 1% recibe 50 o más citas. Además, del 10 al 20% aproximadamente de todas las citas son autocitas. Se conoce que como promedio un 15% de los artículos acapara el 50% de todas las citas
- No existe una definición operativa de lo que SCI-JCR considera como documento citable o fuente.
- SCI-JCR no realiza una vaciado documental de las revistas con un criterio estable a lo largo del tiempo
- SCI-JCR tiene un claro sesgo a favor de las publicaciones en lengua inglesa y, concretamente, está dominada por las norteamericanas
- Los hábitos de citaciones son distintos, según disciplinas y tipo de investigación (clínica frente a básica), lo que influye de forma muy importante en el FI. Las áreas poco desarrolladas y/o con un reducido número de investigadores y/o con escaso apoyo institucional obtienen menos FI (porque publican menos trabajos “citables”)
-Los FI de una revista no son estadísticamente representativos de sus artículos individuales. La tasa de citación de un artículo determina el FI de la revista, pero no viceversa
- Las citas en la misma lengua de la revista son preferidas por los autores que publican en dicha revista
- Los artículos de revisión son muy citados, “inflando” el FI de la revista
- No hay corrección para la autocitación

Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido de tal manera que algunos colegas profesan una verdadera “impactolatría”, es decir, culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación en ciencia. La “impactolatría” conlleva una práctica simplista en la que se presupone que el FI de la revista es indicativo de la calidad o importancia de la investigación científica concreta y, por extensión, de los autores de ésta. Es necesario que todos (pero, principalmente las instituciones que evalúan a los médicos y/o científicos) conozcamos las debilidades y fortalezas del FI, así como las amenazas que implica un mal uso y/o abuso del mismo y la oportunidad que surge de utilizarlo con coherencia como un indicador más (nunca el único) dentro de la multidimensionalidad de la cienciometría.

El “impacto” tiene que ir precedido de la “calidad” (rigor científico) e “importancia” (interés en modificar y/o mejorar la práctica clínica) de la investigación. Y, sobre todo, de la coherencia y racionalidad de la evaluación. En esto todos somos responsables: las instituciones que evalúan por aplicar esta “ley” y los médicos evaluados por aplicar la “trampa”.
Algunos autores ya han tratado este tema, pero derivamos la atención a uno de los primeros artículos sobre la “impactolatría” de Jordi Camí. Aún así, se espera con expectación los nuevos FI cada año: en breve aparecerán los de 2010. Y ya sabéis que el que una revista tenga FI o aumente año a año es motivo de orgullo y se publicita. Algo tendrá, cuando el rio suena…

lunes, 20 de septiembre de 2010

Reflexiones sobre la publicación científica en España y el EigenfactorTM Score


El profesor Juan Aréchaga, Catedrático del Depatamento de Biología Celular e Histología de la Universidad del País Vasco y Director de la revista The Internacional Journal of Developmental Biology , publicó el 4 de noviembre en El País un interesante tribuna bajo el título de “No importan solo cuántos nos citas, sino quienes y cómo lo hacen”. El texto completo lo recoge la FECYT en su web.

Juan Aréchaga es miembro del Comité Asesor MEDES-MEDicina en Español y mantiene un espíritu crítico respecto a “la situación de abandono de nuestras pocas publicaciones científicas de calidad y la escasa competitividad en el agresivo mercado internacional”. De algo ya hemos hablado en el blog.
En este artículo se comentan las consabidas limitaciones del factor de impacto en el conjunto de los indicadores bibliométricos y cienciométricos y se pone especial hincapié en un nuevo concepto métrico de la información, presente en Journal Citation Reports (JCR) a partir del año 2007: el EigenfactorTM Score. Se calcula como el número de veces que los artículos de la revistas publicados en los últimos 5 años han sido citadas en el año en curso de JCR, con dos peculiaridades: hay un factor de corrección por la categoría de la revista que lo cita (mayor peso si la citación procede de una revista de primer cuartil que de cuarto cuartil, o mayor peso si la cita es de un original que de un artículo de revisión) y se eliminan las autocitas. Para saber más sobre el Eigenfactor se puede consultar su página web y en algún artículo se nos explica el método de cálculo.

Todo ronda alrededor de potenciar la investigación de excelencia en España. La crítica reflexiva siempre es bienvenida. El texto del profesor Juan Aréchaga hace una mención expresa a la Pediatría que cabe no pasar por alto.

miércoles, 23 de junio de 2010

Una buena noticia: Anales de Pediatría ya tiene factor de impacto


Leemos en la web de la Asociación Española de Pediatría la noticia de que el Journal Citation Reports (JCR) acaba de publicar su informe del año 2009, en el que por primera vez se calcula el Factor de Impacto (FI) de Anales de Pediatría, que ha sido de 0.363. Anales de Pediatría es indexada por el Science Citation Index (SCI) desde el 1 de enero 2009 y su primer FI oficial estaba previsto para junio de 2012. Por tanto, el anuncio se ha adelantado 2 años.

En los últimos años el mundo de las publicaciones médicas ha experimentado también la llamada del control de calidad. y con esta función se aplican los indicadores métricos de la información, de lo cual ya hemos hablado en este blog. El proceso científico es susceptible, por tanto, de ser cuantificado.

Para describir la contribución científica de una investigación cabe distinguir entre la calidad (o rigor científico), la importancia (o relevancia sobre el avance del conocimiento científico y/o práctica clínica) y el impacto, aspectos interrelacionados, pero no equivalentes. El impacto es indicativo de la supuesta difusión o visibilidad a corto plazo de una investigación entre la comunidad científica. En 1965, Garfield fue el primero en sugerir este concepto mediante la contabilización de las citas que recibían las publicaciones individuales e introdujo el conocido FI, el indicador bibliométrico más conocido y utilizado, publicado anualmente en el JCR a través de las revistas que forman parte de la cobertura del SCI. El FI es un indicador bibliométrico basado en el recuento de citas del SCI que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los dos años anteriores, y el total de artículos publicados en ella durante esos dos años. El motivo de coger dos años es que es el tiempo promedio a partir del que se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado. El número de citas se divide por el número de artículos publicados para corregir la ventaja potencial de las revistas que publican muchos trabajos, ya que éstas tienen mayor probabilidad de ser citadas. En la actualidad, obtener el FI se ha convertido en una especie de garantía de calidad editorial, pues para ello los editores se ven obligados a cumplir y a mantener unos estándares cualitativos y, además, supone un excelente atractivo para lograr que los autores envíen sus mejores manuscritos a la revista, lo que a su vez redunda en incrementar su calidad e impacto.
Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido de tal manera que algunos colegas profesan una verdadera “impactolatría”, es decir, culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación en ciencia. La “impactolatría” conlleva una práctica simplista en la que se presupone que el FI de la revista es indicativo de la calidad o importancia de la investigación científica concreta y, por extensión, de los autores de ésta. Dos variantes extremas de esta “impactolatría” son la “impactofilia” y la “impactofobia”, ambas no deseables.

Aunque hay alternativas al FI, JCR-SCI es, hoy por hoy, la “meca” a la que toda revista biomédica quiere llegar y en la que se incluyen casi 7.000 revistas de distintas ramas de la ciencia. En el área de Pediatrics encontramos 94 revista de Pediatría: la única en español es Anales de Pediatría, que con el actual FI se sitúa en el 4º cuartil de las revistas pediátricas indexadas. Pero el caso es empezar, estar y crecer…

Enhorabuena a todos por esta buena noticia, muy esperada y justa. Pero, especialmente, gratitud a los directores de la revista (por su política editorial) y a los autores (por sus artículos), pues entre todos han llevado a Anales de Pediatría a ser la revista pediátrica de mayor calida en español.

lunes, 14 de junio de 2010

Investigación de excelencia en España: duro peregrinaje


En el último mes dos artículos de interés han puntualizado sobre el término “excelencia” en la investigación en España, bajo el prisma de las publicaciones científicas.

- En la revista Endocrinología y Nutrición, Fernando Alfonso, reciente exdirector de Revista Española de Cardiología, orienta su artículo especial hacia los rigurosos estándares de calidad editorial en que las revistas españolas tienen que competir, con dos principios claros: publicar trabajos originales de investigación de calidad e incrementar la visibilidad / difusión de sus contenidos científicos. Se aboga porque cada sociedad científica apoye la excelencia de su revista científica oficial, con la subvención económica correspondiente (incluso con programas de I+D orientados a ellas) y fundamentado en equipos editoriales y de dirección con capacidad de liderazgo. Competir con las mejores revistas internacionales de calidad de cada área de investigación (básica o clínica) de la Web of Science (WOS) es cada vez más difícil; y conseguir situar alguna revista española en el primer cuartil de cada especialidad, un reto aún lejano. Para medir la calidad, impacto y méritos de la investigación hay que considerar diferentes indicadores cienciométricos, que van más allá del Factor de impacto, como el SCImago SJR, el Eigenfactor o el índice de Hirsch (y sus variantes). Sobre cómo favorecer el éxito de las revistas biomédicas españolas en el ámbito internacional ya hemos hablado en nuestro blog.

- En la revista Medicina Clínica, el equipo de Evaluación de la Ciencia y Comunicación Científica del Departamento de Biblioteconomía y Documentación de la Universidad de Granada publica un artículo sobre la participación de alguna institución española en 6 revistas de primer nivel en la WOS en el periodo 2004-05 (Nature, Science, NEJM, JAMA, The Lancet y Proceedings of the National Academy of Sciences), considerando su papel como investigador principal (todo los autores son españoles o primer/último firmante) o secundario (posición intermedia en la autoría). La participación de instituciones españolas se cifró en un 2,1% de todos los artículos, inferior al 3,3 % que representa nuestro país en el conjunto de la WOS. En más de la mitad de los trabajos (54%) la institución española desempeña una responsabilidad secundaria (posición intermedia en la autoría).

En el área de investigación de la Pediatría estos resultados se antojan más complicados y el peregrinaje más largo. Pero no imposible. Es cuestión de implementar la cultura de la “excelencia” en todas nuestras actividades, sean asistenciales, docentes o investigadoras.

miércoles, 17 de febrero de 2010

¿Cómo favorecer al éxito de las revistas biomédicas españolas en el ámbito internacional?


Es difícil conocer el número de revista científicas en España. No existe un repertorio completo, pero las cifras que se barajan oscilan entre 400 y 500 revistas relacionadas con la medicina (sobre un millar de revistas científicas totales). Un ejemplo evidente de “infoxicación” , especialmente en algunas especialidades, con psiquiatría, odontología y pediatría a la cabeza (con más de 15 revistas cada una).
En el reciente repertorio de 2008 del Science Citation Index-Journal Citation Reports (SCI-JCR), sancta sanctorum al que toda revista científica desea acceder, sólo aparecen 37 revistas españolas sobre un total de 6.598revistas volcadas (un famélico 0,56%). El primer lugar en factor de impacto (FI) lo ocupan Aids-Rev (3,268 y 21 artículos publicados), Rev Esp Cardiol (2,880 y 116 artículos publicados) y Int J Dev Biol (2,359 y 121 artículos publicados). El FI medio de las revistas españolas no pasa de la unidad (0,863), escaso bagaje.
Es cierto que en la mayoría de las especialidades médicas, revistas biomédicas de España lideran su posición en el mundo hispanoparlante (Rev Esp Cardiol en Cardiología, Arch Bronconeumol en Neumología, Rev Esp Enferm Dig en Gastroenterología, Med Clin en Medicina Interna, Rev Neurol en Neurología, Nefrología en Nefrología, An Pediatr en Pediatría, etc), pero no ocurre lo mismo a nivel internacional, en donde nuestras revistas (las pocas situadas en SCI-JCR) se encuentran en posiciones muy interiores (último cuartil generalmente).

En un artículo previo ya planteábamos algunas estrategias editoriales para mejorar el FI de las revistas científicas:
- Selección cuidadosa de manuscritos, con una revisión sistematizada (por pares y por expertos en metodología-estadística) que ayude a mejorar la calidad del artículo final. El “impacto” de una revista es avalado, principalmente, por la calidad e importancia de los artículos en ella publicados.
- Optimización de los tiempos de valoración de los manuscritos y desarrollo de un sistema de gestión exclusivamente electrónico, con alarmas sobre límites de plazos. La calidad del “peer-review” depende del rigor y puntualidad de los revisores, quienes deben sentir el máximo respeto por parte del equipo editorial de la revista, consideración mínima a una esfuerzo tan importante que es realizado de forma gratuita.
- Publicación de artículos rigurosos, relevantes y útiles para la práctica clínica, con especial interés por estudios originales con diseños potentes, revisiones de calidad (mejor valoradas las revisiones sistemáticas que las de autor), guías de práctica clínica, conferencias de consenso y/o informes técnicos de sociedades científicas, así como otros documentos fundamentados en la medicina basada en pruebas.
- Ampliación de contenidos para abarcar todos los aspectos de la atención sanitaria (según la especialidad), así como también aspectos de formación, información e investigación aplicada.
- Promoción especial de los artículos originales más relevantes (editoriales, notas de prensa, fast-track y publicación electrónica preimpresión), así como la idea de implementar premios de las sociedades científicas a los mejores artículos publicados.
- Realizar el máximo esfuerzo en adecuar a los estándares de calidad de las revistas científicas. Un requisito indispensable es la adopción (y actualización) de las recomendaciones técnicas y éticas del Comité Internacional de Editores de Revistas Médicas.
- Desarrollo y actualización de la página web propia de la revista. La convivencia de la edición impresa y de la edición electrónica es un requisito casi imprescindible para conseguir la máxima visibilidad de los contenidos, que se incrementa de forma exponencial por medio de la edición electrónica. Hoy las revistas médicas son mucho más que una revista, con recursos múltiples relacionados con el mundo de la Web 2.0 (véase las páginas electrónicas de inicio de NEJM, BMJ, Lancet, Pediatrics, etc)
- Aumento de la difusión, posible con varias estrategias: plantear distintas ediciones de la revista (impresa y electrónica, español e inglés); inclusión en las más prestigiosas bases de datos internacionales (PubMed, Embase, SCI-JCR, etc) y nacionales (IME, IBECS, MEDES, etc); y acceso libre, completo y gratuito a todos los artículos de la versión electrónica (formatos HTML y PDF, en español y en inglés)
- Promover la convivencia de la suscripción tradicional con el modelo de acceso abierto (Open Acces), pues parece una solución factible y necesaria en los inicios del siglo XXI, en donde no tenemos nada que perder y mucho que ganar.
- Uno de los aspectos más controvertidos es si publicar en español o en inglés las revistas científicas españolas. Seguir apostando por revistas biomédicas en español de calidad, no debe considerarse contrario a la posibilidad de publicar revistas españolas en inglés o la idea de optar por intentar realizar una edición on-line bilingüe en inglés de todos o la mayor parte de los contenidos. Invertir en traductores médicos puede ser una de las estrategias más rentables.
De hecho, el idioma de publicación de las 10 primeras revistas españolas por FI en SCI-JCR es: Aids Rev (inglés), Rev Esp Cardiol (bilingüe), Int J Dev Biol (inglés), Geol Acta (inglés), Int Microbiol (inglés), Histol Histopathol (inglés), Drugs New Perspect (inglés), Arch Bronconeumol (bilingüe), Enferm Infec Micr Cl (español) y Rev Esp Enferm Dig (español). Lo cierto es que el aspecto de en qué idioma publicar es un tema en continuo debate y que podremos valorar en otra ocasión.

La presencia de España en el SCI-JCR es cada año un poco mejor; pero con una mejoría que se antoja muy lenta.