Mostrando entradas con la etiqueta indicadores bibliométricos. Mostrar todas las entradas
Mostrando entradas con la etiqueta indicadores bibliométricos. Mostrar todas las entradas

miércoles, 29 de julio de 2026

CoARA (Coalition for Advancing Research Assessment): qué, por qué y para qué

 

En junio de 2022, los estados miembros de la Unión Europea adoptaron el compromiso político de iniciar de forma coordinada un proceso de modificación de los sistema de reconocimiento del mérito investigador, acordaron fortalecer las capacidades para la publicación y comunicación de resultados de investigación y se posicionaron a favor de proteger y desarrollar el multilingüismo en la publicación académica en todo el Espacio Europeo de Investigación (ERA, por sus siglas en inglés). Uno de los principales frutos de este compromiso ha sido la creación de la Coalition for the Advancement of the Research Assessment (CoARA). Y sobre CoARA conviene profundizar… 

CoARA: ¿qué es? 

CoARA en sus siglas en inglés significa Coalición para el Avance de la Evaluación de la Investigación. Es una iniciativa internacional surgida hace cuatro años para reformar cómo se evalúa la ciencia, con el objetivo de reducir la dependencia de métricas simples —como el factor de impacto o el índice h— y dar más peso a la calidad, la diversidad de contribuciones y el juicio experto. 

La idea central es que la investigación no puede medirse bien solo por dónde se publica o por cuántas citas acumula, porque eso deja fuera muchas aportaciones valiosas: datos compartidos, software, transferencia, docencia, mentoría, divulgación, ciencia abierta o impacto social. 

CoARA: ¿por qué surge? 

CoARA nace del consenso acumulado durante años sobre las limitaciones de los sistemas tradicionales de evaluación. El CSIC explica que ya existían alertas previas en iniciativas como DORA (2012), el Manifiesto de Leiden, The Metric Tide y otras declaraciones internacionales que criticaban el uso aislado y descontextualizado de métricas bibliométricas. 

La coalición se impulsa de forma conjunta por Science Europe, la European Universities Association y la Comisión Europea, y cristaliza tras un proceso de co-creación en 2022 que reunió a centenares de organizaciones de muchos países. En otras palabras, CoARA no aparece como una moda repentina, sino como la respuesta institucional a una insatisfacción creciente con la evaluación basada casi exclusivamente en revistas, rankings y cifras de impacto. 

CoARA: ¿qué propone? 

El acuerdo de CoARA plantea varios principios básicos: reconocer la diversidad de contribuciones científicas, evaluar principalmente mediante revisión cualitativa por pares, usar los indicadores cuantitativos de forma responsable y abandonar el uso inadecuado de métricas basadas en revistas o publicaciones. Esto me recuerda las veces que hemos criticado esos indicadores usados “a peso”, conociendo la compra-venta de factor de impacto de las revistas depredadoras y la publicación previo pago. Revisar estos enlaces de este blog a lo largo de los años: 1, 2, 3, 4 y 5.     

También pide evitar los rankings institucionales como sustituto de una evaluación real, y promover criterios más ajustados a cada disciplina, etapa profesional y tipo de investigación. Esto es importante porque no se puede valorar igual una disciplina con lógicas de publicación muy rápidas que otra donde pesan más los libros, las bases de datos, las colecciones, los protocolos clínicos o la transferencia a la sociedad. 

Pero, ¿qué cambia en la práctica? 

El cambio más visible es que la evaluación deja de centrarse tanto en “dónde publicas” y pasa a valorar mejor “qué aportas”. Eso supone un giro hacia evaluaciones más multidimensionales, donde cuentan la originalidad, la solidez metodológica, la cooperación, la apertura de datos, la contribución al grupo, el impacto social y la adecuación del trabajo a su contexto disciplinar. 

En la práctica, esto puede favorecer carreras investigadoras menos dependientes de publicar en un pequeño grupo de revistas de alto impacto y más abiertas a reconocer perfiles diversos: quienes hacen investigación básica, aplicada, traslacional, clínica, interdisciplinar o de impacto social. También puede ayudar a reducir incentivos perversos, como la carrera por acumular artículos, la presión por publicar “lo máximo posible” o la tentación de privilegiar métricas antes que calidad. 

Por tanto, CoARA está significando un cambio de paradigma en la gobernanza de la ciencia. Su importancia no está solo en los principios, sino en que obliga a instituciones, agencias y universidades a revisar sus criterios, sus formularios, sus comités y sus rutinas de evaluación. 

En España, por ejemplo, el CSIC, ANECA y CRUE participan en el National Chapter Spain, y varias universidades ya han empezado a adaptar sus políticas a este marco. Eso indica que CoARA no se limita a una declaración de intenciones: está entrando en la arquitectura real de la evaluación científica. 

Pero CoARA también genera dudas legítimas. Cambiar métricas no es tan sencillo como sustituir un número por otro, porque el desafío consiste en construir evaluaciones más justas sin volverlas más opacas o arbitrarias. Por eso el acuerdo insiste en la transparencia, la formación de evaluadores, la comunicación clara y el uso responsable de datos e indicadores. 

Además, la transición no será igual en todos los países, disciplinas ni instituciones. Algunos ámbitos ya están muy acostumbrados a la bibliometría; otros necesitan criterios más cualitativos desde hace tiempo. CoARA intenta precisamente ofrecer un marco común, pero flexible, para que esa reforma sea compartida y no una suma de soluciones improvisadas. 

Como colofón a CoARA… 

CoARA surge como respuesta a la insuficiencia de los modelos de evaluación apoyados en métricas simplificadas y busca reorientar la valoración científica hacia la calidad, la diversidad y el impacto real de la investigación. Su relevancia está en que está cambiando no solo el debate teórico, sino también las prácticas institucionales con las que se decide qué cuenta como buena ciencia. 

Mientras tanto, en el camino, se han desangrado vocaciones docentes e investigadoras por obra y gracia de aquellos indicadores y del negocio de la publicación. Si Eugene Gardfiel levantara la cabeza, él que creó en 1955 el factor de impacto para revistas y no para investigadores…

lunes, 26 de febrero de 2024

De la Bibliometría evaluativa a la Bibliometría narrativa

 

Son muy numerosos los post realizados en este blog sobre bibliometría, indicadores bibliométricos, su por qué y para qué, sus dudas y sus reflexiones… Llevamos al menos 15 años hablando de ello, que quizás comenzó en el año 2009 con el post “Indicadores métricos de la información: de la bibliometría a la cibermetría” y que llegó hasta el año 2021 con cuando finalizamos el proyeto “Formación e información en Pediatría” en el que trabajamos durante una década, y dentro de ella los 16 capítulos elaborados sobre Bibliometría y cienciometría.  

Y ello porque evaluar el rendimiento de la actividad científica y su impacto en la sociedad es posible (y deseable) y uno de cuyos fines primordiales es el poder adecuar convenientemente la asignación de los recursos destinados a investigación y desarrollo. Estudiar variables cuantitativas y cualitativas de la información publicada (en formato papel o electrónico) es una necesidad en el entorno de “infoxicación” (neologismo que quiere indicar el entorno de intoxicación por exceso de información) en el que desarrollamos nuestra práctica clínica. 

Desde hace tiempo se aplican métodos científicos, fundamentalmente matemáticos y estadísticos, al estudio de la ciencia, como expresión particular de las regularidades matemáticas que acompañan a las ciencias naturales, técnicas y sociales. Se diferencian distintas especialidades métricas, en base a los distintos usos de la información: Bibliometría, Cienciometría, Informetría, Webmetría y Cibermetría. Y sobre las luces y las sombras de los cuartiles y el índice H ya hemos realizado nuestra contribución.   

Quizás todo este camino comenzó allá por la década de los 70 con los estudios de Eugene Garfield. Pero en estas más de cuatro décadas, se ha evolucionado mucho en relación con el factor de impacto, con sus ventajas e inconvenientes, así como la comorbilidad asociada (con la impactofilia, la impactofobia y el impacto¿qué?, entre ellas). Porque con el inicio del siglo XXI a las bases de análisis tradicionales (Web of Science y Journal Citation Report) se suman otras fuentes de información bibliográfica como Google Schoolar y Scopus, que imitan las bases de datos existentes y les añaden nuevas funcionalidades que modifican los indicadores. Y con el avance en la era digital surgen también nuevas métricas relacionadas con el contenido digital y generándose un nuevo horizonte de indicadores bibliométricos alternativos (Webmetría). Por tanto, el crecimiento de estos indicadores permite un análisis más profundo de los datos cuantitativos de los documentos y abandonar las métricas basadas en las fuentes que recogen los trabajos (revistas).   

Estos son algunos cambios en el horizonte de las evaluaciones: 
• Todos estos avances llevaron a la creación de diversos manifiestos que centraban sus críticas en el mal uso de los indicadores bibliométricos. 
• San Francisco Declaration on Research Assessment (DORA) (2012), centra la evaluación de los trabajos en el impacto real de las aportaciones científicas de las investigaciones y abandona el Journal Impact Factor como único indicador de evaluación 
• Manifiesto de Leiden (2015), aboga por la combinación de métodos cuantitativos y cualitativos para adaptar las métricas de evaluación a los objetivos y contextos de cada investigación. Da mucha relevancia a la transparencia en la selección de indicadores y a la diversidad de métodos de evaluación 

Y todo esto es el parte de ese paso de la Bibliometría Evaluativa del siglo XX a la Bibliometría Narrativa del siglo XXI.  

- La BIBLIOMETRÍA EVALUATIVA surge como herramienta de apoyo a la revisión por pares a la hora de tomar decisiones de forma más responsable. Fomenta un uso justo, racional y limitado de los indicadores bibliométricos. Se centra en apoyo a la toma de decisiones, colaboración con los expertos, respeto por los contextos, multidimensionalidad métrica, así como verificabilidad y apertura de datos. 

En 2022 surge CoARA (Coalition for Advancing Researchs Assessment) cuyo principal objetivo es reformular el sistema de evaluación de la investigación: 1) Se da mayor importancia a los aspectos cualitativos; 2) La revisión por pares es el elemento central de la evaluación; 3) Se aboga por el uso responsable de indicadores bibliométricos que siempre se usaran como apoyo a la revisión por pares 

Por tanto, la Bibliometría Evaluativa como CoARA se fundamentan en los mismos principios que son que la evaluación de la investigación debe basarse en los opiniones cualitativas de los expertos complementadas con el uso responsable de los indicadores bibliométricos. El 8 de noviembre del 2022 la Comisión europea firmó los acuerdos de DORA y CoARA por lo que la mayoría de las instituciones europeas han seguido con esta tendencia. En España este seguimiento se hizo muy notable siendo uno de los países con más instituciones que se adhirieron a amos acuerdos (La ANECA firmo el 3 de abril de 2023). 

- La BIBLIOMETRÍA NARRATIVA se puede definir como “la utilización de indicadores bibliométricos para generar relatos y narrativas que permitan la defensa y exposición de un currículum científico y de sus aportaciones individuales en el marco de una evaluación científica”. Lo que persigue esta “nueva” biblometría es dar un significado a los datos cuantitativos obtenidos de los indicadores, de manera que el investigador pueda analizar y contextualizar cada indicador, evitando la presencia de datos aislados e inconexos. 

En la Bibliometría Narrativa es indispensable que se cumplan una serie de principios que garanticen la calidad y la relevancia del relato, se replicabilidad y su adaptabilidad a otros contextos científicos. Para crear narrativas bibliométricas demos tener en cuenta que cumplan con replicabilidad, singularidad, adaptabilidad, comparabilidad y contextualidad. 

Para seguir con los directrices de los manifiestos de Leiden y DORA lo que se recomienda es el uso de múltiples indicadores que den una visión más global de los documentos evaluados, explicando cada uno de los diferentes indicadores y teniendo en cuenta sus limitaciones. Hay 4 dimensiones básicas a utilizar dentro de la Bibliometría Narrativa: 

- Impacto científico: mide la relevancia y la influencia que una publicación tiene dentro de la comunidad. científica. Utiliza métricas basadas en la cantidad de veces que un documento es citado por otros: total de citas recibidas (con y sin autocitas), citas normalizadas, percentil de citación. 

- Relevancia del medio: mide el medio en el que se publica el documento, teniendo en cuenta tanto aspectos cuantitativos como cualitativos. Para aspectos cuantitativos se utilizan los indicadores tradicionales, para los cualitativos se analizan las políticas editoriales y la calidad del medio: impacto de la revista, percentil de la revista, cuartil de la revista, ranking de la revista. 

- Atención social: mide la difusión que la publicación tiene en medios sociales a partir de las menciones que recibe en redes sociales o plataformas digitales. Analiza aspectos como: menciones en redes sociales, menciones en noticias, menciones en informes, menciones en Wikipedia. 

- Uso y visibilidad: mide la accesibilidad y el alcance de una publicación en el mundo digital analizando el uso que recibe el documento y el tráfico generado por el mismo. Analiza aspectos como: lectores de gestores de referencias, enlaces académicos, descargas, presencia en bibliotecas (documentos impresos). 

La narrativa bibliométrica lo que pretende es complementar, contextualizar y explicar los indicadores bibliométricos de tal manera que proporciones una visión más integral de un documento científico. La narrativa puede tener múltiples puntos de análisis cada uno aportando una perspectiva diferente:

Narrativa de posición. Nos permite situar nuestro documentos dentro del contexto de la categoría temática sobre la que trata nuestra investigación. Permite evaluar el impacto de una publicación con otros trabajos dentro del mismo campo, mismos años, y mismo tipo de documentos. 

Narrativa de contexto. Da una visión del entorno y del lugar desde el que nuestro documento ha recibidos las citas. Nos permitiría saber si nuestro documento esta siendo muy relevante en algún ámbito concreto (materia, país, idiomas, etc). 

Narrativa de agentes. Permite la identificación de los diferentes investigadores, grupos de investigación o instituciones que han aprovechado los resultados de nuestro documento. El saber quien está usando nuestro artículo nos da una visión clara del impacto de nuestros resultados 

Narrativa de la audiencia. Frente a la narrativa anterior, esta narrativa se centra específicamente en la recepción y filtrado que ha recibido nuestro trabajo. No es solo cuantificar cuanta gente lee nuestro trabajo, sino cualificar los destinatarios de nuestro documento 

Narrativa de Ciencia Abierta. Consiste en indicar nuestra voluntad de que los resultados de nuestras investigaciones sean difundidos en plataformas abiertas. Consiste fundamentalmente en decir si la publicación se ha depositado en repositorio abiertos (se puede acompañar con datos de consulta) y más aún si los datos cumples con los criterios FAIR (Encontrable, Accesible, Interoperable y Reutilizable). 

Esta presentación se fundamenta en una píldora formativa realizada en nuestro instituto de investigación (ISABIAL) y que forma parte del programa formativo de REGIC (Red de Entidades Gestoras de Investigación Clínica).

lunes, 14 de julio de 2014

Dime qué índice h tienes, y te diré quién eres...


El factor de impacto (FI), definido por Eugene Garfield en los años 50, es probablemente el indicador bibliométrico más conocido. Conocemos bien las luces y, sobre todo, las sombras del FI, con muchas iimitaciones para medir la ciencia y a los científicos, de ahí la necesidad de alternativas. Algunos indicadores de aparición más reciente que se utilizan también para poner en valor las publicaciones biomédicas han intentado solventar este hándicap. Así, tanto el Eigenfactor promovido por el propio ISI Web of Knowledge, como el Scimago Journal Rank promovido por Elsevier o el índice h-5 utilizado por Google Schoolar tienen en cuenta para sus respectivos cálculos un valor diferencial de la citación en función de la revista en la cual dicha citación se produce. 

El FI es el indicador bibliométrico más usado, pero también del que más abuso y mal uso se ha hecho. Para solucionar este mal uso del FI, se han propuesto diversos indicadores que aproximen la visibilidad y repercusión de cada investigador en concreto. Uno de los más utilizados es el índice h o de Hirsch, pues fue descrito por Jorge Hirsch en 2005. 
Un científico tiene índice h si, entre todos sus trabajos, tiene h que reciben al menos h citas cada uno. Es decir, alguien que tenga un índice h de 16 significa que tiene al menos 16 artículos que han sido citados al menos 16 veces. 

El índice h de un científico crece progresivamente con el tiempo de vida del investigador. También es un índice que se puede aplicar a revistas científicas, tal como comentamos con las revistas pediátricas españolas. Pero como todo indicador, aunque mejora algunos aspectos, no está exento de limitaciones. 

Así que siguiendo con el título aplicada a una entrada previa de este blog respecto a los cuartiles, ojo con el dime qué índice h tienes, y te diré quién eres. He aquí las principales limitaciones: 
- El índice h tiende a penalizar a los autores que priman la calidad frente a la cantidad. 
- El índice h tiende a favorecer a los científicos con carreras más dilatadas, perjudica a los más noveles por el bajo número de publicaciones y presenta problemas para discriminar entre investigadores situados en niveles intermedios. 
- El índice h no permite comparar investigadores de áreas diferentes debido a los diferentes hábitos de publicación y de citación en cada campo. 
- El índice h no valora las citas de un documento, no tiene en cuenta si éstas son para ensalzar o para criticar el artículo. 
- El índice h no tiene en cuenta la calidad de las revistas de publicación. 
- El índice h no tine en cuenta la calidad de las revistas citantes. 
- El índice h está sujeto a los mismos riesgos y limitaciones referentes a la autocitación que comentábamos para el FI. 
- El índice h tiene también limitaciones técnicas: problemas de homonimia, variantes de firmas, errores tipográficos y falta de normalización. 
- El índice h de un investigador puede variar según la base de datos utilizada para su cálculo: WoS, Scopus o Google Schoolar. 

Así pues, ya conocemos los dos indicadores bibliométricos quizás más utilizados y aceptados (el FI y el índice h), pero también conocemos sus limitaciones. Por eso, quizás sea bueno poner en entredicho, una vez más, el dime qué...tienes, y te diré quién eres.

A continuación, compartimos el reciente artículo publicado por el grupo EC3: Evaluación de la Ciencia y de la Comunicación Científica de la Universidad de Granada y que nos muestra el índice h de las revistas científicas españolas según Google Scholar Metrics (2009-2013).



lunes, 7 de julio de 2014

Nuevos formatos de edición para revistas científicas


En el último Congreso SEMES 2014 (XXVI Congreso Nacional la Sociedad Española de Medicina de Urgencias y Emergencias) tuvo lugar una Mesa redonda sobre "Aspectos de actualidad en la edición de revistas biomédicas", con tres interesantes ponencias:
- "Las bases de datos y su importancia como principal fuente de indicadores bibliométricos", desarrollada por el Dr. Oscar Miró, editor de la revista Emergencias (la única revista en español en primer cuartil de su especialidad en JCR).
- "La revisión por pares y otras nuevas posibilidades en la revisión de manuscritos", defendida por el Dr. Fernando Alfonso, ex-editor de Revista Española de Cardiología (la revista española con mayor factor de impacto con edición bilingüe).
- "Nuevos formatos de edición de revistas científicas", que tuve el honor de exponer, en base a la experiencia adquirida como 9 años de editor de la revista Evidencias en Pediatría y 2 años al frente de la plataforma de formación Continuum.

Abajo os dejo la presentación defendida en el último apartado y que tenía los siguientes objetivos:
1) Objetivo general: Reflexionar sobre los nuevos formatos de edición de revistas científicas en el siglo XXI.
2) Objetivos específicos: a) Intentar responder a 5 preguntas clave; b)Profundizar en las posibilidades de edición 2.0; c) Presentar la experiencia con Evidencias en Pediatría.
El centro de atención se planteó en dar respuesta a las 5 preguntas clave:
- ¿Publicación en papel o electrónica?
- ¿Publicación en inglés o en español?
- ¿Publicación primaria o secundaria?
 - ¿Publicación tradicional u Open Acess?
- ¿Publicación de revistas 1.0 ó 2.0?

Lo que es evidente es que la edición científica es un paradigma cambiante, en donde las revistas científicas 2.0 surgen como la convergencia de aptitudes. Y con tres ámbitos principales de actuación 2.0 de las revistas:
- En los números convencionales de la revista.
- En el portal de la revista o editor.
- Formar parte de redes sociales y servicios 2.0.

Lo cierto es que nuestra experiencia en Evidencias en Pediatria, revista sin factor de impacto (y que nunca lo tendrá, por sus características), es que el formato 2.0 nos ha convertido en la revista en español más leída... y en donde conservamos íntegra la credibilidad. Y esta mesa redonda ha sido una gran oportunidad para exponer nuestro camino recorrido...

Y es así como el campo de los nuevos formatos de edición para revistas científicas se convierte en un tema vital y apasionante.


miércoles, 18 de junio de 2014

Dime qué cuartil tienes, y te diré quien eres...


Sobre indicadores bibliométricos, luces y sombras del factor de impacto y enfermedades asociadas al mismo (entre ellos la impactolatría, la impatofilia, la impactofobia y el impacto¿qué?) hemos hablado repetidamente desde este blog. Es un tema de reflexión siempre interesante alrededor de la medicina, la ciencia y los científicos. 

Aunque realmente es difícil ponerse de acuerdo en las cifras exactas en el número de revistas en el mundo y en las distintas bases de datos, recientemente pudimos realizar una aproximación a propósito de una ponencia en un congreso. 
- El número de revistas científicas en el mundo es superior a 22.000 (y la mitad, al menos, son biomédicas). 
- En España hay al menos 400 revistas biomédicas. 
- El número de revistas registradas en las principales bases de dato y repertorios varía en número: 8.637 en Science Citation Index-Expanded, 8.400 en Embase, 6.800 en Scopus, 5.642 en PubMed/Medline, 877 en LILACS, etc. 
- Science Citation Index se convierte en el "sancta sanctorum", pues publica anualmente el factor de impacto (FI) de las revistas biomédicas en la base conocida como Journal Citation Reports (JCR). 
- El top 5 de FI del total de 8.637 revistas en SCI fue para CA-Cancer J Clin (FI= 153,459), N Engl J Med (FI= 51,658), Rev Mod Phys (FI= 44,982), Chem Rev (FI= 41,298) y Nat Rev Genet (FI= 41,063). 
- En el último JCR publicado (del año 2012) se registraron un total de 122 revistas pediátricas en el área Pediatrics. El top 5 de FI fue para J Amer Acad Child Adol Psychiatr (FI= 6,970), Pediatrics (FI= 5,119), Arch Pediatr Adol Med (FI=4,282), J Pediatr (FI= 4,035) y Eur Child Adol Psychiat (FI= 3,699). 
- Y dentro del FI nos encontramos los cuartiles. Si un listado de revistas ordenadas de mayor a menor FI se dividiera en cuatro partes iguales, cada una de las partes sería un cuartil. En el área de Pediatrics, dado que son 122 revistas en cada cuartil nos encontramos 30 revistas; en el primer cuartil (Q1) las 30 primeras revistas por orden de FI, en el segundo cuartil (Q2) de la 31 a la 60, en el tercer cuartil (Q3) de la 61 a la 90 y en el cuarto cuartil (Q4) de la 91 al final. 
- En el último JCR publicado (del año 2012) se registraron un total de 125 revistas publicadas en España, de las cuales 41 eran de Biomedicina y Ciencias de la Salud. De estas 41 revistas, el top 5 correspondía a Aids Rev (FI= 4,075, publicada en inglés), Rev Esp Cardiol (FI= 3,204, publicada en bilingüe), Inter J Develop Biology (FI= 2,613, publicada en inglés), Emergencias (2,578, publicada en español) e Inter Microbiol (FI= 2,556, publicada en inglés). 
- Dentro de las 41 revistas españolas de Biomedicina y Ciencias de la Salud, sólo dos están en el Q1 de su área: Aids Rev y Emergencias. El resto se distribuyen como seis revistas en Q2, diez en Q3 y 23 en Q4. La única revista pediátrica española en JCR (Anales de Pediatría) se encuentra en Q4 con un FI de 0,867. 

Todo esto está muy bien, pero conviene no perder el horizonte. Y para llegar a la excelencia en la investigación científica y en la publicación biomédica, antes de llegar al "impacto", hay que iniciarse en la "calidad" y seguir con la "importancia". Si es así, el impacto llegará por gravedad... Como recordatorio: 
- La "calidad" corresponde al rigor científico. Rigor en el fondo y en la fonda de la publicación científica, como principio de la investigación que debemos difundir en las nuevas generaciones. 
- La "importancia" es la relevancia de la publicación aplicada a la práctica clínica. 
- El "impacto" es la difusión o visibilidad a corto plazo de una investigación entre la comunidad científica. 

Pero es importante volver a recordar que el FI corresponde a revistas, no a autores. Pero sobre todo, conviene recordar que hay vida científica (y útil para la clínica) más allá del FI… y de los cuartiles.