Mostrando entradas con la etiqueta evaluación científica. Mostrar todas las entradas
Mostrando entradas con la etiqueta evaluación científica. Mostrar todas las entradas

miércoles, 26 de mayo de 2021

Cómo realizar y evaluar una guía de práctica clínica


Dicen que la MBE (Medicina basada en la evidencia o en pruebas científicas) va en busca de una práctica clínica que intenta resolver de la mejor forma posible la ecuación entre “lo deseable, lo posible y lo apropiado”, teniendo presente que la medicina es una ciencia sembrada de incertidumbre, variabilidad en la práctica clínica, sobrecarga de información, aumento de demanda y limitación de recursos. Y para ello propone un método estructurado para resolver las dudas derivadas de la práctica clínica habitual, mediante cinco pasos estructurados fundamentales: 
- Paso 1: Formular una PREGUNTA clara a partir del problema clínico a analizar. 
- Paso 2: BÚSQUEDA sistemática de las MEJORES PRUEBAS disponibles en la bibliografía. 
- Paso 3: VALORACIÓN CRÍTICA de las mejores evidencias científicas encontradas. 
- Paso 4: APLICABILIDAD de los resultados de la valoración a nuestra práctica clínica. 
- Paso 5: Evaluar su rendimiento, en base a estudios de ADECUACIÓN de la práctica clínica a la evidencia científica. 

Y dentro de la MBE, podemos considerar a la valoración crítica como el eje central de la MBE. Y la aproximación pedagógica se desarrolla en los TALLERES DE LECTURA CRÍTICA, cuyos fundamentos se basan en los siguientes puntos del programa CASP (Critical Appraisal Skills Programme). Y así lo han entendido desde el Departamento de Salud de Denia, donde han contado con la experiencia adquirida en el Comité de Trabajo de Pediatría Basada en la Evidencia de la AEP durante las últimas dos décadas para el desarrollo de esta actividad en los últimos años
- En el año 2018 desarrollamos el Curso sobre Valoración crítica del ENSAYO CLÍNICO. 
- En el año 2019 hemos desarrollado el Curso sobre Valoración crítica de la REVISIÓN SISTEMÁTICA / METANÁLISIS. 
- En el año 2020 se paró el mundo por la pandemia COVID-19 y no se pudo realizar. 
- Y este año 2021 hemos regresado con el Curso sobre Valoración crítica de GUÍAS DE PRÁCTICA CLÍNICA. 

En este taller hemos establecido los siguientes objetivos: 
- OBJETIVO GENERAL: Aprender la sistemática de realización y evaluación de una GPC. 
 - OBJETIVOS ESPECÍFICOS: 1) Recordar los pasos esenciales para realizar una GPC; 2) Conocer las diferencias de elaboración de una GPC: opinión de expertos, consenso y evidencia; 3) Diferenciar entre centros elaboradores y de almacenamiento de GPC; 4) Reconocer 3 propuestas para valoración de una GPC: AGREE, GRADE y ADAPTE; 5) Realizar la valoración in situ de una GPC. 

El decálogo de una buena GPC incluye: validez, fiabilidad, reproductibilidad, flexibilidad, aplicabilidad, claridad, multidisciplinariedad, metodología explícita, actualización y revisión programada e independencia. Y en este entorno es esencial conocer la aplicación de AGREE II, como instrumento genérico desarrollado por un grupo internacional de expertos para evaluar la calidad de todo tipo de GPC, evaluando los beneficios, daños, costes y aspectos prácticos y la probabilidad de alcanzar resultados; dirigido a gestores, clínicos y educadores. 

Toda y más información de esta presentación conlleva el agradecimiento expreso a los compañeros del Grupo de Trabajo de Pediatría Basada en la Evidencia por la labor docente desarrollada en conjunto con ellos durante las últimas dos décadas.

lunes, 25 de marzo de 2013

Cómo evaluar una guía de práctica clinica


Se acaban de celebrar las VIII Jornadas de Formación para Residentes de Pediatría (Murcia 13-15 marzo 2013). Y un año más, hemos tenido la oportunidad de compartir esta experiencia. En el año 2011 se nos pidió hablar del ensayo clínico; en el años 2012 profundizamos en la revisión sistemática y metanálisis; este año el interés se ha centrado en las guías de práctica clínica (GPC). Tres temas esenciales en el entorno de la medicina basada en pruebas, tres herramientas sobre las que vale la pena profundizar. 

Las GPC son directrices elaboradas sistemáticamente para asistir a los clínicos y a los pacientes en la toma de decisiones sobre la atención sanitaria adecuada para problemas clínicos específicos. Pero no es GPC todo lo que se denomina como "guía" y es importante diferenciar el grano de la paja... 

En este taller establecimos los siguientes objetivos: 
- OBJETIVO GENERAL: Aprender la sistemática de realización y evaluación de una GPC. 
- OBJETIVOs ESPECÍFICOS: 1) Recordar los pasos esenciales para realizar una GPC; 2) Conocer las diferencias de elaboración de una GPC: opinión de expertos, consenso y evidencia; 3) Diferenciar entre centros elaboradores y de almacenamiento de GPC; 4) Reconocer 3 propuestas para valoración de una GPC: AGREE, GRADE y ADAPTE; 5) Realizar la valoración in situ de una GPC. 

El decálogo de una GPC propuesto es: validez, fiabilidad, reproductibilidad, flexibilidad, aplicabilidad, claridad, multidisciplinariedad, metodología explícita, actualización y revisión programada e independencia. 

La parte esencial fue la aplicación de AGREE II, como instrumento genérico desarrollado por un grupo internacional de expertos para evaluar la calidad de todo tipo de GPC, evaluando los beneficios, daños, costes y aspectos prácticos y la probabilidad de alcanzar resultados; dirigido a gestores, clínicos y educadores. 

Toda y más información en esta presentación, con agradecimiento expreso a los compañeros del Grupo de Trabajo de Pediatría Basada en la Evidencia por la labor docente desarrollada en conjunto con ellos durante la última década.

 

lunes, 18 de abril de 2011

Investigación pediátrica española: grupos colaborativos y ámbitos temáticos


La magnitud de los recursos e inversiones destinadas a la investigación exigen disponer de medidas o indicadores que cuantifiquen sus resultados e impacto. Los indicadores bibliométricos, asociados con otros indicadores económicos y sociales, se vienen utilizando desde hace décadas para la planificación y puesta en práctica de todos los aspectos relacionados con la investigación médico sanitaria, ya que permiten caracterizar de forma muy precisa el estado de desarrollo de la investigación y por tanto, fundamentar la toma de decisiones sobre la política científica.

La colaboración científica es considerada un rasgo esencial que favorece el avance del conocimiento, por lo que los organismos responsables de las políticas científicas tratan de potenciarla mediante la articulación de diferentes medidas y programas, o estableciendo la colaboración como un criterio indispensable de los proyectos que se deben financiar, tanto en el ámbito nacional como supranacional. La integración de los autores en grupos de investigación y el mayor tamaño de los grupos son variables que se han puesto en relación en algunas revistas clínicas españolas con el grado de citación que han recibido las mismas, y consiguientemente, con el incremento de su factor de impacto.

En el estudio que presentamos se estudia la colaboración científica, grupos y ámbitos temáticos de investigación de las publicaciones de ANALES DE PEDIATRÍA durante el período 2003–2009. Se ha utilizado el algoritmo Kamada-Kawai, implementado en el programa de análisis y visualización de redes Pajek, recursos de gran interés en cienciometría. Es cierto que el estudio sólo proporciona una visión parcial (pues sólo contempla la investigación publicada en Anales de Pediatría, revista oficial de la Asociación Española de Pediatría), pero permite vislumbrar los grupos consolidados y los grupos emergentes, así como los temas principales de investigación por grupos de edad pediátrica.

Para solventar estas limitaciones, en estos momentos se está llevando a cabo el análisis de la productividad, colaboración, impacto, ámbitos temáticos y grupos colaboradores de la pediatría española en el contexto internacional (2006-2010), fundamentado en el análisis de diferentes bases de datos (Science Citation Index Expanded, Scopus, etc) y cuyos resultados verán la luz en el año 2012. Para la planificación y mejora de la investigación pediátrica española es fundamental conocer nuestra realidad y dibujar las debilidades y fortalezas, así como las amenazas y oportunidades.

miércoles, 9 de febrero de 2011

Menos impactolatría y más racionalidad en la evaluación científica


El factor de impacto (FI) es un indicador bibliométrico basado en el recuento de citas del Science Citation Index-Journal Citation Reports (SCI-JCR) que se calcula, para cada revista, estableciendo la relación entre las citas que en un año determinado han recibido los trabajos publicados durante los 2 años anteriores (numerador), y el total de artículos publicados en ella durante esos dos años (denominador).
El problema es que sólo se computa en el numerador las citas generadas desde el conjunto de revista incluidas en SCI-JCR, mientras que las citas generadas en el resto de revistas “no cuentan”. Asimismo, en el denominador sólo se tienen en cuenta los artículos “citables” (substantive, citables o source ítems) que no siempre son fáciles de determinar cuáles se escogieron, aunque en principio no incluyen ni “editoriales” ni “cartas al editor”. El motivo de coger 2 años es que es el tiempo promedio a partir del que se calcula que un trabajo circula plenamente en la comunidad científica y puede ser utilizado y citado.

En relación con el análisis de citas, aunque para la mayoría de los autores no tienen duda de su utilidad como un indicador bibliométrico, su aplicación práctica no está libre de deficiencias. Apuntamos 10 limitaciones que cabe considerar en el análisis del FI:
- Punto crucial: el FI se hizo para revistas, no para autores
- A través de datos obtenidos del SCI-JCR, aproximadamente el 25% de los artículos publicados no son citados nunca; el 55% se cita sólo una vez, y sólo el 1% recibe 50 o más citas. Además, del 10 al 20% aproximadamente de todas las citas son autocitas. Se conoce que como promedio un 15% de los artículos acapara el 50% de todas las citas
- No existe una definición operativa de lo que SCI-JCR considera como documento citable o fuente.
- SCI-JCR no realiza una vaciado documental de las revistas con un criterio estable a lo largo del tiempo
- SCI-JCR tiene un claro sesgo a favor de las publicaciones en lengua inglesa y, concretamente, está dominada por las norteamericanas
- Los hábitos de citaciones son distintos, según disciplinas y tipo de investigación (clínica frente a básica), lo que influye de forma muy importante en el FI. Las áreas poco desarrolladas y/o con un reducido número de investigadores y/o con escaso apoyo institucional obtienen menos FI (porque publican menos trabajos “citables”)
-Los FI de una revista no son estadísticamente representativos de sus artículos individuales. La tasa de citación de un artículo determina el FI de la revista, pero no viceversa
- Las citas en la misma lengua de la revista son preferidas por los autores que publican en dicha revista
- Los artículos de revisión son muy citados, “inflando” el FI de la revista
- No hay corrección para la autocitación

Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido de tal manera que algunos colegas profesan una verdadera “impactolatría”, es decir, culto o adoración incontinente al FI como si se tratara de la panacea de la evaluación en ciencia. La “impactolatría” conlleva una práctica simplista en la que se presupone que el FI de la revista es indicativo de la calidad o importancia de la investigación científica concreta y, por extensión, de los autores de ésta. Es necesario que todos (pero, principalmente las instituciones que evalúan a los médicos y/o científicos) conozcamos las debilidades y fortalezas del FI, así como las amenazas que implica un mal uso y/o abuso del mismo y la oportunidad que surge de utilizarlo con coherencia como un indicador más (nunca el único) dentro de la multidimensionalidad de la cienciometría.

El “impacto” tiene que ir precedido de la “calidad” (rigor científico) e “importancia” (interés en modificar y/o mejorar la práctica clínica) de la investigación. Y, sobre todo, de la coherencia y racionalidad de la evaluación. En esto todos somos responsables: las instituciones que evalúan por aplicar esta “ley” y los médicos evaluados por aplicar la “trampa”.
Algunos autores ya han tratado este tema, pero derivamos la atención a uno de los primeros artículos sobre la “impactolatría” de Jordi Camí. Aún así, se espera con expectación los nuevos FI cada año: en breve aparecerán los de 2010. Y ya sabéis que el que una revista tenga FI o aumente año a año es motivo de orgullo y se publicita. Algo tendrá, cuando el rio suena…