Toca redefinir el éxito científico

Las clasificaciones de universidades, el factor del impacto de las revistas científicas, el número de citas de artículos: algunas personas sostienen que estos métodos para medir la “mejor” ciencia están anticuados y que además son un obstáculo para el progreso científico. Suiza quiere ayudar a implementar alternativas. Algo que resulta más fácil decir que hacer.

PLACEHOLDER

En las últimas décadas la actividad científica ha crecido de manera significativa. Tanto el empleo de investigadores, como la publicación de artículos o la inversión pública y privada, según indica un reciente informe del Fondo Nacional Suizo para la Investigación CientíficaEnlace externo (FNS). Este crecimiento, a su vez, da lugar a niveles de competencia sin precedentes, cuando se trata de financiación, premios, puestos académicos, clasificación en las principales revistas y otros signos del éxito científico.

Con el incremento de la presión por “publicar o morir”, se da cada vez más importancia a los indicadores cuantitativos del éxito científico (ver recuadro). Unos indicadores que a menudo se centran en las citasEnlace externo de publicaciones y en el factor de impacto de las revistas científicasEnlace externo, y que pueden llevar a los investigadores a publicar todavía más.  

Algunas métricas científicas comunes

• Índice hEnlace externo: Es una clasificación numérica estandarizada que se calcula usando el número de artículos científicos que un investigador ha publicado y el número de veces que esos artículos han sido citados. Aunque este índice tiene como objetivo expresar la productividad y el impacto de un científico en su campo, los críticos dicen que es demasiado simplista y que no se puede comparar entre las distintas áreas de la ciencia.   
• Factor de impacto de revistasEnlace externo (JIF): Se utiliza para clasificar las revistas científicas por la importancia que tienen en sus respectivos campos. Un JIF se calcula en base al promedio de veces que los artículos publicados en una revista se han citado en los dos años anteriores. El JIF es un método de comparación simple, pero con defectos: directamente no evalúa la calidad de los artículos, no siempre puede ser comparado entre campos y puede resultar sesgado por unos pocos artículos muy citados.   
• Ranking de universidadesEnlace externo: Puede basarse en la transferencia de conocimientos y en las menciones, así como en el rendimiento de la enseñanza. A medida que más universidades e instituciones de investigación han comenzado a competir para acceder a fondos, científicos y estudiantes, las clasificaciones globales se han convertido en una herramienta cada vez más útil para evaluar la calidad y el impacto de estas organizaciones. No obstante, algunos sostienenEnlace externo que las clasificaciones pueden ser incentivos para que las instituciones se centren demasiado en la investigación de alto impacto para mejorar su clasificación, y muy poco en las responsabilidades educativas y sociales.

Como señaló en una conferencia reciente en BernaEnlace externo el presidente de las Academias Suizas de Artes y Ciencias, Antonio Loprieno, es una “paradoja” de la ciencia moderna.  

“Por un lado, el uso de medidas contemporáneas del rendimiento científico, junto con el aumento de la financiación de la ciencia, ha aumentado de manera exponencial, lo cual para nosotros es muy positivo. Por otro, tenemos reservas sobre su imparcialidad, validez o aplicabilidad”, indicó.  

Para responder a algunas de estas reservas, el Fondo Nacional Suizo para la Investigación Científica ha elaborado, este año, una serie de recomendacionesEnlace externo (PDF) para que la comunidad científica suiza modifique la forma de evaluar y financiar la investigación; sobre todo mediante el uso de indicadores cualitativos para apoyar (que no sustituir) a los indicadores cuantitativos.   

“En los últimos años, los indicadores [cuantitativos] se han utilizado cada vez más para sustituir la evaluación cualitativa, una práctica que ha dado a los investigadores incentivos erróneos y ha amenazado la calidad científica”, menciona el informe.

“Debería promoverse una estrategia nacional que tenga en cuenta la diversidad de los requisitos disciplinarios e institucionales para una evaluación diferenciada”.

Más que un número

Los críticos manifiestan que la excesiva insistencia en las métricas cuantitativas conduce a un deterioro del rigor científico que, antes de nada, estas métricas estaban destinadas a apoyar. Por no mencionar el tremendo estrés que para los propios científicos supone.   

“Según Google, mi índice hEnlace externo es 48. Esto significa que tengo 48 artículos que como mínimo tienen 48 citas. No me gusta ser reducido a un número, pero en este planeta hay gente que piensa en mí en términos de un número”, observó Stephen Curry, profesor de Biología Estructural del Imperial College London, que también participó en la conferencia de Berna.   

“Los números se pueden utilizar para calificar algunos de sus aspectos, pero la ciencia es, sobre todo, una actividad profundamente humana. Uno no puede medir simplemente la excelencia de la ciencia; tiene que ser una cuestión de juicio, discusión y aportaciones de expertos”.     

Curry dirige el comité directivo de la Declaración de San Francisco sobre la Evaluación de la Investigación (DORAEnlace externo, por sus siglas en inglés), uno de varios esfuerzos recientes para reevaluar el modo en que se evalúa la ciencia; y para identificar nuevas directrices para valorar a los investigadores e instituciones de una manera más holística: lo suficientemente eficiente como para que la ciencia siga avanzando.

Medir la calidad

Los críticos también argumentan que los indicadores cuantitativos, como el índice h, son propensos a distorsionar y no son lo suficientemente transparentes en la manera en que se calculan y se utilizan. Dicen que estas medidas desalientan la investigación diversa, de alto riesgo y de alto rendimiento, a favor del conformismo y la uniformidad.

Para Ellen Hazelkorn, directora de la Unidad de Investigación de Políticas de Educación Superior del Instituto Tecnológico de Dublín, este tipo de métricas son especialmente problemáticas en un momento en el que la ciencia es para todos, no solo para una reducida élite en sus torres de marfil.

“Una vez que se ve que la investigación tiene un valor y un impacto más allá de la academia, ya no se trata de buscar la curiosidad individual e intelectual, sino el equilibrio entre las prioridades sociales y nacionales”, explica Hazelkorn.

Y añade que métricas como las clasificaciones institucionales (como las tan esperadas clasificaciones anuales de Times Higher Education World University RankingsEnlace externo, por ejemplo) son “enormemente inadecuadas” para una sociedad de alta participación, porque se centran en rendir cuentas únicamente en la esfera académica, y no en el conjunto de la sociedad.

“Las clasificaciones son fáciles de entender, pero sus indicadores de éxito aumentan los niveles de desigualdad y estratificación dentro de nuestras sociedades, lo que a su vez tiene implicaciones de cara al acceso a los bienes públicos”.

La simplicidad es también una gran parte del atractivo de las métricas individuales y del nivel de revistas científicas, como el número de citas y el factor de impacto de la revista, dijo Curry en Berna. “Las métricas son fáciles de calcular; tienen una pseudo-objetividad, que nos atrae, y hacen nuestras vidas más fáciles”.

Presión y prestigio

Pero, ¿a qué precio? Como explicó Curry, centrarse demasiado en estas herramientas puede incluso ralentizar el progreso científico, al animar a los investigadores a presentar su trabajo en la revista más prestigiosa posible, lo que aumenta la probabilidad de rechazo o, inclusive, retracción, lo que también puede erosionar la confianza del público en la ciencia.

Además, un enfoque restringido a publicaciones y prestigio significa que otras actividades importantes están infravaloradas y, como resultado, la enseñanza, la comunicación y la divulgación, o la tutoría de científicos más jóvenes pueden sufrir.    

Casi 14 000 personas y organizaciones se han adherido a la declaración DORA. Dentro de la comunidad académica también ha cobrado fuerza el Manifiesto de Leiden 2015Enlace externo. Ambos documentos piden que la dependencia de las métricas cuantitativas se reduzca o que se utilicen combinadas con otros métodos cualitativos que se centren en el contenido científico.

Alternativas emergentes

La ciencia sigue creciendo deprisa y todo el mundo quiere ser excelente. Así que, ¿cómo pueden los métodos de evaluación más holísticos –y posiblemente también más lentos– superar el atractivo de las métricas “rápidas y sucias” cuando se trata de hacer ciencia?

Para Sarah de Rijcke, subdirectora del Centro de Estudios de Ciencia y Tecnología (CWTS) de la Universidad de Leiden, en los Países Bajos (la cuna del Manifiesto de Leiden), la respuesta pasa por lo que ella llama “planteamiento integrado” para evaluar la ciencia, que puede adaptarse a una situación, institución o investigador determinado.

De Rijcke dice que “los arreglos universales no son muy efectivos”, porque los tipos de investigación más recompensados por los métodos de evaluación tradicionales varían de una disciplina a otra. En cambio, para un contexto de evaluación dado, recomienda principios genéricos para crear una “narrativa estandarizada” que entreteja la experiencia de un científico, sus resultados (desde publicaciones y becas, hasta enseñanza e incluso medios sociales) y su influencia en la ciencia y en la sociedad.

El comité DORA, en su sitio web, también recopila ejemplos de tales enfoques; pidiendo, por ejemplo, a los investigadores que resuman sus mejores publicaciones y contribuciones en sus propias palabras a través de un “biosketchEnlace externo”.

Según Stephen Curry, es probable que el movimiento de la comunidad científica mundial hacia el acceso abierto –que también se observa en SuizaEnlace externo– sea igualmente un catalizador para el cambio cuando se trata de métricas de evaluación, ya que las revistas de acceso abierto y los archivos preimpresosEnlace externo pueden fomentar un mayor énfasis en el contenido y la transparencia que las revistas tradicionales basadas en suscripciones.

La responsabilidad suiza

Loprieno declaró a swissinfo.ch que Suiza, debido a la abundancia de fondos y a la flexibilidad de los requisitos administrativos en comparación con otros países europeos, tiene la obligación internacional de impulsar el cambio.

“Creo que como tenemos un sistema tan bien financiado, también tenemos cierta responsabilidad en el resto del mundo. Suiza podría experimentar o intentar soluciones de un modo más proactivo para ver cómo superar las dificultades del sistema actual”, dijo.

Uno de los mayores desafíos, añadió, será garantizar que los jóvenes científicos que están al comienzo de su carrera reciban el apoyo adecuado durante la transición hacia parámetros científicos más diversos.

“Mi solución sería algo más de tolerancia para proyectos de investigación a largo plazo. Ahora tendemos a apoyar y financiar a corto plazo, lo que se ajusta a esta lógica de la competencia. Si estuviéramos dispuestos a financiar desde una perspectiva más a largo plazo, podría quitar presión de las primeras etapas de la carrera y también crear un sistema más igualitario”.  

Un cambio tan grande en la cultura de la investigación es mucho más fácil de decir que de hacer, como reconoció Loprieno. Aunque eso no significa que sea imposible.

“Esta también es una cultura que queremos revisar, y tenemos que empezar por alguna parte”, dijo.

Traducción del inglés: Lupe Calvo