Hace un par de meses saltó la noticia de que existía un ranking de revistas FECYT y que este estaba siendo utilizado por ANECA. El problema de tal ranking era doble. En primer lugar, no son formas, ANECA no debe utilizar un producto invisible para evaluar profesores, hacerlo público implica que expertos del área analizasen el producto y lo estudiasen para probar su validez. En segundo lugar, la ausencia de metodología y transparencia y tal como se presentaba el ranking auguraban un producto nefasto.

Bien, pues hoy la directora de la FECYT junto al director de ANECA han hecho públicos el ranking. ¿Qué significa esto? Pues básicamente confirma que ambas instituciones estaban colaborando, y esto en general es bueno, el problema es que están colaborando para validar un producto con errores importantes. ¿Cómo puede ser que ANECA dé por bueno un producto piloto? Sin embargo, nadie se ha pronunciado sobre la validez de este y muchos de los problemas de fondo siguen estando, han aparecido otros y ahora que conocemos la metodología empezamos a conocer la profundidad de estos.

Hay que decir que parece que muchas de las críticas que hace dos meses se le hicieron al ranking de revistas FECYT han sido corregidas y esto es bueno. Por ejemplo, se han aumentado las categorías y eliminado los cuartiles. Sin embargo, la clasificación de revistas es nefasta, por no hablar del sistema de valoración de revistas que es redundante, y a la vista muy trabajoso. Han hecho un constructo matemático injusto, complejo en su elaboración y lo peor, poco elegante. Igualmente faltan datos que lo hagan transparente, que permitan ver si los elementos se han registrado y analizados correctamente. Por si fuera poco, los datos están obsoletos, periodo 2011-2015.

La transparencia y la ciencia abierta son una tara/tarea pendiente de la FECYT, que se autoproclaman adalides de la ciencia abierta en España. Empezando por las formas, a estas alturas de milenio, ya empiezan a estar fuera de lugar los PDF de FECYT (creados con Microsoft Word 2010). Tim Berners-Lee le daría a este documento un 2 sobre 10 puntos en accesibilidad.

Figura 1. Los cinco niveles del Acceso Abierto (Tim Berners-Lee)

En segundo lugar, en cuanto a accesibilidad sería deseable un RAW con todos los datos para que cualquiera pueda verificar los valores y los cálculos. Cuando en tu misión institucional está la promoción de la ciencia abierta debes empezar a ser ejemplar. Y por último, si además se indicasen los recursos y costes del proyecto, transparencia total, más que nada porque la FECYT se financia con el dinero de todos.

¿Por dónde empezar?

Si empezamos por las novedades, la primera novedad es que utiliza datos antiguos, 2011-15, es decir no responden a la realidad actual de las revistas, están midiendo un pasado ya lejano por lo que sería injusto evaluar en 2019 a profesores con datos de 2011-2015. Si nos referimos a las novedades con relación a la versión de principios de verano hay que indicar que han incorporado una clasificación temática más amplia, lo que sería un avance un avance, si se hubiese hecho bien. Aparentemente, en la Metodología se intenta utilizar la división temática que utiliza la CNEAI para los Sexenios, algo que no tiene mucho sentido para clasificar revistas, pero esta es ligeramente modificada para adecuarse al conjunto de revistas con Sello FECYT donde apenas hay interés por parte de las revistas de Ciencias Duras por ser evaluadas. ¿Por qué no tiene sentido? Pues porque la clasificación de CNEAI está pensada para valorar individualmente profesores de áreas afines, no para ponerlos en fila y decir que uno es mejor que otro. Por ello que esta clasificación tan amplia no sirve para hacer rankings de nada, ni de revistas ni de profesores.

¿Qué nos indica esto? Que han hecho un producto a medida para las comisiones científicas, pero que el traje no sirve para las revistas. ¿Por qué? Pues simplemente porque siguen mezclando áreas que poco o nada tienen que ver. Que la CNEAI una a los catedráticos, a veces de forma desafortunada, para evaluar currículos es criticable, pero como es una evaluación individual, no comparativa, puede pasar, pero que las revistas de diferentes áreas como son Comunicación, Documentación, Antropología, Trabajo Social, Ética y Moral o Género se ordenen en una misma categoría y que el valor de la revista que quede primera condicione a la puntuación de las restantes es no haber entendido nada de evaluación de revistas… Pero esto es peor aún y es que la ejecución es nefasta. Porque además la clasificación de las revistas deja mucho que desear, la asignación temática incluye múltiples errores.

El constructo matemático es mejorable por varios motivos.

1. No trata por igual a las revistas, perjudicando a las revistas con peor indexación. Vamos a ver, si queríamos un producto que nos dijese que las revistas JCR o Scopus son mejores ya existía. Lo interesante es que todas las revistas jugasen en igualdad de condiciones, es decir que sólo se contasen las citas de una plataforma. Si bien es cierto que se esfuerzan en buscar las citas a documentos no indexados esto no genera una diferencia real, sino que agrega esfuerzo a un proceso ya de por sí costoso. Las revistas JCR (o Scopus o ESCI o SciELO) lógicamente registran más citas en JCR entre otras cuestiones porque cuentan con el comodín de las autocitas que tampoco son controladas.
2. Aumenta las desigualdades entre revistas. Sabemos por Bradford que las citas se acumulan de forma desigual entre revistas, pero si encima a las revistas que están en más bases de datos les cuentas las mismas citas dos veces estás aumentando la desigualdad. El Ranking FECYT ha sacado una panorámica donde aparecen unas pocas revistas muy buenas y una gran mayoría (88%) muy mala.
3. Requiere una gran cantidad de datos y esfuerzos para en el fondo medir lo mismo (multicolinealidad), por lo que se está gastando tiempo y recursos en identificar datos innecesarios. Es como hacer una encuesta con 18.000 personas cuando con 2.000 obtendrías los mismos resultados. Esta fórmula que han creado es una especie de alambique que destila agua destilada obteniendo en el proceso final agua destilada, con un esfuerzo agregado enorme… Quizás por este motivo no han sido capaces de sacar un ranking actualizado a 2018 y lo han hecho a 2015.
4. El ICDS (Índice Compuesto de Difusión Secundaria) de MIAR es un indicador poco adecuado a este contexto. Lo mejor de MIAR es el propio MIAR y la recopilación actualizada que hace de las bases de datos, muy útil para sexenios y acreditaciones. Su indicador en cambio tiene problemas, como que no distingue si la revista está en 2 o 20 bases de datos de indización puntuándolos igual o que la antigüedad de la revista apenas se tiene en cuenta, debido a que usan un logaritmo en base 10. Una revista con 26 años recibe 1.4 puntos y con 1.000 años recibiría 3 puntos. O dicho de otra forma es un indicador con poca variabilidad para distinguir entre revistas que sería el objetivo real por el que se ha incorporado al constructo de FECYT.
5. Los cuartiles generan una gran diferencia entre las revistas que están indexadas y las que no, aumentando la brecha, además de que esta información diferencial ya está latente en el registro de citas. Seguimos midiendo lo mismo…

Se adjunta un enlace a un minitutorial básico a uno de los problemas del cálculo del Ranking.

https://unir.adobeconnect.com/pj06n133uj5l/

Cuando se hace un constructo la clave de que este tenga éxito es que sea aceptado, que no impuesto, por la comunidad. La aceptación se relaciona directamente con que el dibujo que plantea es lógico y consecuente. En este caso lo que vemos es que se mezclan revistas sin sentido, cómo indicaba Lluis Anglada en Twitter, no tiene sentido decir que una revista de Deportes es mejor que una de Logopedia. El otro aspecto es que han un Ranking con una valoración del 0 al 100 donde la gran mayoría de revistas están suspensas, no llegan a 50 puntos… Este ranking ordena a las revistas en 464 posiciones (algunas revistas ocupan más de una posición en diferentes categorías, como Comunicar que está en tres), de estas posiciones 411 obtienen un valor inferior a 50 puntos, es decir, el ranking arroja un 88% de suspensos…

En definitiva: Este ranking perjudica a las revistas y no ayuda a evaluar la calidad de los trabajos publicados en las revistas que ranquea. No aporta un elemento diferencial que sume a los productos ya existentes en los procesos evaluativos españoles. No tiene sentido que ANECA utilice un ranking de revistas que se centre en una muestra de revistas españolas (419 edición piloto) y además donde las puntuaciones de la mayoría de revistas 88% no llegue a 50 sobre 100, lo que significa que la fórmula, tan enrevesada, sólo devuelve una cifra con valor ordinal. Además, no es capaz de mostrar datos del resto de revistas españolas y tampoco contextualiza la calidad de la muestra en un entorno nacional o internacional. Es en cierta forma el mismo problema de REDIB, además de los problemas metodológicos ya comentados. Algo tan simple como ordenar en categorías las revistas de Google Scholar Metrics ofrece resultados más acertados, exhaustivos, actualizados, contextualizados a nivel internacional y sencillos. No se entiende la actitud acrítica de ANECA que apadrina este producto para sus procesos evaluativos.

Hay que decir que la idea original del Sello FECYT mejoró sustancialmente la calidad de las revistas y esto ha sido poco reconocido. Quizás la falta de reconocimiento a este trabajo que ha hecho la FECYT en la sombra durante tantos años haya hecho que traten de cambiar el rumbo. El camino de FECYT debería seguir siendo el de ayudar a las revistas a mejorar sus procesos y contribuir con herramientas, identificar los nuevos problemas y retos a los que se enfrentan las revistas y liderar la edición científica española. Convertir el Sello FECYT en una plataforma para evaluar los trabajos de los investigadores en convocatorias de sexenios y acreditaciones queda muy lejos de las competencias y habilidades de FECYT.

Por otra parte, es bueno que ANECA y FECYT colaboren, especialmente en otras líneas más exitosas como el CVN, lo que permitiría que, de forma automática, o casi, los profesores pudiesen subir sus currículos a las aplicaciones de ANECA a través del CVN. Eso sí sería un éxito.

PD: A estas alturas las revistas españolas no necesitan ni sellos ni medallas, sino financiación y recursos. Muchas revistas bien posicionadas van a desaparecer en breve por defunción de sus creadores y mecenas, se esperaría de FECYT que diese cabida o apoyo y garantizase un futuro a estas revistas que tanto están haciendo por la ciencia española sin recibir nada a cambio.

PD: Gracias a Álvaro Cabezas por la sugerencia del título.