Poco se sabe de la vida de Lao-Tse, el bibliotecario y filósofo al que se atribuye la doctrina taoísta. Se duda incluso que realmente existiese, como también pasa con otros personajes como Homero o Abraham. Una leyenda sostiene que su madre lo trajo al mundo después de 81 años de gestación y que cuando nació era ya un anciano, la piel arrugada, el pelo largo y blanco y orejones como melocotones. Algo parecido le ha sucedido al RK FECYT, aunque con una maduración muy inferior, este producto producto parece nacer caduco, los métodos y resultados recuerdan en algunos aspectos épocas anteriores a la aparición de Eugene Garfield y WoS (que tampoco son la “última flama” del campo). Poco que ver con lo que se postula en los últimos años sobre la evaluación científica, todo eso de la declaración de San Francisco, etc.

Es cierto que en esta nueva versión se han corregido errores, los más evidentes, pero me temo que también se han incorporado algunos nuevos. En los resultados ya no hay nada extraño a simple vista. Claramente, esta nueva versión de la clasificación se ha alimentado de las críticas públicas y generosas que Isidro Aguillo, Emilio Delgado y un servidor hemos hecho al producto. La mayor parte de las críticas superficiales han sido corregidas o incluidas como limitaciones del producto. Hay que indicar que no se citan estas aportaciones. Por cierto, un conocido me contó que cuando le preguntó, en unas jornadas, a la responsable del producto sobre los errores del ranking, en lugar de explicarse o justificar los mismos, se limitó a calumniarnos a Isidro y a mí (falacia ad hominem), a Isidro de no pertenecer a la academia y en mi caso, de que mis críticas albergasen intereses económicos. Decía D. Santiago Ramón y Cajal que “hay tres clases de ingratos: los que callan el favor, los que lo cobran y los que lo vengan” (2017).

¿Qué pasa con este producto? En mi opinión, sigue sin tener sentido ni utilidad, y en la superficie ni se parece a un ranking de revistas ni posee la transparencia exigible. La única ambición que cumple es la de poner algo de orden al listado de revistas con sello Fecyt, pero de una forma cuestionable y rompiendo la filosofía original de este producto. Pero claro, un pequeño grupo de revistas que audita sus prácticas editoriales no pueden representar al conjunto de las revistas españolas de Ciencias Sociales, y ranquearlas no soluciona mucho, al menos a la comunidad.

Cuestiones de fondo

–        Muestra irrelevante. Leyendo a Emilio Delgado, me doy cuenta que el problema es la muestra. ¿Qué representación tienen estas revistas sobre el conjunto de la población? O dicho de otra forma ¿Qué representa este producto frente al total de las revistas españolas?

En una investigación reciente hemos detectado 80 revistas científicas de Comunicación editadas en España, mientras que en el ranking FECYT sólo hay 9, un 11.25% del total. Hay más revistas de Comunicación españolas en Web of Science (32 revistas) o en Dialnet Métricas (59). Por ir a otro campo, en Educación el RK FECYT registra 56 revistas, mientras que Web of Science indexa 72 revistas españolas del área y Dialnet Métricas 225.

Si el problema que pretende resolver este producto es la falta de información sobre la calidad de las revistas en otros productos, este ranking soluciona poco o nada y en comparación con las alternativas es claramente el más pobre de todos los productos (con una excepción, el campo de Ciencias Jurídicas). El sistema necesita productos reales que completen la ausencia de datos, que pongan luz donde hay oscuridad, no necesita que se cojan los datos que ya conocemos de unas pocas revistas y se pasen por una coctelera.

Cuestiones Metodológicas

–        Relativización según tamaños. Este es un problema metodológico que no se ha resuelto y es fundamental. Medir el impacto de un conjunto (grupo, revista, universidad, cualquier nivel de agregación superior al individuo) si no se tiene en cuenta el tamaño de la población de documentos genera esigualdades importantes e injustas. Este ranking no tiene validez lógica si no se tiene en cuenta la producción científica de cada revista, puesto que una revista que publica 60 artículos al año tendrá tres veces más posibilidades de obtener el triple de puntos de citación que una que publica 20. Personalmente creo que este argumento metodológico invalida todo el producto. Aunque aparentemente no se producen divergencias visibles debido al estado anémico de las revistas españolas y su homogeneidad productiva (debido entre otros motivos a la falta de apoyos institucionales), pero efectivamente las revistas más productivas destacan significativamente sobre las que no lo son. Lo curioso es que en lugar de relativizar el valor de las citas al tamaño de cada revista, se ha relativizado al de las revistas que más citas obtienen. Menos mal que Plos One no se edita en España, porque entonces necesitaríamos usar 6 decimales para este cálculo.

Redundancia de datos. Seguimos con la redundancia de datos. Citas en Scopus, Web of Science, Google, índices h diversos, cuartiles en varios productos y sin embargo no se tiene en cuenta la producción científica? Esto es como hacer unas lentejas con pimienta negra, pimienta verde, pimienta roja, pimienta blanca, pimienta rosa y olvidarse de las lentejas. Todo sistema evaluativo se basa en contrastar el input a través del output, el input en las revistas no es la revista como pretende el RK FECYT, sino la suma de las partes que condicionan y dan lugar al output, en este caso el input son los artículos y el output principal las citas… Esta redundancia de datos sólo consigue dos cosas, aumentar la distancia entre las revistas bien indexadas y las que no y aumentar el coste de carga de datos.

Relativizar Cuartiles. Que se haya incluido en la fórmula la relativización de los cuartiles es un error importante desde mi punto de vista. ¿Por qué? Porque no se justifica bien relativizar un valor que es relativo. Cuartiles, percentiles, porcentajes… son valores relativizados a la población. Además, sucede que en el caso de los cuartiles se trabaja en base 4. Esto hay que cambiarlo porque es un error importante, por mucho que se diga en el último párrafo “Esta metodología no tiene vocación de ser sometida de nuevo a revisión y queda consolidada”. Por favor, corrijan este error.

¡Qué lejos quedan los principios de la Declaración DORA!

Decía al principio que este producto nacía caduco, si no muerto No sólo porque parta de un constructo básico donde lo complejo (la calidad de una revista) se simplifica con la suma de simples. Las actuales y futuras exigencias evaluativas lo que están requiriendo son productos con capacidad para analizar la investigación a nivel de artículo. Me temo que los rankings de revistas que no sean capaces de trabajar a nivel artículo (no sólo por transparencia) y relativizar los datos en el contexto de las revistas, del área temática, del área geográfica y por supuesto del año de producción, no tienen futuro (y diría que tampoco presente).

Falta de Transparencia.

Si FECYT en su misión tiene el “promover la ciencia abierta e inclusiva” hubiese sido una buena oportunidad para aplicar los principios de la ciencia abierta a este producto. .

·       Plataforma transparente. Sería deseable que un ranking de revistas tuviese una plataforma, ¿por qué? Ya no porque el resto de productos la tengan, sino porque estos gestores de datos facilitan las consultas, aportan transparencia en los datos y en los cálculos. Aparte, que da algo de vergüencilla la poca prestancia de un PDF, parece que es el fruto de un investigador ocioso sin recursos. FECYT debe potenciar el uso de formatos explotables, exportables, interoperables, reutilizables, con información que enriquezca y contextualice los datos. De los cinco niveles de accesibilidad en abierto de Tim Berners Lee, los documentos PDF son el nivel más bajo. En fin, aquello del OpenData y el FAIR.

·       Datasets. Es cada vez más necesario compartir los set de datos. Esto ahorraría preguntas especulativas de la comunidad sobre posibles errores, incluiría a la comunidad como parte activa en la depuración de fallos, dotaría de transparencia al producto, permitiría la reutilización de datos para otros fines. En un producto como este, que va por la tercera versión rodeado de críticas, hacer públicos sus datos es el mayor garante de credibilidad, algo en este caso muy necesario. En fin, aquello del OpenData y el FAIR.

·       Recursos utilizados y coste del producto. Por último y fundamental. ¿Qué recursos ha consumido este producto? ¿Qué presupuesto ha tenido el RK FECYT hasta ahora? Esto es fundamental cuando estamos hablando de fondos cuyo origen es público. Además, como explicábamos al principio, un producto debe ser evaluado no sólo por el cumplimiento de sus objetivos, sino por los recursos que ha consumido para conseguirlos (es parte del input). Como ejemplo, In-RECS tenía un coste de mantenimiento y actualización en torno a los 30.000 € anuales, pero claro, el mayor coste de In-RECS era el salario de los que cargaban los datos del producto (yo fui uno de ellos), no reutilizaba los datos de otros (Scopus y WoS). En fin, aquello de la Ciencia Abierta y la Transparencia.

Quizás lo más preocupante de todo, y aquello que dispara a la línea de flotación del sistema actual de evaluación, es que este producto ya estaba preaceptado por ANECA antes de que siquiera estuviese acabado, y cuando por fin tuvimos una versión a todas luces mejorable fue impuesto a las comisiones de evaluación. Y mírenlo, el RK Fecyt ya está en los criterios de Sexenios y Acreditaciones, eso sí, como producto de tercer orden. En este país la potestas está por encima de la autoritas, como pasa en el Cine, unos tienen el talento y otros las subvenciones, pero ya sabemos lo lejos que llega esto y lo perjudicial que llega a ser para los bolsillos y para la visión de calidad ficticia que genera esta discordancia.

Dicho lo cual, no sería justo reconocer las soluciones inteligentes y los cambios que se han dado en esta actualización.

·       Se criticó el ICDS por varios motivos, entre otros por la disparidad de bases de datos según el área. Los autores han tenido una buena idea, relativizar el valor ICDS de cada revista al de la revista con mayor ICDS de su área, así aparentemente se soluciona este error pero… ¿Qué pasa si la revista con mayor ICDS de su categoría pertenece a más de un área? Más allá la idea es original.

·       La selección y aplicación temática es en un primer vistazo muy lógica y bien justificada. Se aprecia un buen trabajo. Unir Documentación y Comunicación tiene sentido en el contexto más amplio de las Ciencias de la Información, siempre y cuando las revistas afines con historia puedan también aparecer en esta categoría, como es el caso de las llamadas disciplinas auxiliares de la Historia (archivística, diplomática) o las revistas de Comunicación e Historia. La clasificación de las revistas ha quedado convincente, aunque ha dejado ver otro problema, la escasez de revistas.

·       Relativizar cuartiles no parece tener mucho sentido. Sin embargo, relativizar el índice H por áreas puede tener mucho sentido, con los defectos de tamaño ya conocidos, esta idea es muy interesante, aunque habría que repensar aspectos, como que el esfuerzo para aumentar de índice no es lineal y por tanto relativizar por una regla de tres puede ser algo brusco. En fin, desde luego es una solución interesante que da que pensar.

·       Se agradecen los anexos de cómo buscar citas en Scopus y WoS de documentos no indexados. Esta información será muy útil para editores de revistas.

·       El área donde realmente aporta este producto es el de las Ciencias Jurídicas, donde hay una casi total ausencia de productos evaluativos, sin embargo, la poca cobertura del mismo deja fuera la mayor parte de la población de revista. Sería especialmente enriquecedor trabajar en esta área aumentando la muestra hasta cubrir a casi el 100% de la población, actualmente debe estar por debajo del 10% del total, incluso del 5%.

·       Las limitaciones que se reconocen del producto están bien argumentadas, personalmente no me convencen, pero desde luego son discutibles y no carecen de lógica.

PD: A estas alturas las revistas españolas no necesitan ni sellos ni medallas, sino financiación y recursos. Muchas revistas bien posicionadas van a desaparecer en breve por defunción de sus creadores y mecenas, se esperaría de FECYT que diese cabida o apoyo real y garantizase un futuro a estas revistas que tanto están haciendo por la ciencia española sin recibir nada a cambio.

Bibliografía

Ramón, S. (2017). Charlas de café: pensamientos, anécdotas y confidencias. Fondo de Cultura Economica.