El propósito de este post es el de compartir un descubrimiento que he hecho esta semana por pura casualidad, serendipia o chiripa (que diría D. Alberto Sols). El jueves pasado me llamó un colega para discutirme la calidad de una revista que está en cuarto cuartil del sello FECYT. Tengo que decir que este tipo de llamadas son muy recurrentes en mi vida. La conversación fue algo así:

– El sello FECYT no tiene cuartiles amigo.

– Sí, sí que los tiene y estamos evaluando plazas según el cuartil FECYT.

Rápidamente hago una búsqueda en la web por si hubiese alguna novedad en la web de los feriantes de ciencias y vuelvo a lo mismo.

– Me da que te estás equivocando, el sello FECYT no tiene cuartiles, es un certificado de cumplimiento formal de parámetros editoriales, es como el sello halal de los pollos, además, acabo de buscar en internet y no aparece nada.

– Que sí hombre, que la FECYT mandó a la ANECA hace unos meses unos listados de sus revistas por cuartiles, te los mando ahora.

Después de esto, llamé a otros colegas que están en diferentes comisiones y así es, me enviaron el mismo listado de revistas. Así que parece que desde hace meses la ANECA está evaluando titularidades y cátedras (y probablemente el resto de figuras) utilizando un criterio no declarado, un producto poco transparente, realmente una hoja de excel, que no sirve ni para carne (halal) con tomate.

Vayamos por partes.

No se puede utilizar un producto de evaluación en una convocatoria pública sin que este esté declarado. Esto es más que denunciable, cualquier persona que haya sido evaluado estos meses y haya obtenido un suspenso podría denunciar el proceso por la indefensión que supone que pese a existir unos criterios de evaluación declarados, se evaluén utilizando otros. ANECA no puede evaluar con criterios no declarados. Muy mal por ANECA.

¿Qué hace la FECYT mandando en secreto un ranking de revistas a ANECA? Si la FECYT tiene un producto que sirve para dilucidar la calidad de las revistas que evalúa, este debería ser presentado de forma pública y transparente a la comunidad, por si tuviese algo que mejorar o no fuese un producto tan bueno. Muy mal por FECYT. Dicho esto y visto el producto, se entiende el secreto…

El producto no tiene ni pies ni cabeza. Los propios evaluadores de ANECA deberían haber sospechado que a) no fuese público, b) no se indiquen los valores por los cuales se ordenan los cuartiles c) no aporte metodología (quizás la aportasen aparte en otro documento secreto) d) no hay un responsable oficial de tal listado. Es decir, que nos están evaluando un conjunto de profesores utilizando acríticamente herramientas que desconocen, es como hacer cálculos con el SPSS sin conocimiento de estadísticas, un despropósito institucionalizado. Mal por ANECA. ¿No hay nadie que filtre un poco?

¿Tiene sentido este producto como herramienta de evaluación de revista? No, porque la construcción que hace es irreal y está mal ejecutada por múltiples motivos. No tiene sentido cuantitativo ni cualitativo.

1. En primer lugar, se desajusta con la filosofía del Sello FECYT que garantiza que las revistas cumplan una serie de aspectos formales que garanticen la calidad (formal) de la revista, ¿cómo se obtienen cuartiles de esto? Si quieren decir que hay diferentes niveles de cumplimiento pues perfecto, pero los niveles no se pueden ajustar a porcentajes de la población (cuartiles). Sentido cualitativo. El único indicador de los registrados por FECYT que podría ser usado para ranquear revistas sería su indicador de impacto, del que ya hablamos hace tiempo (cinco años) calificándolo de discutible.

2. El sello FECYT no cuenta con una masa suficiente de revistas como para necesitar que se ordenen por cuartiles, a no ser que las agrupes por grandes áreas, otro fallo. Es decir, si tienes 15 revistas de Psicología no es necesario relativizar las posiciones porque cualquiera puede interpretarlas. En cambio, si mezclas revistas por áreas estás cometiendo un error que invalida esa idea de los cuartiles.

3. No se deben hacer cuartiles con poblaciones heterogéneas. No todo el mundo acepta esta idea de los cuartiles de revistas, pero a aquellos que nos gustan no podemos dejar de reconocer que pierden su validez en las categorías multidisciplinares, como un buen ejemplo las de JCR (Sociales y Ciencias), ¿por qué? Pues porque la diferencia que hay entre disciplinas, la diferencia que hace que las revistas de Psicología ocupen los primeros cuartiles en Ciencias Sociales y las de Poesía los últimos de Humanidades. ¿Son mejores las revistas de Psicología? No, simplemente atraen más citas. Dicho de otra forma, si vas a hacer cuartiles de algo, que estos elementos sean lo más homogéneos posibles o se verá pronto como los distintos grados de arte, esmero y aplicación de cada revista según su área rompen la igualdad de la que parten teóricamente estas evaluaciones.

4. Por otra parte la ausencia del valor de ordenación es un pecado metodológico imperdonable, pero como tampoco existe metodología… Podemos decir que este es el ranking de revistas más opaco de la historia, ni valor de ponderación, ni metodología y encima no es público. ¡Qué hermoso es ver a los de FECYT hablando de transparencia, ciencia abierta y tal!

5. Por último, si teníamos un producto que nos decía que las revistas formalmente eran buenas y de repente a la mitad de sus revistas (tercer y cuarto cuartil) son situadas como mediocres o malas, estás enfadando a la mitad de tus editores de revistas (tampoco son muchos). Imagínense que se hubiesen tomado la molestia de obtener el sello FECYT, que es un trabajazo, y os enteráis que en un listado secreto los de FECYT van diciendo que vuestra revista es de cuarto cuartil. ¡Alta traición! Nadie se mata a trabajar para que sus revistas sean usados para otros fines que los acordados y en contra del valor de la revista. Yo como mínimo me enfadaría…

En fin, sin más os adjunto un enlace al documento, por supuesto he tenido el detalle de borrar el nombre de la documentalista que ha hecho el archivo (hay que revisar siempre las etiquetas meta). ¿En qué invierten el dinero y el talento los de FECYT? Claramente en revistas no.