viernes, 2 de marzo de 2018

El ranking QS por facultades universitarias. Lo que interesa a Elsevier y lo que los periódicos y los rectores (o aspirantes) no dicen.




“Una falacia  es un argumento que parece válido, pero no lo es.
Hamblin (1970) y Groarke (2013)


Todo el mundo se ha precipitado a considerar como un éxito los resultados de la universidad  española en el ranking QS por facultades (es decir por estudios o disciplinas). Lo ha hecho la prensa (El País, La vanguardia,…) y las universidades. Lo hacen porque en el ranking por facultades de QS (QS World University Rankings byFaculty) hay veintiuna incidencias de facultades españolas entre las cincuenta primeras. Hay que precisar y contextualizar bastante este dato, dicho así no es fiel a la realidad. Lo intentamos iluminar un poco con los siguientes hechos:

a) El ranking se compone de agrupamientos de estudios. Así hay uno de Ingeniería y tecnología, otro de Ciencias Sociales, etc. Hay del orden de 12 estudios o facultades (disciplinas) en cada uno de los cinco apartados de que se compone el ranking. De esta forma, en realidad son unos SESENTA RANKINGS, de los cuales tenemos presencia entre los cincuenta primeros puestos  en VEINTIÚN casos. No se dice nada de los treinta y tantos restantes, ni de la distribución en los estudios donde hemos quedado supuestamente bien.

b) El ranking QS de universidades, el global, supone para cada universidad un promedio de los resultados de suss facultades, o dicho de otra forma: Para cada universidad su posición es una media, ponderada con su metodología, de las posiciones de todas sus facultades.

c) Si vamos al ranking general de universidades, España sólo tiene tres universidades entre las doscientas primeras, y ninguna antes de la número 150. Exactamente la Universidad de Barcelona, que está en el puesto 156, la Universidad Autónoma de Madrid en el 187 y la Universidad Autónoma de Barcelona en el 195. Pero hay otras como la de Murcia que está en la posición 801, y algunas que están más abajo o que no aparecen. Estas informaciones son del último ranking por universidades, también hecho público en 2018, hace unos días, y que se elabora con los datos de los últimos cinco años.

d) Eso quiere decir que, sin variar la posición global de las universidades, si suben algunas facultades otras bajan en la misma medida. Este hecho se reproduce también en relación con los países y el ranking por facultades: Si en 21 facultades hemos subido, sin variar la posición global del país, quiere decir que en los restantes hemos bajado en igual medida. Eso la prensa no lo dice. Y decir que ha subido la posición de la universidad española basándose sólo en los datos mejores del ranking de facultades es una falacia.

f) El ranking se hace merced a cuatro conceptos. El primero es el de reputación académica, se hace en base a la opinión de expertos a través de cuestionarios. Supone el 40% de la valoración. Los expertos son seleccionados por la organización con criterios no transparentes. El segundo es más objetivo ,  es sobre la reputación que tienen las universidades como empleadores, qué índice de alumnos se emplean y con qué calidad sobre el total de egresados. Se hace mediante encuestas a empleadores, tampoco el criterio es transparente. Supone el 10%

g) También está la proporción de alumnos por profesor. Implica el 20%. Pero lo realmente importante es la CITACIÓN. Supone el 20% de los puntos que obtiene facultades y universidades. Aquí entramos en el meollo de la cuestión. Las citaciones provienen exclusivamente de Scopus, la base de datos de Elsevier. Quienes no están ahí no existen. Las citas que se computan para hallar el índice de citación de un artículo son exclusivamente las que provienen de revistas indexada en Scopus. Pero fuera hay muchas, y con índices transparentes, como es el  caso del índice H y el H5 de las Google Scholar Metrics (GSM), o incluso las de la Web of Science (WoS), que sin ser tampoco transparentes no son tenidas en cuenta.

h) En el caso de España ese apartado de la metodología no es homogéneo con el de otros países, excepto en el caso de Ciencias de la Salud, como hemos puesto de relieve en otros sitios. Somos peormente considerados por culpa nuestra, bueno en realidad de los que tienen que tomar la decisión de que en Scielo-España solo se incluyan las revistas de Ciencias de la salud en su base de datos. Revistas que automáticamente serían indexadas en Scopus y sus citas se computarían en este ranking. Sin embargo en Latinoamérica es muy fácil para una revista de Ciencias Sociales entrar en Scopus a través de Scielo (las hay con mucho menos índice H que RED, por ejemplo, y con menos citación, que están en este repositorio) y como consecuencia ser incluida en Scopus. Eso se podría resolver simplemente haciendo que la agencia Scielo en España, que actualmente es el Instituto Carlos III, aceptase las revistas de FECYT, que han sido seleccionadas con unos criterios de edición científica mucho más rigurosos que los de Scielo. O bien aplique su procedimiento propio a otras revistas científicas y no solo a las de Ciencias de la salud.  Ignoramos porqué algo tan fácil, que sólo depende una decisión, que no cuesta dinero o cuesta muy poco en comparación con lo que se obtiene, no se hace. Esto supone despreciar hasta un 20% de la valoración de las universidades españolas que están en este ranking. Un auténtico despropósito.

i) De esta forma otros índices más rigurosos, que sí utilizan GSM para determinar el impacto y la posición de las universidades (métricas de citación en la web), como es el Ranking Web of Universities (RWU) del CSIC, dan por ejemplo a la Universida de Murcia la posición 508  en el ranking general  en contraste con la posición 801 que le da el QS. Evidentemente ambos rankings miden cosas diferentes, pero ambos son coincidentes en un tema de análisis y de valoración, que es la citación, y que pesa el 20% del QS.

j) Otro factor que debiera haber cambiado en la percepción de la edición científica por las universidades, como negocio por parte de las editoriales y en particular de Elsevier-Scopus es el Open Access, sobre todo en su impacto económico y en su relación con la asfixia que sufren las universidades , especialmente por parte de esta editorial. El Acceso Abierto, que por sí mismo era un fenómeno de progreso en la publicación científica, ha cambiado. Por sí mismo no garantiza nada.  También Elsevier hace negocio ahora con él. Mediante la  article processing charge (APC)

Teóricamente la APC compensa a las editoriales por la supuesta disminución de ingresos que supone el Open Access: no cobrar a los lectores. Sin embargo veamos que esto se ha convertido en otra forma de detraer fondos de la investigación a los investigadores y a las instituciones investigadoras, y a los fondos públicos:

La publicación de la Universidad de Cambridge Scholarly Communication (Comunicación Académica)  en un especial dedicado al aumento del APC que han establecido las editoriales atribuido a open acces da los siguientes datos:


Publishers' Open Access article processing charges


Publisher
APC from
APC to
Fully OA or Hybrid?
$5000*
$5000
Hybrid
$705
$2770
Open Access
$600
$2700
Hybrid
$100
$5000
Hybrid
$400
$2250
Open Access
CHF 150
CHF 1800
Open Access
£890
£3,150
Hybrid
$1495
$2900
Open Access
$750
$3000
Hybrid
$3000
$3000
Hybrid
$500
$2950
Open Access
$800
$5200
Hybrid

Todos suben, pero Elsevier pasa de $100 a $5000.

Para este fenómeno la UE, y algunos nos hacemos eco (no así el gobierno español ni las universidades), establece el estándar de colores para la edición científica basada en el autoarchivo, con la opción de colores de Sherpa-Remeo (Dulcinea en España). En particular PRECONIZAMOS LA OPCIÓN ORO Y LA VERDE: Que los autores e instituciones practiquen el autoarchivo antes y después de la publicación por editoriales.

k) En este contexto, la aparición de estos resultados, no todo es negativo. El ranking QS es consistente con otros en un fenómeno que venimos señalando en otros lugares: el ascenso imparable de las universidades de Extremo Oriente, en particular las dos Singapur, las dos, que aquí también escalan posiciones, como en el ranking de Shangai, en el del THE y en otros.
Singapur tiene sus dos universidades colocadas en  las posiciones 11 y 15 del ranking general de universidades de QS. Si buscamos en todas las especialidades de Ingeniería y tecnología, aparecen las dos en los puestos 5 y 7. En Ciencias Naturales y Matemáticas, en el 12 y 19. En Ciencias Sociales y Gestión (incluyendo Educación), entre las diez primeras sólo aparecen rompiendo el casi monopolio anglosajón, una de las dos universidades de Singapur, la otra aparece en el puesto 23, y la de Hong Kong, que también utiliza una variante docente parecida.

Esta consistencia de datos ratifica el fenómeno que ya hemos analizado puede deberse a resultados de las metodologías docentes utilizadas, como lo son variantes de formas de organizar la enseñanza y la evaluación teniendo como criterio el dominio del aprendizaje (Mastery learning). Esta práctica arranca además desde las primeras etapas educativas.

Referencias
Hamblin, C.L. (1970). Fallacies. Methuen.
Groarke, L. .(2013)  «Informal Logic». En Edward N. Zalta. Stanford Encyclopedia of Philosophy.

La viñeta está obtenida de Foto flickr compartida por Ape Lad bajo una licencia de Creative Commons (BY-NC-ND)


martes, 16 de enero de 2018

En Open Access, y en las elecciones a rector de la Universidad de Murcia, no es oro todo lo que reluce

Hace más de  diez años publicábamos esto sobre Acceso Abierto, y esto y esto también.  

Entonces la difusión de investigaciones en Open Access estaba muy bien, era una opción avanzada, una alternativa a la rígida edición científica de las editoriales tradicionales que monopolizaban académica y económicamente los canales de difusión de la ciencia, ahogando la producción y la economía de las universidades y de los centros de investigación. Era una disrupción y un desafío frente el monopolio de las élites conservadoras académicas, para las cuales lo principal era la forma, la liturgia, de la literatura científica. En aquella época, para presentarte a la acreditación estatal de España, como profesor universitario, hacía falta presentar en papel y en cerrado tus publicaciones. Te rechazaban los artículos en formato electrónico y en acceso abierto porque (sic) los consideraban "sinónimo de baja calidad". A quien suscribe le sucedió. O peor aún, consideraban en esa época que el Open Access era un movimiento friki radical.

En 2005 publica Frederick J. Friend en RED EL APOYO DE LAS AGENCIAS DE FINANCIACIÓN DE LA INVESTIGACIÓN AL ACCESOABIERTO  y  Reme Melero Acceso abierto a las publicaciones científicas:definición, recursos, copyright e impacto, en El profesional de la información. En estos trabajos se demuestra con rigor que eso no era así, que el Open Access era una realidad tozuda que se impondría de forma inminente por la fuerza de los hechos. Así sucedió.

Fue a continuación. El Open Access fue aceptado como opción preferente o única, primero en grandes universidades de excelencia ---Havard, en 2008, MIT, en 2009, …--- y luego fueron las administraciones y agencias nacionales universitarias ---en UK, 2014, Alemania, en 2017, Francia, en 2016…--- las que impusieron el Acceso Abierto como forma preferente cuando no exclusiva, de publicar, frente a las políticas abusivas e insostenibles de las grandes editoras científicas.

Lo peor es que actualmente, como veremos, ya no es el acceso abierto lo importante: Los editores monopolistas le han dado la vuelta al asunto con el  article processing charge (APC). Lo importante es que, por un lado, los máximos responsables de la ciencia en nuestro país no tienen ni idea de por dónde van los tiros ahora. Están desfasados, creen que lo importante es publicar en acceso abierto sin más, cueste lo que cueste. Y, por otro, que los candidatos a rectores, los que más deben velar por los intereses de la comunidad investigadora (no por el interés electoralista del terruño como ya dijimos en un anterior post) no se han enterado de la película, ni llevan camino de enterarse: No aparecen ni por equivocación, ni en sus proclamas ni en sus programas, ninguna referencia al apoyo de la difusión de la investigación, ni la repercusión en la carrera investigadora, ni la de sus unidades o proyectos. Si bien se llenan la boca con la palabra excelencia, quejándose de los bajos presupuestos de la investigación (no sabemos para qué los quieren aumentar si en paralelo no justifican ni detallan en qué lo van a invertir. ¿Para qué o para quién piden el dinero de la investigación?).

Y para muestra un botón:

Hace unos días se publicó el PLAN ESTATAL INVESTIGACIÓN CIENTÍFICA Y TÉCNICA Y DE INNOVACIÓN 2017-2020, (aquí está el PDF), aprobado en el último consejo de Gobierno del año , el 29 de diciembre, ver nota de prensa.

Con curiosidad, como no podía ser de otra forma, examiné con urgencia el documento, buscando todo lo que tuviera que ver con la difusión de la ciencia, las posibles políticas, caso de haberlas, cuál era su contenido y el apoyo, así como en su caso el tratamiento que pudiera darse por la máxima instancia, el Gobierno, a estos temas.

Hay tres conceptos claves que la UE puso demanifiesto con énfasis y que recogí en el post Citación, calidad e innovación en edición científica, y en mis intervenciones en MEDES 2017 y en Lisboa (9th World Conference on LearningTeaching and Educational Leadership): El autoarchivo, como garantía de que la edición en abierto respondía a la filosofía con la que se había creado y de la potencia de la investigación apoyada con los medios y entornos sociales y tecnológicos: Difundir la ciencia en el proceso de su investigación. Y sobre todo las prioridades de las opciones oro y verde de la difusión de la ciencia en abierto.

Pero volvamos al documento del Gobierno. En el gráfico 8. RETOS Y OPORTUNIDADES DEL PLAN ESTATAL DE INVESTIGACIÓN CIENTÍFICA Y TÉCNICA Y DE INNOVACIÓN 2017-2020 se hace referencia al acceso abierto como contribución a la difusión de la ciencia, en ningún caso como un elemento consustancial de la nueva metodología de la ciencia abierta.

En el apartado 5.2, pág 23, es donde más se acerca al concepto de autoarchivo, sin mencionar el concepto y sus características, su filosofía y por qué es así. Dice:

2. TRANSPARENCIA Y RENDICIÓN DE CUENTAS de las ayudas concedidas y del proceso de concesión de las mismas, incluyendo:
(…)
- ACCESO ABIERTO A RESULTADOS Y DATOS DE INVESTIGACIÓN de las actividades de investigación subvencionadas con recursos públicos. Los trabajos publicados en revistas científicas financiados a través del Plan Estatal se depositarán en repositorios [¿van a permitir eso Elsevier, Scopus, etc? ¿ qué medidas van a poner en marcha desde el gobierno?], institucionales y/o internacionales, en abierto teniendo en cuenta las características específicas de las distintas materias [no dice cómo ni qué modalidades van a utilizar, ni qué medidas se van a poner en marcha para contrarrestar los derechos y los embargos impuestos por las revistas] (…)

Por supuesto no habla de las revistas de asociaciones de profesores, de departamentos, de centros de investigación, de los preprints y otros recursos para gestionar el material gris, del autoarchivo de autores y de las revistas, es decir de las opciones oro, y sobre todo verde.

Sin embargo en este punto central del documento se reserva el derecho de pernada actual (para la explotación comercial de los resultados obtenidos) de las grandes editoriales:

No obstante, se respetarán todas las situaciones en las que los mismos han de protegerse por razones de confidencialidad, seguridad, protección, etc. o cuando los mismos sean necesarios para la explotación comercial de los resultados obtenidos.

En la página 32 vuelve a mencionar acceso abierto. Por supuesto sigue sin decirse nada  de autoarchivo ni de anular el efecto del article processing charge (APC), que empeora las cosas con relación a la situación anterior.

Simplemente se hace una declaración hueca y voluntarista, sin contenido:

El Plan Estatal a través de las actuaciones que financia tiene como objetivo promover el acceso abierto a resultados y datos de la investigación así como impulsar un modelo de investigación responsable y abierta a la sociedad
(…)
El impulso a la adopción de los principios de acceso abierto a los datos de investigación (FAIR27) por parte de las comunidades científicas e instituciones de investigación, y el reconocimiento de los trabajos publicados en acceso abierto en repositorios institucionales y temáticos como parte de la actividad investigadora y de los resultados de la investigación financiada a través del Plan Estatal.

Palabrería hueca nada más. Que dicho así lo único que hará será compensar mediante un crecimiento astronómico del article processing charge (APC) a las editoriales por la supuesta disminución de ingresos que suponen estos conceptos. A esto es lo que dedicarán las inversiones y los fondos públicos. 

Por tanto, cuando, desde esta instancia u otras, se pide que se aumenten los fondos dedicados a la investigación ¿realmente se está diciendo que se entregue dinero a espuertas en concepto de APC a las grandes editoriales? 

Es esto lo que se deduce de la disposición oficial si no se dice nada más.

Y si no fíjense lo que ha sucedido ya y lo que viene. La publicación de la Universidad de Cambridge Scholarly Communication (Comunicación Académica)  en un especial dedicado al aumento del APC que han establecido las editoriales atribuido a open acces da los siguientes datos:


Publishers' Open Access article processing charges

Publisher
APC from
APC to
Fully OA or Hybrid?
$5000*
$5000
Hybrid
$705
$2770
Open Access
$600
$2700
Hybrid
$100
$5000
Hybrid
$400
$2250
Open Access
CHF 150
CHF 1800
Open Access
£890
£3,150
Hybrid
$1495
$2900
Open Access
$750
$3000
Hybrid
$3000
$3000
Hybrid
$500
$2950
Open Access
$800
$5200
Hybrid

Sólo como ejemplo:

Elsevier pasa de $100 a $5000.

SAGE de $750  a $3000

Taylor and Francis de $500 a $2950.

Wiley de $800 a $5200

Etc etc etc

No es ninguna broma

Volviendo al documento del Gobierno Español, esto es sólo lo que se dice al respecto del tema. Nada en las páginas en las que formalmente se dedica a hablar del Open Access y de los compromisos que conlleva.

Por supuesto en el apartado «HORIZONTE 2020» Y EL ESPACIO EUROPEO DE INVESTIGACIÓN (Pág. 10 y siguientes), tema mollar en Europa, tampoco se dice nada sobre el tema.

Contrasta este tratamiento con el que le da la Unión Europea y el propio comisario Moedas, tal como lo reseñé en el post “Citación, calidad e innovación en edición científica”  sobre la política 2020 europea proclamada por el propiocomisario del ramo, de la que se hace eco la revista Nature en un artículo titulado In dramatic statement, European leaders call for ‘immediate’ open access to all scientific papers by 2020.



En él se dice

What the European Union needs to do is require that its scientific output is deposited in institutional repositories, an option called Green OA. The Dutch government favors Gold OA, in which authors publish in an OA journal; the council does not express a preference for either route.
Lo que la Unión Europea necesita hacer es exigir que su producción científica se deposite en repositorios institucionales en una opción llamada Green OA (Opción verde: Autoarchivo antes y después de la publicación por los autores o por las repositorios). El gobierno holandés favorece Gold OA (Opción oro o amarilla: Autoarchivo  después de la publicación por los autores o por las repositorios), en el que los autores publican en un diario de OA; el consejo no expresa una preferencia por ninguna de las rutas.
Pero señala la necesidad del autoarchivo en todo caso.

Para los legos éstas son las opciones de calidad en la edición científica del Open Access conocidas como los estándares Sherpa Romeo, en España Proyecto Dulcinea. Las explicamos igualmente en el post Citación, calidad e innovación en edición científica

En estas estábamos cuando el pasado día 5 de enero, víspera de Reyes Juan María Vázquez anunció en su Twitter la publicación del Plan Estatal de Investigación Científica.

No puede resistir la tentación, y conociendo todo lo anterior, intervine. Así pues, con ese motivo tuve el intercambio de Twitts, que a continuación relato, con el profesor Vázquez, a la sazón Secretario General de Ciencia e Innovación en el Ministerio de Economía, Industria y Competitividad. Intercambio  al que después se unión para apoyarle o ratificarle, no si entendiendo claramente de qué iba el asunto, el comisario europeo de Investigación, Ciencia e Innovación.de la Unión Europea Carlos Moedas.

Éste fue el pequeño diálogo










Después el twit de Moedas no he podido encontrarlo.

Hasta aquí el tema y el pequeño rifirrafe en Twitter, que pone de manifiesto la ausencia de referencias, y posiblemente de conocimiento, sobre lo que debería ser un punto clave en la difusión de la ciencia, y por tanto en su producción y en su financiación, en el Plan Oficial español, y en el conocimiento de sus adalides, en particular de uno de sus máximos responsables el Secretario General de la Ciencia y de la Innovación.

Pero ahora estamos en elecciones de rector. En la Universidad de Murcia se presentan cinco candidatos. Hasta donde sé en ninguno de los planes y programas figura el de la difusión de la ciencia, y su repercusión en temas como la carrera investigadora, el coste que supone y los recursos humanos y materiales que detrae y a cambio de qué. Teniendo en cuenta que una de las dos misiones claves de la universidad es la investigación, la otra es la docencia, y que todo lo demás debería girar en torno a esos dos ejes, cabría pedir que se hablase un poco más de esto y con un poco más de conocimiento, cuando no de detalle.

Pero no importa , el Profesor Vázquez  también fue candidato a rector en las pasadas elecciones. No habló de este tema. Las perdió, sin que tenga nada que ver con ese hecho, pero ahora es Secretario general de Ciencia. 

Que los candidatos actuales no pierdan la esperanza.