Logo de la UNED

Madrid, 10 de diciembre de 2015




Los rankings universitarios: “no existe lo que no se ve”

“Ten en cuenta los rankings, nos están diciendo algo” es el título del seminario organizado por la CRUE hace pocos días en el Centro Asociado de Madrid-Escuelas Pías de la UNED. Durante este encuentro se debatió y analizó los diferentes rankings universitarios tanto a nivel internacional como los nacionales. Sobre la mesa, la importancia de saber lo que se dice de cada universidad porque es relevante el impacto que se tiene en una sociedad cada vez más global. Todos los ponentes coincidieron en señalar que los rankings no son perfectos ya que no desagregan magnitud, ni financiación, ni áreas del conocimiento, pero que son la única herramienta para dar visibilidad a una universidad en un mundo donde “no existe lo que no se ve”. En esta misma línea el vicerrector de Investigación y Transferencia de la UNED, Ricardo Mairal considera que son necesarios rankings elaborados con metodologías rigurosas y transparentes que incluyan elementos correctores para evitar distorsiones como la conocida como paradoja Simpson. En su opinión la UNED tiene una situación por encima de la media, sin embargo no aparece así en algunos rankings ya que muchos de ellos no reflejan su realidad que hay que seguir mejorando. De la importancia de los rankings, de la posición de la UNED en ellos y de su futuro hablamos con el vicerrector de Investigación y Transferencia de la UNED, Ricardo Mairal.




¿Por qué tienen tanto impacto mediático los rankings de universidades?


Es cierto que los rankings universitarios tienen un enorme impacto en la sociedad. Hay que tener presente que son herramientas de interpretación sencilla y que son accesibles al gran público, por lo que influyen en la percepción social del sistema universitario. Los rankings se utilizan para comparar el prestigio de las universidades a nivel nacional e internacional, y pueden condicionar decisiones trascendentales como la elección de la universidad en la que se desea cursar los estudios. Ahora bien, quiero mencionar que hay que interpretar los resultados de los rankings con suma cautela para no hacer representaciones erróneas de la realidad.


¿Cómo hay que interpretar los rankings?


A la hora de interpretar los rankings debemos conocer con exactitud qué miden y cómo se realizan, es decir, qué indicadores se toman en consideración para su construcción, el peso asignado a cada indicador, si las características de las instituciones las hacen comparables, y un largo etcétera de variables. Creo que es muy arriesgado reducir la actividad de una universidad a una mera posición en una tabla, e interpretar el resultado sin conocer en profundidad qué es lo que se está midiendo. Por ejemplo, en el Ranking de Shanghai, que valora fundamentalmente la investigación, se tienen en cuenta los alumnos y profesores que han recibido premios Nobel o medallas Fields, o los artículos indexados en el Science Citation Index - Expanded y en el Social Science Citation Index. Pero hay muchas incógnitas que no se aclaran en la metodología de este ranking, tales como ¿cuánto valor se otorga a un premio Nobel único o compartido? o ¿qué entienden por profesor a tiempo completo? Por suerte, Domingo Docampo ha realizado un excelente trabajo de investigación para desentrañar los misterios metodológicos del Ranking de Shanghai.

Ricardo Mairal

¿Puede influir el tamaño de una universidad en la posición que ocupa en los rankings?


Los rankings comparan instituciones muy diferentes tanto en lo que respecta a recursos humanos como a financiación. En cuanto a los recursos humanos influye tanto la cantidad de profesores como la especialidad; es decir, no se valora igual la producción de un profesor de medicina que la de su homólogo de derecho, por la sencilla razón de que es más probable que la producción del primero aparezca categorizada en el Science Citation Index – Expanded, que el que la del segundo aparezca en el Social Science Citation Index, debido a que se trata de ramas del saber con sistemas de difusión poco equiparables. Nos hallamos, así pues, en una situación en la que las universidades con un peso importante de titulaciones de Ciencias Sociales, Ciencias Jurídicas y Humanidades se sitúan, ya de partida, en una posición de desventaja respecto a las que cuentan con mayor número de titulaciones de Ciencias Experimentales y de Ciencias de la Salud. Además, en estas áreas el ritmo de publicación es más elevado debido, entre otras razones, a que es en ellas donde el conocimiento científico avanza con mayor celeridad.


En este punto, quiero recordar que aproximadamente el 73% del profesorado de la UNED está adscrito a titulaciones de Ciencias Sociales, Ciencias Jurídicas y Humanidades. Este porcentaje es altísimo en comparación con la media del sistema universitario español, y, por consiguiente, es un factor condicionante de la posición que ocupa la UNED en los rankings. En lo relativo a la financiación, cuando leo en la prensa que ninguna universidad española está entre las 150 primeras del mundo, me sorprende que este hecho no se relacione con las diferencias presupuestarias existentes no solo a nivel europeo, sino a nivel mundial.


¿Hacen falta más rankings o basta con los existentes en la actualidad?


Considero que son necesarios rankings elaborados con metodologías rigurosas y transparentes, que permitan establecer comparaciones de universidades por campos científicos, y que incluyan elementos correctores eficaces relativos al tamaño de las instituciones. Por ejemplo, una forma razonable de medir la producción científica de una universidad sería normalizar el valor de las publicaciones por profesor en las diferentes áreas, multiplicar ese valor normalizado de producción por el número de profesores en cada rama del conocimiento y finalmente dividir por el número total de profesores de cada universidad. Así se obtendría un índice de producción investigadora que tendría en cuenta las peculiaridades de cada rama y la distribución del profesorado entre las distintas ramas en la universidad. En este sentido, conviene recordar que el índice de Shangai reconoce que hay instituciones a las que, por su especialización, o por la composición interna de su profesorado, no se les puede aplicar indicadores que sí son válidos para otras instituciones, como es el caso del índice N & S, que recoge las publicaciones en las revistas Science y Nature. En concreto, en el índice de Shangai se señala lo siguiente:


For institutions specialized in humanities and social sciences such as London School of Economics, N&S is not considered,and the weight of N&S is relocated to other indicators.


En esencia, la misma reflexión se hace extensiva a otros indicadores como el PUB:


Total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2013. Only publications of 'Article' type is considered. When calculating the total number of papers of an institution, a special weight of two was introduced for papers indexed in Social Science Citation Index.


Por consiguiente, parece necesario aplicar un factor de corrección entre ramas de conocimiento para que el ranking proporcione una visión exacta. De hecho, como señalaba anteriormente, un 73% del profesorado de la UNED pertenece al campo de las Humidades y Ciencias Sociales, lo que explica que la UNED ocupe una posición destacada en producción y descienda en productividad, ya que muchos de los índices que se utilizan para medir este segundo factor no son relevantes en los campos antes mencionados. Se puede producir, por tanto, un efecto paradójico si únicamente se procede a la mera agregación de datos.


Finalmente, también sería interesante disponer de rankings que midan la eficiencia, es decir, la relación entre los recursos disponibles y los resultados que se obtienen.


¿Cuál es la posición de la Universidad Nacional de Educación a Distancia en los rankings universitarios?


La proyección para universidades españolas según el Ranking de Shanghai establece que la UNED, en el año 2015, ocupa la posición 39 de un total de 74 universidades españolas, situándose además entre las 1001-1250 universidades a nivel mundial. Esto supone una posición bastante por encima de la media, si tenemos en cuenta que en el mundo existen actualmente más de 10.000 universidades. Sin embargo, en algunos rankings nacionales la UNED ocupa una posición por debajo de la media en productividad cuando en realidad le correspondería estar en la media o por encima. Esta disparidad, como he señalado anteriormente, se produce porque la agregación de los resultados de ramas muy diferentes genera una distorsión de la tendencia estadística conocida como paradoja de Simpson: una universidad puede tener mayor productividad que otra en todas y cada una de las ramas del conocimiento y, sin embargo, tener una productividad global inferior, al agregar datos heterogéneos. Esta paradoja fue descubierta en 1899 y ha sido aplicada por José Luis Gaviria en el ámbito de la evaluación del rendimiento académico del sistema educativo español.


La agregación de los resultados procedentes de ramas muy diferentes produce una distorsión de la tendencia estadística y con ello el efecto paradójico de que la UNED parezca estar en las últimas posiciones, cuando los datos desagregados indican una posición intermedia. Por este motivo, insisto en que son imprescindibles nuevos rankings que permitan comparar universidades por áreas de conocimiento; es decir, a los profesores de historia se les debe comparar con otros profesores de historia, y así sucesivamente, evitando agregarlos en tablas comparativas con docentes de otras ramas, pues esto puede dar lugar a interpretaciones sesgadas de la actividad de una universidad.


¿Qué medidas ha llevado a cabo el Vicerrectorado de Investigación para mejorar la posición de la universidad en los rankings?


Desde que tomé posesión como vicerrector de Investigación, uno de los temas que más me ha preocupado ha sido el de tener un diagnóstico exacto de las fortalezas y las debilidades de la UNED en este ámbito y saber el porqué de nuestra posición en los rankings. Así, formamos un grupo de trabajo, compuesto por varios profesores (de la Escuela Técnica Superior de Ingenieros Industriales, de la Escuela Técnica Superior de Ingeniería Informática y de la Facultad de Psicología), el director de la OTRI y personal de Gerencia y Biblioteca, y elaboramos varios informes que presentamos en la Comisión de Investigación y Doctorado y en el Consejo de Gobierno. Estos informes nos proporcionan un diagnóstico detallado de las causas que explican la posición de nuestra institución en los rankings. De hecho, a la luz de estas conclusiones hemos comenzado a trabajar para mejorar aquellos indicadores en los que somos claramente vulnerables y seguir potenciando aquellos en los que somos competitivos. Igualmente, queremos explorar la relación entre los recursos y la productividad. Sin duda, en este punto la UNED es una universidad muy eficiente. También, es interesante señalar la importancia que tiene la investigación y su relación con la docencia, como señala un estudio publicado en Applied Economics, en el que demuestran que los docentes que cuentan con más resultados de investigación enseñan mejor que otros profesores con menos investigación.


Además, y en un plano más institucional, queremos insistir en recordar a los encargados de confeccionar rankings que deben ser conscientes que sus algoritmos pueden provocar el “efecto Simpson” y que es necesario acometer esta tarea por áreas de conocimiento, como he señalado anteriormente.


Finalmente, es importante subrayar que la imagen distorsionada que proporcionan algunos rankings sobre nuestra actividad investigadora no refleja la realidad de nuestra institución que ocupa una digna posición intermedia. Por supuesto, somos más ambiciosos y queremos seguir mejorando.


COMUNICACIÓN UNED: Plan de investigación y Transferencia de la UNED


Sonia Cubillo

Fotografías: José Rodríguez

Edición web: Elena Lobato

Comunicación UNED