ABC, en las entrañas de PISA: lo que nunca te contaron del informe educativo más famoso del mundo

Los alumnos españoles (35.943) que se examinaron entre mayo y abril de 2018 obtuvieron en Ciencias la nota más baja desde que hay registro de esta materia , mientras que en Matemáticas, nos estancamos: caímos cinco puntos respecto a 2015. Críticas, autocríticas, leyes «populares» supuestamente responsables y dedos acusadores aparte, de lo que nadie habla es de cómo se llega a esos resultados. Es decir, cuál es el largo, meticuloso y confidencial proceso que lleva los exámenes de la OCDE (Organización para la Cooperación y el Desarrollo Económicos), encargada de la prueba, a los pupitres.

Las pruebas están cargadas en ordenadores portátiles que facilita la OCDE. «Si se hacen en los equipos de los colegios se corre el riesgo de que se pierda uniformidad ya que cada centro tiene un tipo de ordenador determinado y, además, así se garantiza que no quede ningún rastro de la prueba en ningún colegio », explican fuentes conocedoras de la logística de PISA. Los portátiles llegan a los centros en furgonetas de TYPSA Estadística y Servicios, que es la empresa que, en España, se encarga de aplicar la prueba, es decir, ponerla en marcha. « Se licitó por concurso público el contrato del servicio de recogida de datos de PISA 2018 . Para la selección de la empresa se tienen en cuenta la calidad técnica y la idoneidad económica», explican técnicos del Ministerio de Educación. Una vez terminada la prueba, que suele durar dos horas, la información se transmite inmediatamente a un servidor central del Instituto Nacional de Evaluación Educativa (INEE), dependiente de Educación.

TYPSA contrata personal que divide en 70 equipos que se encargan de hacer una prueba por día y colegio (en total, participaron 1.089 centros y a cada centro acuden dos aplicadores). El proceso se realiza a lo largo de un mes. «Se hace de forma concentrada, para que las pruebas sean simultáneas y no se difunda la información », explican fuentes cercanas a la empresa. De hecho, se pretende que la realización de los exámenes coincida en todos los países europeos y se haga a finales de curso.

El personal de TYPSA está formados por 45 auxiliares (encargados, por ejemplo, del montaje de los ordenadores) y 140 aplicadores . Estos últimos no son examinadores, sino que se limitan a explicarle a los alumnos «el contenido de la prueba siguiendo las directrices de la OCDE, además de controlar los tiempos. Es decir, no intervienen en la prueba, no dan indicaciones, ni tampoco corrigen », señalan las mismas fuentes. Los aplicadores, aclara Educación, reciben sesiones formativas en todo el territorio nacional por parte del mismo equipo siguiendo los estándares marcados por la OCDE en los correspondientes manuales con la supervisión del ministerio.

La figura del aplicador hubiera pasado desapercibida si no fuera por la polémica generada en la última edición de PISA con las pruebas de Lectura. La OCDE decidió retirar los resultados de España de esta materia por un « comportamiento de respuesta inverosímil » de los alumnos, dijo el organismo en un comunicado. Por ejemplo, tardaron menos de 25 segundos en responder más de 20 preguntas, cuando los que dedicaron un esfuerzo adecuado emplearon entre 50 segundos y más de dos minutos. Además, afirmaron que frases como « Los aviones están hechos de perros » tenían sentido. Una de las comunidades afectadas, Madrid, aseguró que los resultados de Ciencias y Matemáticas estaban «contaminados» por los de Lectura y pidió la retirada del informe en su totalidad.

Madrid atribuyó los resultados anómalos, entre otros motivos, a la labor de algunos grupos de aplicadores argumentando que podrían haber cometido errores en las instrucciones dadas. «En los centros donde la prueba fue realizada por tres grupos de aplicadores (2, 3 y 6) el porcentaje de error fue superior al 25%. De hecho, el porcentaje de errores donde la prueba fue realizada por estos aplicadores, se triplica con respecto al resto de grupos», explicó la consejería en una rueda de prensa el pasado viernes 29. Sin embargo, según ha podido saber ABC, esos grupos de aplicadores hicieron las pruebas en otras comunidades donde « no hubo mayor problema ». Además, Madrid, «como todas las comunidades, firmó un certificado de correcta ejecución de los trabajos , aparte de que envió inspectores, tal como lo hace la empresa, la propia OCDE y el INEE», señalaron fuentes cercanas a TYPSA. Mercedes Marín, directora general de Bilingüismo y Calidad de la enseñanza de la Comunidad de Madrid ha dicho que «hay que firmar un certificado de conformidad para que las empresas puedan cobrar. En cualquier caso, la supervisión le corresponde al Ministerio de Educación y, por su parte, no ha habido comunicación de incidencias».

Este domingo, la presidenta de la Comunidad de Madrid, Isabel Díaz Ayuso , ha puesto en duda la participación de la región en próximas ediciones de PISA de no resolverse la situación actual. «Habrá que pensar también en otros informes o en otro tipo de baremos para que se pueda analizar la situación de la calidad de la Educación en Madrid y no estar presos de unas prueb as», dijo en una entrevista a Ep.

Todo lo que no es logística corre a cargo de la OCDE, es decir, el diseño de la prueba, de los contenidos, de las preguntas, de las materias a evaluar, de los responsables de corregirlas, etc. Las preguntas, que son exactamente las mismas para todos los países (y, por extesnión en España, para todas las comunidades) son elaboradas por un grupo de expertos seleccionados por el consorcio de PISA (formado por la OCDE, los países participantes y algunas instituciones).

Los cuestionarios los confeccionan, generalmente, «profesores de universidades y no de colegios, puesto que se les exige un conocimiento global», explica Alfonso Echazarra , analista y elaborador de algunos informes PISA. Además, «las preguntas tienen que tener un alto poder discriminatorio , es decir, ser capaces de distinguir a unos alumnos de otros. Al final, los alumnos tienen dos horas y si haces una pregunta muy difícil y solo la resuelve un 0,1 por ciento, son o dos o tres minutos que pierdes de la prueba y que solo te sirve para distinguir un porcentaje mínimo», explica Echazarra. También hay un grupo de expertos designados para elaborar las preguntas de la materia que se renueva (en cada edición de PISA destaca una materia o se crea una nueva, como será Creatividad para 2021, de quien estará a cargo la Universidad de Oxford). Cada 9 años, además, se renueve el marco teórico de las asignaturas base : Matemáticas, Lenguas y Ciencias.

Aparte de la prueba que todos conocen y que dura dos horas, hay otro cuestionario (que sí puede variar por país), que dura unos 35 minutos y en el que se les pregunta a los alumnos por su motivación, estrategias de aprendizaje, relación con sus padres, materias favoritas, etc . También hay un cuestionario al director del colegio (obligatorio), a padres, profesores y otro para alumnos (optativos) en el que se les pregunta a los estudiantes, por ejemplo, por temas de salud como su índice de masa corporal . «España ha participado mucho esta edición pero los escandinavos, por ejemplo, no quieren responder a temas de salud, creen que es confidencial. Noruega, por su parte, sostiene que esta no forma parte del rendimiento educativo».

¿Y sobre quién recae la enorme responsabilidad de poner las notas?. Otra vez, sobre profesores, aunque en este caso sí suele haber alguno de instituto. «Las preguntas cerradas (unos dos tercios) las evalúa un ordenador; las abiertas, por ejemplo, en las que se pide que el alumno razone, las corrigen evaluadores nacionales que han seguido un proceso de formación internacional. Aunque en Bielorrusia, por ejemplo, corrigieron profesores de instituto», cuenta Echazarra. Hay otro número de personas que corrigen desde fuera de las fronteras para garantizar que los examinadores del país de origen no pequen de «benevolencia» . «En 2015, por ejemplo, se comprobó en Kazajastán que los profesores habían sido demasiado generosos y por eso este país no aparece en la edición anterior de PISA», concluye el analista del informe educativo.