Aprovechando PIRLS y PISA

Aprovechando que me he leído los textos y he buceado en los informes de PISA y PIRLS que me han solicitado realizo esta entrada pues ya que he recabado información la introduzco en el blog para que deje reflejo de mi trabajo, para el presente y para el futuro.  Indicar igualmente que hay mucho de corta  pega sacado de los informes, pero que - creo- pueden ser útiles a alguien. 

Una vez leídos los dos textos y los dos marcos teóricos que justifican las pruebas PIRLS y la PISA se puede llegar a la conclusión que el interés es común : la evaluación de la competencia lectora. Pero las diferencias entre unas y otras visibles no sólo en los textos- como he leído en el debate, ratones versus juez- , sino también en aspectos tales como la naturaleza de la narración ( siendo en ambas magníficas y , en la primera historia, la de los ratones, con la autoría definida – especialmente visible en el caso de la prueba PIRLS, en este caso perteneciente a un autor consagrado como es el caso de Roald Dahl y con el acompañamiento de la ilustración , algo esencial en el perfil de edad del alumnado evaluado- , y evidentemente la edad a la que va dirigido el texto, así como las preguntas y su carácter más o menos abierto o cerrado, bastante más abierto en el caso de la Lectura del juez justo destinado a los chicos y chicas de 15 años. 

Ya vemos que a partir, difieren no sólo los organismos que la coordinan OCDE y la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA), en contenidos – evidentemente- , los objetivos a alcanzar (desarrollar sus conocimientos y posibilidades y participar en la sociedad en el caso PISA y construir significados a partir de una variedad de la lectura, leer para aprender y para ser lectores del ámbito escolar y de la vida cotidiana, y leer para disfrute personal en la PIRLS), espacios para la prueba (y naturaleza de sus respuestas con más opciones múltiples en la de los ratones y respuestas más abiertas y más reflexivas en la del segunda – la del juez- ), calendario (cada tres año en la PISA- la próxima en 2015-, mientras que la PIRLS, lo hace cada cinco años, ¿2016?), la longitud de la prueba ( adecuada a la edad y con un contenido más acorde con la misma; más larga, en la de PISA y más ajustada en la PIRLS), y evidentemente en otros aspectos como la aplicación, metodología , etc… Comprobamos, por otro lado, que en el caso del PISA y sus unidades liberadas (es decir, que ya no se usarán en futuras ediciones del estudio), procedentes tanto de la prueba piloto como de la prueba principal de PISA 2000, 2003, 2006 , en papel, - aunque son también muy interesantes igualmente las liberadas realizadas por ordenador del año 2012, como en la PIRLS, correspondiente a las pruebas de 2001 y 2006. 

En el caso de PISA se afirma lo siguiente sobre la misma: “La competencia lectora es la capacidad de comprender, utilizar y analizar textos escritos para alcanzar los objetivos del lector, desarrollar sus conocimientos y posibilidades y participar en la sociedad”. Frente a esta definición tenemos lo que entiende como competencia lectora PIRLS que la concibe como: “La habilidad para comprender y utilizar las formas lingüísticas requeridas por la sociedad y/o valoradas por el individuo, en este caso, lectores de corta edad son capaces de construir significado a partir de una variedad de textos. Leen para aprender, para participar en las comunidades de lectores del ámbito escolar y de la vida cotidiana, y para disfrute personal”. 

La PIRLS valora la competencia lectora como un proceso constructivo e interactivo y distingue tres grandes aspectos a la hora de evaluar esta competencia: los Procesos cognitivos o de comprensión que intervienen en la lectura; los Propósitos de la lectura (experiencia literaria y obtención de información) y los hábitos y actitudes ante la lectura. Los dos primeros aspectos, procesos y propósitos, se evalúan en PIRLS a través de la prueba propiamente dicha, mientras que las actitudes y hábitos del alumnado ante la lectura se evalúan a través de cuestionarios (para alumnos, colegios y familias) en los que se pregunta por los hábitos lectores, el contexto personal y familiar, la enseñanza de la lectura, etc. 

La evaluación PISA mide los siguientes cinco procesos que deben realizarse para comprender plenamente un texto, ya sea continuo o discontinuo. Los estudiantes deben demostrar su dominio en cada uno de los cinco procesos: obtención de la información, comprensión general, la elaboración de una interpretación, la reflexión y valoración del contenido de un texto, y reflexión y valoración de la forma de un texto. Para PISA la comprensión plena de un texto requiere poner en juego todos esos procesos. En ambos casos se trata de textos que PISA lo cataloga o lo incluye en la categoría de formato textual y en concreto lo que se consideran textos continuos por sus características narrativas (responden al «¿cuándo?» o «¿en qué orden?»), expositivas(responden al «¿cómo?»), descriptivos (responden al «¿qué?» , los argumentativos (responden a ¿por qué?) y textos discontinuos. 

La PIRLS valora la competencia lectora como un proceso constructivo e interactivo. Se considera que los lectores generan significados de manera activa, conocen estrategias de lectura eficaces y son capaces de reflexionar sobre lo que han leído. Mantienen actitudes positivas hacia la lectura y leen para disfrute personal. Los lectores han de enfrentarse a multitud de textos existentes en la sociedad actual. Éstas incluyen tanto las formas escritas tradicionales (libros, revistas, documentos y periódicos) como las presentaciones electrónicas (Internet, el correo electrónico y los mensajes de texto) así como los textos incluidos en cine, vídeo o televisión (anuncios publicitarios y subtítulos). El significado se genera a través de la interacción entre lector y texto en el contexto de una experiencia lectora concreta. El lector aporta un repertorio de destrezas, estrategias cognitivas y metacognitivas, y de conocimientos previos. El texto contiene ciertos elementos lingüísticos y estructurales y se centra en un tema específico. El contexto en el que se desarrolla la lectura fomenta los vínculos con ésta y la motivación para leer. 

PIRLS distingue tres grandes aspectos a la hora de evaluar esta competencia: los Procesos cognitivos o de comprensión que intervienen en la lectura; los Propósitos de la lectura (experiencia literaria y obtención de información) y los hábitos y actitudes ante la lectura. Los dos primeros aspectos, procesos y propósitos, se evalúan en PIRLS a través de la prueba propiamente dicha, mientras que las actitudes y hábitos del alumnado ante la lectura se evalúan a través de cuestionarios (para alumnos, colegios y familias) en los que se pregunta por los hábitos lectores, el contexto personal y familiar, la enseñanza de la lectura, etc. 

La competencia lectora está directamente relacionada con las razones por las que las personas leen. En el caso de los lectores de corta edad, estas razones pueden agruparse en dos: la lectura para uso y disfrute personal y la lectura para el aprendizaje. 

Ambos propósitos están también presentes en la mayoría de lecturas que el alumnado de estas edades realiza, tanto dentro como fuera del ámbito escolar, Hay dos ámbitos de lectura. La primera es la lectura como experiencia literaria. El lector se vale del texto para implicarse en acontecimientos, entornos, acciones, consecuencias, personajes, ambientes, ideas y sentimientos ficticios, y para disfrutar del lenguaje en sí. Esta lectura generalmente se realiza para disfrute personal. 

El segundo es la lectura para la adquisición y uso de información. El lector no se ve inmerso en mundos de fantasía, sino en aspectos del universo real. A través de textos informativos, es posible entender cómo es el mundo y cómo ha sido, y por qué las cosas funcionan de la manera que lo hacen. Los lectores pueden ir más allá de la adquisición de información y utilizarla para practicar el razonamiento y la acción. Este tipo de lectura suele realizar como instrumento de aprendizaje.

Los textos que los alumnos suelen leer dentro y fuera del centro escolar generalmente han sido escritos por autores de éxito que entienden lo que supone escribir para un público infantil. Por otro lado, es más probable que conecten con los intereses de los alumnos, y que den lugar a preguntas que ofrezcan una variedad de respuestas similares a las generadas en experiencias lectoras auténticas. En el marco de un estudio internacional, el hecho de conseguir autenticidad en la experiencia lectora de la prueba puede estar de alguna manera constreñido por la necesidad de traducir los textos a numerosos idiomas. Por ello, se ha esmerado el cuidado a la hora de elegir textos que puedan ser traducidos sin pérdida de significado o de interés potencial para el alumno. Más aún, con objeto de presentar al menos algunos textos de una manera más realista y natural, dos de los bloques de la prueba (uno literario y otro informativo) se presentan separados, en color y con un formato real. 

Las preguntas que siguen a los textos de cada bloque tratan de evaluar los procesos de comprensión que el alumno es capaz de alcanzar a partir de su lectura. Las preguntas se distribuyen a partes iguales entre los propósitos de lectura literario e informativo y, de manera proporcional, entre los distintos procesos de comprensión. De esta manera, los resultados obtenidos permitirán ofrecer resultados de los rendimientos del alumnado en función de los propósitos de lectura y de los procesos de comprensión 

Las preguntas utilizadas son de dos tipos: de elección múltiple y de respuesta construida o abierta. Las preguntas de respuesta múltiple ofrecen cuatro opciones de respuesta, de las cuales sólo una es correcta. Estas preguntas se pueden usar para evaluar cualquiera de los procesos de comprensión. Sin embargo, como no permiten explicaciones o enunciados de justificación por parte de los alumnos, estas preguntas quizás sean menos apropiadas para evaluar su capacidad a la hora de hacer interpretaciones o valoraciones más complejas. 

Al evaluar a los alumnos de cuarto curso de educación primaria, es importante que las características lingüísticas de las preguntas sean adecuadas al desarrollo de los niños. Por lo tanto, las preguntas están redactadas de manera clara y concisa. Las opciones de respuesta también están redactadas de manera sucinta con el f in de minimizar la carga lectora de la pregunta. Las opciones incorrectas están redactadas de manera que resulten verosímiles, y no engañosas. Para los alumnos que no estén familiarizados con este formato de preguntas, las instrucciones que aparecen al inicio de la prueba incluyen una muestra de ítems de elección múltiple que ilustran cómo seleccionar y marcar una respuesta. 

Las preguntas de respuesta construida o abierta ofrecen más autonomía de respuesta al alumno. La mayoría de ellas le piden escribir la respuesta con sus propias palabras, en un espacio por lo general de dos o tres línea s en blanco. En algunas ocasiones, la respuesta presenta un listado de frases o datos y al alumno se le pide que ordene la secuencia en que han de ir, asignando a cada uno el número que le corresponde. La decisión de utilizar un formato u otro depende del proceso de comprensión que se vaya a evaluar y del formato que mejor permita alumnado  demostrar su comprensión lectora . 

La importancia dada a las preguntas de respuesta construida en el estudio PIRLS es coherente con la definición de competencia lectora que subyace en los marcos teóricos. Refleja la visión interactiva y constructiva de la lectura, según la cual el significado se construye a través de la interacción entre el lector, el texto y el contexto de la tarea lectora. Estas preguntas se utilizan para la evaluación de cualquiera d e los cuatro procesos de comprensión; sin embargo, resultan particularmente apropiadas para evaluar aspectos de dicha comprensión que requieran aportar una justificación por parte de l alumno o que tengan como resulta do interpretaciones sobre la base de su experiencia y conocimiento previos. En cuanto a la PISA Esa definición supera la idea tradicional de competencia lectora como proceso de descodificación y comprensión literal. En lugar de ello, parte de la base de que la competencia lectora comporta comprender informaciones escritas, utilizarlas y reflexionar sobre ellas para cumplir una gran variedad de fines. La definición tiene, pues, en cuenta el papel activo e interactivo del lector que adquiere información a partir de textos escritos. 

La definición también está abierta a la enorme variedad de situaciones en las que la competencia lectora puede desempeñar un papel para los adultos jóvenes, situaciones que van desde lo público a lo privado, desde el entorno escolar al laboral, desde el ejercicio activo de la ciudadanía hasta el aprendizaje continuo. Asimismo, hace explícita la idea de que la capacidad de lectura permite al individuo dar satisfacción a una serie de aspiraciones personales, que abarcan desde la consecución de metas específicas, como la cualificación educativa o el éxito profesional, hasta objetivos menos inmediatos destinados a enriquecer y mejorar la vida personal. 

La competencia lectora también proporciona a las personas unos instrumentos lingüísticos que resultan cada vez más necesarios para poder hacer frente a las exigencias de las sociedades modernas, con su extenso aparato burocrático, sus instituciones formales y sus complejos sistemas legales. 

Con objeto de utilizar los formatos textuales, las características de los ejercicios y las situaciones, tanto en el proceso de elaboración de las pruebas de evaluación como en la posterior interpretación de los resultados, fue preciso especificar el rango de cada uno de dichos factores. 

 De ese modo se pudo categorizar cada tarea con el fin de que el peso relativo de cada factor pudiera tenerse en cuenta a la hora de llevar a cabo la redacción final del estudio. Se utilizan tres conjuntos de variables para describir las características de los ejercicios: los procesos (aspectos), que describen la tarea exigida a los estudiantes; los tipos de ejercicio, que especifican la manera exacta en la que los estudiantes han de demostrar su capacidad, y los criterios de corrección, que especifican cómo han de evaluarse las respuestas de los estudiantes. 

La evaluación PISA mide los siguientes cinco procesos que deben realizarse para comprender plenamente un texto, ya sea continuo o discontinuo. Los estudiantes deben demostrar su dominio en cada uno de los cinco procesos: obtención de la información, comprensión general, elaboración de una interpretación, reflexión y valoración del contenido de un texto, reflexión y valoración de la forma de un texto. La comprensión plena de un texto requiere poner en juego todos esos procesos. Es de esperar que cualquier lector, con independencia de su capacidad global, demostrará cierta competencia en cada uno de ellos. Si bien los cinco aspectos están emparentados –cada uno puede requerir muchas de las mismas habilidades básicas –, ejecutar con éxito uno de ellos no garantiza que se haya efectuado satisfactoriamente cualquiera de los restantes. 

Hay quienes opinan que estos aspectos, más que un escalonamiento jerárquico o un conjunto de habilidades, constituyen el acervo de todo lector en todos los niveles de su desarrollo. Las tareas que evaluaban la competencia lectora correspondían a ejercicios de respuesta construida-abierta que exigían una valoración por parte del corrector o evaluador.

Las tareas restantes consistían en ejercicios de respuesta construida-cerrada, que apenas requieren valoración por parte del evaluador, ejercicios de elección múltiple sencilla, en los que los alumnos tienen que elegir una entre varias respuestas alternativas, y finalmente ejercicios de elección múltiple compleja, en los que los estudiantes tienen que escoger más de una respuesta. 

La corrección es relativamente sencilla en el caso de los ejercicios de elección múltiple y puntuación dicotómica: el estudiante ha dado con la respuesta correcta o no. Los modelos de puntuación parcial posibilitan una corrección más matizada de los ejercicios. Por ejemplo, dado que algunas respuestas erróneas son preferibles a otras, los estudiantes que han elegido una respuesta «casi correcta» reciben una puntuación parcial. Hay amplia experiencia en modelos psicométricos para este tipo de correcciones politómicas que, en algunos casos, son preferibles a las correcciones dicotómicas, puesto que tienen en cuenta más información. No obstante, la interpretación de las correcciones politómicas es más compleja, ya que cada tarea ocupa más de una posición en la escala de dificultad: una localización para el caso de la respuesta idónea, que recibe la puntuación total, y otras para las respuestas que reciben puntuaciones parciales. 

En PISA, la corrección con puntuaciones parciales se reserva para algunos de los ejercicios de respuesta construida más complejos. En un juez justo se busca como finalidades: 

1. Elaboración de una interpretación: deducir los propósitos o intenciones de un personaje. 

2.Obtención de información: correspondencia análoga. 

3. Reflexión sobre el contenido de un texto: contrastar una representación mental de lo que ocurre en el texto con un punto de vista basado en una información previa. 

4. Consecución de una comprensión global: identificar el tema principal de un relato. 

5. Reflexión sobre el contenido de un texto: establecer comparaciones entre los conceptos representados en la historia y los propios conocimientos. 

6. Reflexión sobre la forma de un texto: identificar el género de una historia 

En la evaluación PIRLS vemos que las pruebas liberadas corresponden a los años 2001 y 2006 PIRLS (Estudio Internacional de Progreso en Comprensión Lectora) evalúa y compara internacionalmente la competencia lectora del alumnado de cuarto curso de educación primaria (entorno a los 10 años). 

La participación de España en este estudio, en su edición de 2006, complementa los datos obtenidos hasta ahora por PISA sobre el rendimiento de los jóvenes a los 15 años, obteniéndose así un cuadro más amplio y completo de los resultados que consigue el sistema educativo español. 

Cada unidad de evaluación está formada por un texto y una serie de preguntas sobre el mismo; la mitad de los textos son breves relatos literarios y la otra mitad, de tipo informativo. 

Junto a las preguntas, y en recuadros diferenciados, se incluye una completa información para el profesorado: indicación de la respuesta correcta a las preguntas de respuesta múltiple así como guía de corrección con ejemplos de respuestas para las preguntas abiertas, referencias sobre el tipo de proceso o destreza requerido en cada pregunta, el nivel de competencia lectora que ésta exige así como los porcentajes de respuestas acertadas obtenidos por la media internacional y la del alumnado español.