Los procesos de desarrollo y validación de pruebas de examen de comprensión de lectura y comprensión auditiva

Puente 169 (septiembre 2018)

Los procesos de desarrollo y validación de pruebas de examen de comprensión de lectura y comprensión auditiva

Susana Llorián, Universidad Complutense de Madrid, en  la UCL, 18 de mayo de 2017

Acudir a una cita de didáctica un viernes por la tarde de gran calor y además con la perspectiva de oír algo sobre evaluación en ELE… Todo un reto…. Misión cumplida por parte de Susana Llorián, mujer superdinámica y muy experta en el tema. Lo siento mucho pero esta  reseña será corta y en consecuencia reduccionista.

En primer lugar, quisiera precisar que la labor aquí propuesta para la confección de pruebas en evaluación de comprensión se dirige esencialmente a los que deben elaborar pruebas de exámenes tipo DELE, es decir con un apoyo en el MCER y sus objetivos y con formatos comunes a todas las estructuras que los organizan. Los que trabajamos en la enseñanza secundaria o superior de Bélgica tenemos nuestros propios marcos de referencia y, a lo mejor (muchas veces  trabajamos solos), nos juntamos en pequeños equipos de redacción dentro del Centro escolar. Pero sabemos que, en el futuro, van a generalizarse  las “pruebas comunes” de evaluación certificativa en fin de ciclo.

Susana Llorián nos hizo una primera pregunta: “¿Qué evaluamos en comprensión oral y escrita?”. Nos recordó que la comprensión es un proceso de interacción entre un texto oral o escrito y el candidato. El candidato aporta su bagaje,  su experiencia, sus competencias lingüísticas y generales. Durante el proceso de interacción, el candidato se representa el contenido del texto (= el constructo). Todo el taller se articula a partir de este esquema cíclico, elaborado por Rita Green en 2017.

Dentro de todo ese largo proceso, querría destacar algunos aspectos que me parecieron  relevantes para nuestra práctica de docentes.

Etapa 1: especificaciones de examen.

Aquí se trata de definir, para nosotros redactores, una especie de “ficha descriptiva” para que el candidato sepa cuál será la tarea con referencia al nivel del MCER, qué competencias comunicativas se desarrollarán, cuál será la duración de la prueba y qué herramientas serán necesarias. Por ejemplo, si hablamos de Comprensión escrita y que nos referimos al MCER, según el nivel elegido (A1,A2…), nosotros los redactores tendremos que determinar qué operaciones de procesamiento y qué competencias comunicativas vamos a activar; qué tipo de lectura vamos a proponer; en el texto de entrada, qué macrofunciones o tipos de textos se abarcará. A continuación, encontraréis algunos ejemplos de actividades que  compartimos durante el taller para ilustrar esta primera etapa.

Etapa 2: seleccionar el texto de entrada.

El análisis que nos propone Susana Llorián se centra en la fuente de los textos, es decir, de donde los sacamos: por ejemplo, material publicitario/teletexto/ofertas de empleo/anuncios públicos… Otros criterios son el grado de autenticidad, el tipo de discurso(descriptivo, expositivo, narrativo, argumentativo); el tema, la amplitud del vocabulario; la complejidad gramatical; y para la comprensión oral, la velocidad de la emisión, el acento, la claridad de la articulación, el número de escuchas. En esta etapa, también debemos reflexionar sobre el tipo de ítem que vamos a proponer (respuesta cerrada, dirigida, abierta) con sus ventajas e inconvenientes respectivos.

Etapa 3: trazar el mapa del texto (“mapping”)

Lo ideal, para evitar proyectar la representación que se hace del texto en un único redactor, sería trabajar con otras tres personas y aplicar técnicas para construir de manera colectiva el significado del texto de entrada. Para trazar el mapa del texto, he aquí algunas técnicas: relacionar ideas principales con ideas secundarias; extraer la idea general (párrafo/texto completo); realizar inferencias; deducir el significado por el contexto.

Etapa 4: realización de la tarea.

Susana Llorián se limitó a desarrollar el concepto de las pruebas de respuesta cerrada. Se califican comprobando que la respuesta del candidato se corresponde con la clave (única e inequívoca) previamente determinada. Muchas ventajas y también algunos inconvenientes de la práctica:

A continuación, esta tabla de clasificación de reactivos nos permitirá ver mejor lo que cada tipo de ítem puede evaluar y también los límites que puede plantear a la hora de evaluar la comprensión.

Como ya era tarde, no pude quedarme a oír el final de la ponencia, pero echando un vistazo al Power Point que nos mandó Susana ulteriormente, me di cuenta de la complejidad imprescindible, casi matemática (análisis estadístico, índice de discriminación, puntos de corte…) para poder decidir si los redactores estaban “capacitados” para las pruebas que habían redactado. También para saber si las exigencias, los objetivos fijados habían sido alcanzados por una mayoría de candidatos, lo cual parece ser, y será siempre, un índice de cualidad de la evaluación y, por lo tanto, en las etapas iníciales de la labor docente.

Martine Melebeck