Sistema Nacional de Evaluación de la Calidad Educativa

Introducción

A fines de 1997, el Sistema Nacional de Evaluación de la Calidad realizó el Primer Operativo Censal de Evaluación de Finalización del Nivel Secundario.

Durante los operativos realizados entre 1997 y 1999 llevamos un registro de las irregularidades que encontré en la aplicación de la evaluación en algunos colegios privados de la Ciudad de Buenos Aires. El objetivo de este trabajo es determinar la confiabilidad de los resultados de la evaluación y hacer una propuesta a las autoridades con el fin de ayudar a que esta herramienta cumpla con su función como corresponde.

Irregularidades encontradas durante la aplicación de la evaluación

A continuación se enumeran las irregularidades de las cuales tomamos conocimiento (muchas de ellas se repetían en los distintos años):

• Los colegios que eran evaluados en primer lugar disponían de las evaluaciones, por lo que otros colegios pudieron acceder a las mismas antes de ser evaluados.
• Durante la toma hubo copia en distintas formas (un alumno dictaba las respuestas, el mismo evaluador ayudaba, se entregaba la evaluación a un compañero que luego de copiarse entregaba los dos exámenes, se permitió que alumnos hicieran la prueba “en grupo”, preceptores que ayudaron cuando hubo dudas estando el evaluador presente).
• Hubo evaluadores que cuando tomaban una materia ofrecían dejar la evaluación de la otra materia que se tomaría días más tarde.
• Hubo evaluadores que tuvieron que tomar la prueba a alumnos mayores que ellos.
• Aunque no se podía utilizar calculadora el evaluador lo permitía diciéndole a los alumnos que si alguien entraba debían esconderla.
• Una alumna entregó la prueba y como había dejado varios ejercicios sin terminar la mandó a llamar para que terminara. Le dijo al resto de la clase: “cualquier cosa nunca entregó”.
• Un evaluador se retiró del aula dejando solos a los alumnos.
• Algunos colegios hicieron faltar a los alumnos con peores promedios.

Caso testigo

Hicimos una comparación de los resultados obtenidos en un Colegio en el cual, según afirmaron sus directivos, los alumnos se copiaron en la evaluación de 1999 (en las dos asignaturas). Previamente, en el año 1998 se había permitido que un preceptor del colegio estuviera presente durante la evaluación con el fin de que no hubiera copia. Al año siguiente el evaluador pidió que no haya nadie perteneciente a la institución en el aula y permitió que los alumnos se copiaran.
En la evaluación de 1999 de Lengua el promedio subió 10 puntos mientras que en Matemática 20.

Conseguimos los promedios internos de ese colegio de 5º año tanto de Lengua como de Matemática para determinar si el nivel de los cursos difería (en el caso de Lengua hubo un cambio de docente, por lo que no podemos tomar como válida la comparación)

Teniendo en cuanta la asignatura que puede ser comparada, Matemática, observamos que la promoción 1999 supera en 1 punto en el promedio interno del Colegio, mientras que en la Evaluación del Ministerio la supera por casi 20 puntos.

A partir de esta comparación en un colegio en el que después de que hubo copia el colegio mejoró alrededor de 200 puestos en el “ranking” de colegios privados de la Ciudad de Buenos Aires, hicimos una comparación de los promedios de los colegios privados de Capital Federal con el fin de observar en qué grado variaban los promedios de un año a otro.

Se tuvo en cuenta, a la hora de determinar qué variación del promedio era llamativa, la variación del promedio que tenían en Chile las escuelas que participaban del P-900, programa focalizado que trabajaba con el 10% de las instituciones con peores resultados en las evaluaciones ministeriales. Después de 7 años de trabajo focalizado el P-900 logró un incremento en el promedio de esas escuelas de 11.95 puntos.

Tomamos pues, como una variación excesiva que un colegio suba o baje 12 puntos de un año a otro en su promedio tanto general como en alguna de las asignaturas.

Las variaciones en los promedios deberían ser leves, siendo los grandes saltos excepciones. Observamos que sobre las 292 instituciones privadas de la Ciudad de Buenos Aires comparadas, 36 de ellas mostraron una variación en el promedio general de 12 puntos o más, y 21 mostró una diferencia en alguna de las asignaturas. Es decir que el 19.52% de los colegios (57 instituciones) mostró una amplia variación en el promedio de un año a otro, ya sea del promedio general o en alguna de las asignaturas.

Análisis

Si decimos que un colegio en el que hubo copia varió considerablemente su promedio de un año a otro, no podemos concluir que todos los colegios en los que varió el promedio haya habido copia. Ahora, si haciendo un relevamiento muy precario (por la cantidad de colegios a los que tuvimos acceso) encontramos muchas irregularidades y teniendo en cuenta que en otra experiencia de evaluación nacional (como la chilena) la mejora en los promedios se da muy lentamente, la confiabilidad de los resultados de nuestras evaluaciones puede llegar a ser cuestionada.

Además del porcentaje de variación en los promedios, hay distintos factores que explican la poca confiabilidad que tiene la evaluación:

• Evaluadores con dudosa capacitación
• No simultaneidad en la toma de la evaluación

Hay otros factores que ayudan a que no haya seriedad por parte de los protagonistas:

• Necesidad de los directores de estar bien rankeados
• No incidencia de la nota de la evaluación en los promedios de los alumnos.

Propuesta

Las propuestas que planteamos para darle confiabilidad a la evaluación son las siguientes:

• Simultaneidad en la aplicación
• Evaluadores capacitados
- Capacitar evaluadores: Una solución sería tener un equipo estable e invertir en capacitación. De esta manera con el correr de los años se tendrá un equipo formado y con experiencia en la toma de la evaluación.
- Docentes evaluadores: Una posibilidad es que los mismos docentes evalúen, en instituciones a las que no pertenecen. Para asegurarse de la capacidad de los docentes que evaluarán se podrá nombrar a aquellos recomendados por los directores de los colegios.
- Docentes jubilados: Se pueden convocar a docentes recientemente jubilados.

• Que los resultados no deriven en un ranking de colegios, ya que para rankear un colegio hay que tener en cuenta muchos factores más que las notas de una evaluación de alguna de las asignaturas que allí se dictan.

• Las notas deberían tener alguna incidencia en el alumno. Una de las características que tuvo la evaluación fue la desidia por parte de los alumnos a la hora de hacer ejercicios que implicaban algún tipo de esfuerzo (como puede ser un ejercicio de comprensión de texto que implique leer “mucho”). Los colegios podrían entregar un certificado a los alumnos con la nota que obtuvieron, de esta manera si el alumno sabe que la va a quedar alguna constancia de la nota que obtenga es probable que se esmeren más que si sólo se va a evaluar a su colegio.

• Podría ponerse a disposición de la ciudadanía un servicio telefónico (0-800) con el fin de recopilar comentarios, quejas, denuncias, recomendaciones, etc.

• Con el fin de mejorar la información que se brinda, podría no sólo comunicarse la media sino también la mediana. De esta manera se enriquece la información y se evita que alumnos de bajo rendimiento hagan que sus colegios aparezcan con una calificación inferior. La media de un colegio puede ser 7 mientras que la mediana 6, otro colegio puede tener como media 6 mientras que una mediana de 8 puntos. En el caso de hacerse públicos los resultados mostrando la media se vería beneficiado el primer colegio cuando en realidad el segundo colegio mostraba mejores notas en la mayoría de sus alumnos.

• La evaluación debería estar realizada por un organismo que no sea el mismo Ministerio. Para esto sería oportuno que una secretaría se encargue de esta evaluación evitando que el Ministerio se evalúe a sí mismo, con los peligros que ello representa.

• Apercibir a los colegios donde los alumnos se copien. El colegio debe garantizar que sus alumnos no se copien. Una de las formas en las que se puede controlar, es estudiando los resultados, observando las diferencias de promedios de un año a otro (en el caso de una excesiva diferencia de un año a otro debería chequearse el promedio interno de los alumnos, si se llevó a cabo algún programa focalizado de trabajo que busque mejorar un aspecto puntual de lo evaluado).

• El día en el que se evalúe, los colegios podrían suministrar datos como por ejemplo promedio de inasistencia y el promedio del curso en las asignaturas evaluadas. De esta manera se puede comparar el promedio de inasistencia a la evaluación ministerial contra el promedio de inasistencia diaria y determinar si hubo mayor ausentismo que el habitual. Con los promedios internos se puede saber si de un año a otro un colegio muestra una diferencia en las evaluaciones distinta de las diferencias internas.

Debido a que cada jurisdicción se encarga de la evaluación de sus instituciones el Ministerio podría tener un control de calidad de las evaluaciones a partir de una serie de indicadores que se controlarían año tras año:

- Grado de capacitación de los aplicadores. ¿Con qué criterio selecciona una jurisdicción a sus evaluadores?
- Nivel de simultaneidad en la aplicación del operativo. ¿En qué medida se cumple con este requisito?
- Colegios que varían su promedio en forma considerable. ¿Cuántos colegios muestran una injustificada variación en sus promedios?
- Grado de ausentismo a la evaluación. ¿Qué promedio de ausentismo muestra cada jurisdicción el día de la evaluación?

Así, las jurisdicciones que convoquen evaluadores capacitados, evalúen simultáneamente, no presenten una gran variación de un año a otro sus colegios y tengan poco ausentismo, serán las que mayor confiabilidad tengan.

Conclusión

Contar con un operativo censal de estas características es sumamente necesario y enriquecedor para un país, pero la experiencia año tras año debe llevarnos a que se haga con la mayor seriedad posible.
Consideramos que con muy pocas medidas concretas se puede lograr que la evaluación adquiera todas las características que debe tener para ser confiable, sólo hace falta la voluntad de hacerlas.

Alejandro De Oto Gilotaux
Director Ejecutivo
CEDEC