132 / pp 132-136 / Año 4 Nº6 / MAYO 2017 / ISSN 2408-4573 / RESEÑAS DE TESIS
Revista Latinoamericana de Políticas
y Administración de la Educación
Pertinencia y efecto de las Evaluaciones Internacionales: PISA en
el contexto argentino
Por Mariana Leal
1
Resumen
El artículo sintetiza el desarrollo de la Tesis de la Maestría en Políticas y Administración de la Educación que desarrollé en la Univer-
sidad Nacional de Tres Febrero. La investigación estudia la pertinencia de PISA (“Programme for International Student Assessment”;
en castellano Programa para la Evaluación Internacional de Estudiantes) -correspondiente a la Organización para la Cooperación
y Desarrollo Económicos (OCDE)- para evaluar el sistema educativo nacional argentino teniendo en cuenta que PISA propone la
evaluación de la eficiencia y eficiencia de los Sistemas educativos nacionales como uno de sus objetivos.
El diseño de investigación fue no experimental mixto, transeccional y de metaevaluación. La metodología utilizada incluyó el análisis
documental, el análisis estadístico y las entrevistas.
El desarrollo de la Tesis permitió observar qué objetivos de política educativa nacional podían ser valorados a través de PISA y
cuáles no. Por otro lado, demostró que el Programa no está evaluando la totalidad del sistema educativo -como indica en varios de
sus documentos- sino que da pistas de algunos de sus componentes. Asimismo, se observó que es exigua la información arrojada
por PISA que se utiliza efectivamente para plantear políticas educativas derivadas en Argentina.
1
Universidad Nacional de Tres de Febrero / yosoymarianaleal@gmail.com
133 / pp 132-136 / Año 4 Nº6 / MAYO 2017 / ISSN 2408-4573 / RESEÑAS DE TESIS
Problema, preguntas y objetivos de la investigación
Este trabajo se originó en un orden azaroso pero complementario. Al ingresar en la Maestría en Políticas y Administración de la
Educación, lo relativo al programa PISA de la OCDE formaba parte de un terreno a explorar con mayor profundidad. Mi formación de
politóloga, los conocimientos abordados en la Maestría y la experiencia profesional se unieron en una fuerza centrípeta revelando
una problemática orientadora y a la vez reveladora. El trabajo final de una asignatura de la maestría, que luego se convirtió en
un artículo publicado, fue el detonante para definir el tema de tesis. Éste abordó la evaluación de las reformas educativas en tres
países de América Latina utilizando para su análisis un texto de Martin Carnoy (2002) que definía formas apropiadas e inapropiadas
de evaluación de los sistemas educativos. Dicho artículo generó una labor de estudio sobre PISA junto con el Director de la Tesis.
A lo largo del análisis del Programa se observaron crecientes debates académicos y políticos, tanto a nivel global como regional, con
cuestionamientos sobre la suficiencia de los resultados PISA para valorar la calidad de un sistema educativo, su (des)contextualiza-
ción, su relación con los planes de estudio nacionales y la dudosa congruencia de sus recomendaciones para los Estados evaluados.
Las inquietudes profesionales y académicas referidas precedentemente contribuyeron a la definición del problema de investigación
de la siguiente manera: la descontextualización e implementación de una evaluación estandarizada, de gran escala e igual para
todos los países -aun cuando se proponen objetivos diversos- implica que los datos obtenidos de PISA no sean suficientemente
pertinentes para la evaluación del sistema educativo argentino. Este problema originó una serie de preguntas que la Tesis buscó
abordar:
— ¿Cuáles son las políticas y los objetivos educativos principales de Argentina?
— ¿Cuáles son los objetivos explícitos e implícitos de la OCDE y PISA particularmente?
— ¿Qué tipo de herramienta de evaluación es PISA?
— ¿Qué información provee?
— ¿De qué manera atiende la diversidad de objetivos educativos nacionales?
— ¿La evaluación PISA provee información suficiente y completa sobre la calidad educativa para la toma de decisión sobre
políticas educativas?
— ¿Las recomendaciones emanadas de los Informes PISA son pertinentes y adecuadas para nuestro sistema educativo nacio-
nal?
— Si una organización internacional evalúa y realiza recomendaciones a partir de objetivos distintos a los nacionales ¿de alguna
forma se está pretendiendo que se replanteen los objetivos nacionales?
— ¿Qué grado de relación existe entre los resultados de PISA y las políticas educativas de Argentina?
Para abordar el problema e intentar responder estas preguntas se estableció como objetivo general analizar la pertinencia de PISA
para evaluar el sistema educativo nacional argentino. A su vez, éste comprendió cinco objetivos específicos:
1. Analizar la correlación entre los objetivos educativos nacionales argentinos de nivel medio y los de la OCDE;
2. Analizar la pertinencia de PISA para evaluar el sistema educativo argentino de nivel medio;
3. Analizar la coherencia del instrumento de evaluación PISA;
4. Analizar la utilidad de PISA para la evaluación del sistema educativo argentino en relación a sus propios objetivos;
5. Estudiar el efecto y articulación de PISA con la política educativa argentina de nivel medio.
134 / pp 132-136 / Año 4 Nº6 / MAYO 2017 / ISSN 2408-4573 / RESEÑAS DE TESIS
Supuestos orientadores
En este trabajo donde predominó el enfoque cualitativo, siguiendo a Vasilachis (2006), se acudió a supuestos previos al comienzo
del estudio, como juicios predictivos, ideas previas del investigador. Supuestos orientadores para el desarrollo de la tesis y no pro-
posiciones afirmativas o hipótesis a ser sometidas a prueba empírica para su falsación. Estos supuestos orientadores fueron que los
objetivos educativos nacionales de nivel medio difieren de los que se plantea la OCDE, por ello, PISA no permite evaluar acabada-
mente el sistema educativo nacional argentino. Por otro lado, que los informes PISA -a partir de sus objetivos, las recomendaciones
derivadas y el impacto mediático que suelen tener sus resultados- orientan los objetivos nacionales.
Marco conceptual
El marco conceptual del trabajo integró cuatro dimensiones o categorías principales: política, política educativa, evaluación y los
criterios de pertinencia y coherencia. Las dos primeras enmarcaron la identificación de los objetivos educativos nacionales y los de
PISA. El concepto de evaluación permitió el análisis de PISA como instrumento de evaluación. Los conceptos de pertinencia y cohe-
rencia permitieron, el primero, analizar la adecuación de PISA para evaluar las necesidades educativas argentinas del nivel medio,
y coherencia permitió considerar la vinculación lógica entre los objetivos que plantea PISA con los procedimientos que lleva a cabo.
La dimensión política recurrió a Oszlak (1980) quien propone un concepto amplio que incluye elementos normativos y prescripti-
vos así como su implementación y las transacciones e interacciones que ésta última implica. Esta concepción se la relacionó con
los términos “policy” y “politics” de Aron (1969). Se hizo hincapié que la política también comprende los procesos de producción
discursiva y los textos y documentos que resultan de ella (Rizvi y Lingard, 2013). Asimismo, implica los valores y la posición asu-
mida por el Estado que esos textos expresan (Rizvi y Lingard, 2010, en Edwards 2014) en un momento histórico y en un contexto
determinado (Oszlak y O’ Donnell, 1995).
Política educativa, tomando a Valle (2012) y a Tello (2009) fue definida como el estudio del fenómeno educativo desde la ciencia
política y como una parte de la política.
Para el análisis de la dimensión evaluativa se tomaron distintos autores tales como Nirenberg, Brawerman y Ruiz (2007); Toranzos
y Elola (2000); Bertoni, Poggi y Teobaldo (1995); Poggi (2008); y Rivera Araya (2002). A partir de sus aportes se caracterizaron las
características significativas de evaluación pertinentes para el estudio: es un proceso planificado y dirigido; implica un referente y
un referido; supone algún tipo de recorte sobre el objeto evaluado que remite y puede ser interpretado a partir del contexto; implica
un incremento progresivo del conocimiento del objeto evaluado, una posición frente a la realidad y la emisión de un juicio de valor;
y, naturalmente, permite generar conocimiento y aprendizaje para la toma de decisiones. Complementariamente se utilizó la clasi-
ficación de evaluación de Neirotti (2005).
Finalmente, se definieron pertinencia como la adecuación del instrumento para satisfacer determinadas necesidades y demandas
de los destinatarios y de su contexto (López Quiroz, 2011) y coherencia como la adecuación “entre lo que piensa que hay que hacer
y lo que realmente hace” (De Miguel y Apodaca Urquijo, 2009: 306).
Diseño de la investigación, metodología y camino metodológico
Para llevar a cabo esta investigación se utilizó un diseño no experimental ya que el problema se basó en una situación ajena al
control directo del investigador y que existía previamente al trabajo de investigación (Sampieri, Collado, y Lucio, 1997).
Asimismo, mixto, porque combinó métodos cualitativos y cuantitativos. El abordaje cuantitativo de los datos permitió profundizar en
los resultados de Argentina de la prueba PISA a través del tratamiento estadístico de las distintas variables educativas y sociales
que considera el Programa. Lo cualitativo estuvo basado en el análisis documental del material disponible de PISA por parte de la
OCDE y del Ministerio de Educación nacional argentino vinculado con políticas, programas y proyectos que desarrolla para el nivel
de educación secundaria. Asimismo, se llevaron a cabo entrevistas a funcionarios del Ministerio de Educación de la Nación con
responsabilidad directa e indirecta en la implementación del Programa PISA en el país y/o en la consideración de sus resultados.
El diseño fue también transeccional en el sentido que “recolecta datos en un solo momento, en un tiempo único. Su propósito es
describir variables, y analizar su incidencia e interrelación en un momento dado. Es como tomar una fotografía de algo que sucede”
135 / pp 132-136 / Año 4 Nº6 / MAYO 2017 / ISSN 2408-4573 / RESEÑAS DE TESIS
(Sampieri, Collado, y Lucio, 1997: 247). En la investigación los datos fueron recolectados hasta el mes de mayo de 2014, luego ya
no fueron actualizados. Si bien, para el análisis de los datos cuantitativos se utilizaron -sobre todo- los resultados de la aplicación
de PISA del año 2012, en aquellos análisis que requirieron la consideración de la evolución de los resultados, se tomaron los datos
de evaluaciones anteriores -2000, 2006 y 2009
2
-.
Asimismo, la investigación implicó una metaevaluación ya que comprendió una evaluación de la evaluación PISA en base a los dos
criterios mencionados: pertinencia y coherencia.
Para desarrollar la investigación se utilizaron fundamentalmente, tres métodos de investigación: el análisis documental, el análisis
estadístico y la entrevista.
El camino metodológico se desarrolló a partir de los siguientes pasos:
1. identificación de objetivos educativos nacionales para la educación secundaria;
2. identificación de objetivos educativos de la OCDE;
3. análisis de pertinencia y coherencia de PISA como instrumento de evaluación, para el caso argentino;
4. análisis de los resultados PISA en Argentina; y
5. análisis del efecto de las evaluaciones PISA en la política educativa argentina.
Resultados obtenidos y contribuciones de la tesis al conocimiento del tema investigado
Con respecto a PISA y su correlación con los objetivos nacionales para el nivel medio se observó que este Programa aporta in-
formación relevante de los estudiantes de 15 años de edad tales como la relación existente entre el rendimiento y la situación
socioeconómica y cultural; la presentación de algunos indicadores de contexto; los datos de cobertura y sobreedad, y el análisis de
la gran dificultad que tienen los países de bajos recursos para alcanzar altos puntajes. Sin embargo, se demostró que PISA no es
pertinente para evaluar acabadamente el sistema educativo argentino porque sólo algunos factores que releva corresponden
a los objetivos educativos argentinos para el nivel medio.
Para Argentina las tasas de abandono, repitencia y promoción, la terminalidad del secundario y los datos sobre quienes han
quedado fuera del sistema, son fundamentales porque la concepción, el diseño y la ejecución de las políticas educativas
nacionales están prioritariamente orientados en esa dirección. PISA no considera estos indicadores que están relacionados
con problemáticas y necesidades significativas de los países latinoamericanos porque no son relevantes para los países de
la OCDE que tienen baja proporción de jóvenes fuera de sus sistemas de educación.
Por otro lado, se observó que PISA cumple parcialmente con sus propios objetivos, es decir con los objetivos que el mismo progra-
ma se plantea al implementar la evaluación (evaluar la efectividad y eficiencia de los sistemas educativos, constituirse en un foro
legítimo de definición de objetivos de política educativa, medir el capital humano, a partir de un enfoque de competencias).
La metaevaluación de PISA y el análisis de la OCDE permitieron desmenuzar, deconstruir y conocer mejor el Programa. En ello se
observó, tal como menciona Tiana Ferrer (1997), entre otros autores, que la evaluación no es objetiva ni neutral, sino que la selec-
ción de lo que será evaluado y el descarte de lo que no será evaluado está mediado por cosmovisiones de los evaluadores (en este
caso la OCDE) por sus perspectivas y por sus valores e intereses.
Con respecto a PISA y su vínculo en el diseño de políticas educativas nacionales para el nivel medio se señaló que la producción
pedagógica a nivel nacional que se realiza a partir de los resultados PISA es exigua, la difusión de los resultados desde el Ministerio
de Educación Nacional es prácticamente inexistente, no hay presencia nacional en la Junta de Gobierno de PISA ni posibilidad de
influir en el programa ni en el diseño del instrumento de evaluación; la información que se utiliza es reemplazable por los resultados
y conclusiones de los Operativo Nacional de Educación, ya que es coincidente con la de PISA, a pesar de utilizar otra metodología.
Por último, la investigación sugiere que si la decisión es permanecer dentro del modelo OCDE, es preciso realizar un aprovecha-
miento más intensivo de la información que aporta. Asimismo, cuestiona si es consistente con los intereses del país participar en la
prueba PISA, y se pregunta respecto de las alternativas que podrían ajustarse más adecuadamente a las necesidades de evaluación
y mejora del sistema educativo nacional.
2
Argentina no participó en la prueba de 2003.
136 / pp 132-136 / Año 4 Nº6 / MAYO 2017 / ISSN 2408-4573 / RESEÑAS DE TESIS
Referencias Bibliográficas
Aron, R. (1969). Democracia y totalitarismo. Barcelona: Seix Barral
Bertoni, A; Poggi, M y Teobaldo, M (1995) Evaluación. Nuevos Significados para una Práctica Compleja. Buenos Aires: Kapelusz.
Carnoy, M. (2002). ¿Están Funcionando las Reformas Educativas en Latinoamérica?: Nuevas Perspectivas. Washington: Inter-Ame-
rican Development Bank.
De Miguel, M. y Apodaca Urquijo, P. (2009). Criterios para evaluar el impacto de los Planes de Evaluación de la Calidad de la Educa-
ción Superior. Revista de Educación, 349 (3), 295-310.
Edwards, Jr. D. B. (2014) ¿Cómo analizar la influencia de los actores e ideas internacionales en la formación de políticas educati-
vas nacionales? Una propuesta de un marco de análisis y su aplicación a un caso de El Salvador. Archivos Analíticos de Políticas
Educativas, 22(12).
López Quiroz, M (2011) Criterios de coherencia y pertinencia para la evaluación inicial de planes y programas de pregrado: una
propuesta teórico-metodológica. REXE, Revista de Estudios y Experiencias en Educación, 10 (19), 49-71.
Neirotti, N. (2005). Elementos conceptuales y metodológicos para la evaluación de políticas y programas sociales. 8º Curso Regional
de Planificación y Formulación de Políticas Educativas. Buenos Aires: IIPE – UNESCO Buenos Aires.
Nirenberg O.; Brawerman, J; Ruiz, V. (2007). Evaluar para la transformación: Innovaciones en la evaluación de programas y proyec-
tos sociales. Buenos Aires: Paidós.
Oszlak, O. (1980). Políticas públicas y regímenes políticos: reflexiones a partir de algunas experiencias latinoamericanas. Buenos
Aires: Estudios del CEDES, 3(2).
Oszlak, O. y O‘ Donnell, G. (1995). Estado y políticas estatales en América Latina: hacia una estrategia de investigación. Redes, 2(4),
99-128.
Poggi, M. (2008). Evaluación Educativa. Sobre Sentidos y Práctica. Revista Iberoamericana de Evaluación Educativa.1 (1).
Rivera Araya, R. (2002). El contexto de la evaluación de proyectos sociales en el marco de una democracia deliberativa. Revista de
Ciencias Sociales Ciencias Sociales, III (97), 17-30.
Rizvi, F. y Lingard, B. (2013). Políticas educativas en un mundo globalizado. Madrid: Ediciones Morata.
Sampieri, R. H., Collado, C. F., y Lucio, P. B. (1997). Metodología de la Investigación. México: Editorial Mc Graw-Hill.
Tello, C. (2009). Un mapeo de los principales discursos sobre las políticas docentes en Latinoamérica. 1990-2007. Tesis de maestría
no publicada. Universidad Nacional de Tres de Febrero. Buenos Aires, Argentina.
Tiana Ferrer, A. (1997). Tratamiento y usos de la información en Evaluación. Madrid: UNED.
Toranzos, L. y Elola, N. (2000). Evaluación Educativa: una aproximación conceptual.
Valle, J. M. (2012). La política educativa supranacional: un nuevo campo de conocimiento para abordar las políticas educativas en
un mundo globalizado. Revista Española de Educación Comparada, 20, 109-144.
Vasilachis de Gialdino, I. (2006). Estrategias de investigación cualitativa. Barcelona: Gedisa.
Fecha de recepción: 28/03/2017
Fecha de aprobación: 10/04/2017
