13 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
La evaluación institucional de la función de
investigación de las universidades argentinas: un
proceso interactivo
The institutional evaluation of the research function at
argentine universities: an interactive process
Por Ana Silvina KUPERVASER
1
y Ángela Virginia CORENGIA
2
Kupervaser, A. S y Corengia, A. V. (2022). La evaluación institucional de la función de investigación de las
universidades argentinas: un proceso interactivo. Revista RAES, XIV(25), pp. 13-33.
Resumen
El Programa de Evaluación Institucional (PEI) del Ministerio de Ciencia, Tecnología e Innovación (MinCyT) de
Argentina, creado en el año 2005, promueve la evaluación permanente y la mejora continua de los Organismos de
Ciencia y Tecnología (OCT). Asimismo, desde el 2009, el programa incluye la evaluación de la función de
Investigación y Desarrollo (I+D) de las Universidades que lo soliciten. El proceso de evaluación involucra tres etapas:
autoevaluación, evaluación externa y plan de mejoramiento (PM). Una particularidad del PEI es que ofrece apoyo
y asesoramiento a los actores institucionales, no solo en la instancia de autoevaluación sino también durante el
proceso de elaboración de los planes de mejora. Teniendo en cuenta este acompañamiento técnico – metodológico
durante todo el proceso, el presente artículo busca analizar el rol de los distintos actores involucrados, es decir el
grado y tipo de participación de los actores internos (pertenecientes a las instituciones evaluadas) y externos
(asesores técnicos, consultores externos y pares evaluadores), buscando dar cuenta de las interacciones entre
estos. Para ello, se profundiza en la experiencia de dos universidades, una de gestión pública y otra de gestión
privada, mediante el estudio de casos, poniendo el foco en la valoración por parte de informantes clave respecto
del aporte de los actores externos en cada una de las etapas del proceso de evaluación.
Palabras Clave investigación / universidades / evaluación / actores / asesoramiento
Abstract
The Institutional Evaluation Program (PEI) of the Ministry of Science, Technology and Innovation (MinCyT) of
Argentina, created in 2005, promotes permanent evaluation and continuous improvement of Science and
1
Escuela de educación (Universidad Austral), Argentina / anaskupervaser@gmail.com
2
Escuela de educación (Universidad Austral), Argentina / acorengia@austral.edu.ar
14 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Technology Organizations (OCT). Likewise, since 2009, the program includes the evaluation of the Research and
Development (R&D) function of the universities that request it. The evaluation process involves three stages: self-
evaluation, external evaluation and improvement plan. A particularity of the PEI is that it offers support and advice
to institutional actors, not only in the self-assessment instance but also during the process of drawing up
improvement plans. Taking into account this technical-methodological accompaniment throughout the process,
this article seeks to analyze the role of the different actors involved, that is, the degree and type of participation of
internal actors (belonging to the evaluated institutions) and external actors (technical advisors, external consultants
and peer reviewers), seeking to account for the interactions between them. To do this, the experience of two
universities, one of public and one private management, is deepened through case study, focusing on the
perception of key informants from the study cases regarding the contribution of external actors in each stage of
the evaluation process.
Key words research / universities / evaluation / actors / accompaniment.
15 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Introducción
Si bien existe una importante producción académica que ha abordado la evaluación de la calidad de la educación
superior y, en particular, estudios locales que han analizado la implementación e impacto de la Evaluación
Institucional implementada por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) en las
instituciones universitarias argentinas, hasta el momento no hay estudios sistemáticos que analicen los efectos de
la implementación del Programa de Evaluación Institucional (PEI), como política pública de evaluación de la función
de investigación de las universidades. Ello así a pesar de que, a lo largo de los 15 años desde que el PEI inició su
funcionamiento, han adherido un total de 59 instituciones, de las cuales 36 son universidades.
Esta política de evaluación institucional se materializó en el año 2005 con la creación del PEI bajo la órbita de la
Subsecretaría de Evaluación Institucional, perteneciente a la Secretaría de Articulación Científico Tecnológica del
Ministerio de Ciencia, Tecnología e Innovación Productiva (MinCyT). Desde este programa se promueve “la
evaluación permanente y la mejora continua” de los organismos que conforman el Sistema Nacional de Ciencia,
Tecnología e Innovación (SNCTI). Asimismo, a partir de 2009, el PEI se amplió también a las universidades aunque,
en este caso, se focaliza exclusivamente en la función de investigación y desarrollo (I+D)
3
.
El PEI tiene ciertas características propias que lo diferencian de otros procesos de evaluación institucional (como el
impulsado por la CONEAU) y que lo constituyen en un objeto de estudio relevante: (a) el carácter voluntario de la
participación de las instituciones en el programa; (b) la existencia de una tercera etapa del proceso de evaluación
(luego de la autoevaluación y la evaluación externa) cuyo fin es la elaboración y ejecución de planes de
mejoramiento; (c) el apoyo financiero para el desarrollo de la autoevaluación y para la implementación de los planes
de mejora (solo en el caso de los OCT y las universidades públicas); (d) el apoyo técnico a lo largo de todo el proceso,
mediante el asesoramiento del personal del PEI y la posibilidad de contratación de consultores externos y (e) la
focalización en una de las funciones sustantivas de la universidad (I+D).
El presente artículo hace hincapié en el acompañamiento técnico – metodológico ofrecido por el PEI durante todo
el proceso y, a partir de ello, se propone analizar el rol de los distintos actores involucrados, es decir el grado y tipo
de participación de los actores internos (pertenecientes a las instituciones evaluadas) y externos (asesores técnicos,
consultores externos y pares evaluadores), buscando dar cuenta de las interacciones entre ellos.
Fundamentación teórica
Desde que la evaluación de la calidad universitaria se constituyó a nivel internacional en una política pública,
impulsada desde el Estado a través de leyes y normas y la creación de agencias intermedias encargadas de
implementarla, cabe conceptualizarla como tal.
En este sentido, siguiendo a Thwaites Rey (2005), definiremos a la política pública o estatal como
el conjunto de tomas de posición, tácitas o explícitas, de diferentes agencias e instancias del aparato
estatal que expresan una determinada modalidad de intervención del Estado, en relación con una
cuestión que despierta la atención, interés o movilización de actores de la sociedad civil. (p. 31).
Asimismo, se entiende a
las políticas públicas como procesos de interacción y negociación, en las que los actores incorporan sus
intereses en las distintas fases o momentos de las mismas (formulación, implementación y terminación)
estableciéndose entre actores e instituciones universitarias y Estado, tanto un ‘ajuste mutuo’, como
‘ensamblajes conflictivos’. (Krotsch, Camou y Prati, 2007, p. 22).
3
Para un conocimiento más detallado del programa, se sugiere visitar el sitio web: https://www.argentina.gob.ar/ciencia/pei
16 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Desde la perspectiva interaccionista adoptada en este estudio, se entiende que “la implementación de políticas
estatales es un proceso interactivo, donde la institución y sus actores resignifican las políticas en curso” (Atairo,
2007, p. 245).
Al mismo tiempo, se concibe a la evaluación como un proceso complejo, en el que participan diversos actores, con
diferentes grados de poder (Dias Sobrinho, 2003).
De las consideraciones mencionadas se desprende la importancia de estudiar quiénes participan de la toma de
decisiones en relación a este proceso y qué grado de autonomía tiene la institución y sus actores para definir el
rumbo y las características del proceso de evaluación llevado a cabo en su interior.
De este modo, el foco de este artículo estará puesto “en el papel de los actores, así como sus posicionamientos y
estrategias, focalizando la mirada en los procesos de resistencia, apropiación o readaptación de las políticas, tanto
en su concepción como en los modos de implementación” (Krotsch, Atairo, Varela, 2007, p. 98).
Ello implicará identificar “la construcción de arenas y las interacciones, muchas veces conflictivas, entre los actores
involucrados” (Varela, 2007: 140). A partir de estos conceptos podremos, como afirma dicho autor, recuperar las
interacciones entre los actores involucrados en la implementación de la política bajo estudio.
Metodología
El objetivo del presente artículo es analizar el tipo y grado de participación de los actores involucrados en el proceso
de evaluación de la función de investigación de las universidades argentinas, en el marco del PEI, y las interacciones
entre ellos.
De él se derivan los siguientes objetivos específicos:
• Dar cuenta de los actores involucrados en la etapa de autoevaluación, haciendo foco en el aporte
específico de los actores externos.
• Analizar los aportes del Comité de Evaluadores Externos, así como los riesgos y tensiones de dicho rol.
• Identificar los actores intervinientes en las fases de diseño e implementación de los planes de
mejoramiento, dando cuenta de las diferencias según el tipo de institución evaluada.
Para ello, se llevó a cabo un estudio cualitativo, desde una perspectiva teórico – metodológica de naturaleza
descriptiva – evaluativa. Se profundizó en la experiencia de dos universidades (una pública y una privada) mediante
el estudio de casos, los cuales fueron analizados en profundidad, a través de entrevistas a actores clave y el análisis
de documentos.
Respecto a la estrategia de análisis de las entrevistas y los documentos, se realizó una categorización por análisis
temático de la información recogida. Cada entrevista ha sido transcripta literalmente para su posterior lectura, y
cada documento leído exhaustivamente. Este primer contacto con el material permitió identificar los principales
temas de los relatos y materiales escritos. Estos temas se transformaron en etiquetas conceptuales, las cuales
fueron reagrupadas bajo categorías de mayor nivel de abstracción (procedimiento inductivo).
Resultados
A continuación, presentaremos los resultados del análisis del rol de todos los actores involucrados en cada una de
las etapas del proceso de evaluación, haciendo énfasis en la distinción del papel desempeñado por los actores
institucionales y los agentes externos.
Dado que cada etapa del proceso implica diferencias significativas en términos de la distribución de
responsabilidades entre actores internos y externos, y que el rol específico desempeñado por cada uno de ellos
varía en esos tres momentos, se dividirá el análisis siguiendo dichas etapas.
17 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
1. El desarrollo “interno” de la autoevaluación
Debido a que se espera que la autoevaluación sea un proceso interno e introspectivo, tal como lo señaló en su
entrevista la Directora de la Dirección Nacional de Objetivos y Procesos Institucionales (DINOPI), se establecen
ciertas premisas que facilitarán el proceso: instalación e internalización del proceso de autoevaluación en la
institución; disposición para participar en situaciones innovadoras de aprendizaje; interés y participación activa de
los actores en la reflexión crítica; disponibilidad de información y capacidad institucional para generarla (Secretaría
de evaluación institucional, S/F, p. 5).
En ese sentido, el carácter activo previsto para la institución en esta etapa, requiere de la comprensión, el
compromiso, la disposición, el involucramiento y la efectiva participación de sus miembros.
En el Esquema N° 1 se muestran todos los actores intervinientes durante la etapa de autoevaluación: Comisión
Técnica Mixta (CMT); Comisión de Autoevaluación (CA) y comunidad universitaria; asesores técnicos del PEI; y
consultores externos.
Esquema N° 1. Actores intervinientes durante la etapa de Autoevaluación
Fuente: elaboración propia
Seguidamente se analizará en detalle el rol y las funciones esperados para cada uno de los actores mencionados y
el papel efectivamente desempeñado por aquellos en los casos de estudio, haciendo hincapié en las interacciones
entre ellos y la valoración del rol de los actores externos desde la mirada de los informantes clave de las
universidades.
• Comisión Técnica Mixta: consensos y adecuación del modelo
Al inicio del proceso se constituye una Comisión Técnica Mixta (CTM) integrada por miembros de la institución y de
la DINOPI. Por parte del MinCyT participan dos o tres miembros del PEI siendo atributo de cada institución la
18 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
designación de sus representantes (generalmente el Secretario de Investigación y personal de su equipo de
gestión).
La finalidad de la CTM es diseñar el plan de autoevaluación; acordar el alcance de la evaluación; definir las
dimensiones de análisis, así como las variables, indicadores y criterios a utilizar; acordar la agenda de trabajo y el
perfil de los evaluadores externos; y establecer el presupuesto y el cronograma. De ello se desprende que la
Comisión trabaja en la adaptación del modelo propuesto por el PEI.
De todas maneras, es preciso mencionar que la propuesta se encuentra bastante desarrollada y estructurada y que
las modificaciones realizadas en esta instancia no son sustantivas, sino que buscan enriquecer el modelo propuesto
en la guía teniendo en cuenta las particularidades de la institución.
• Actores que lideran el proceso y participación de la comunidad universitaria
Una vez establecidos los acuerdos básicos entre la universidad y el PEI, “… nosotros nos retiramos y dejamos que
la institución sea la que conduzca la actividad” (entrevista Coordinador de la CEMICT). En ese sentido, el diseño
operativo concreto y sobre todo la implementación de la autoevaluación se centraliza generalmente en la
Secretaría de I+D / CyT y la Comisión de Autoevaluación conformada especialmente a tal fin. Esta última se encarga
principalmente de la toma de decisiones respecto de la marcha del proceso (estrategias y acciones a implementar)
y la validación de los análisis realizados y plasmados en los informes.
Según lo descripto por el Coordinador de la CEMICT, es una comisión que representa las diferentes áreas de
investigación dentro de la institución. Una comisión de unas 10 personas, dependiendo del tamaño de la institución,
y que “es la que conduce el proceso dentro de la institución, la que lleva las inquietudes a las unidades académicas,
etc… y moviliza a la gente también para que esté enterada y cuando le llegan estas cosas contesten, etc.”
Por su parte, la Secretaría de I+D / CyT es la que tiene a su cargo la coordinación y ejecución de las acciones
acordadas en la Comisión; el análisis de la información y las opiniones recogidas; la redacción de los informes y la
comunicación con el PEI.
Si bien la implementación en sí de las acciones y el intercambio con el PEI puede estar a cargo de una o pocas
personas, la conformación de una CA asegura la participación de diversos actores institucionales en el diseño y
ejecución de la autoevaluación. En ese sentido, el Informe de Situación de la DINOPI establece que
a fin de poder llevar adelante procesos participativos durante las distintas etapas del programa se
conforman comisiones de trabajo integradas por diversos actores de las instituciones (autoridades,
responsables de gestión, investigadores de todas las unidades académicas o de investigación). Además,
en los diseños metodológicos se incluyen instancias participativas de relevamiento de información y
opiniones: talleres, entrevistas, encuestas. (2019, p. 19)
Tal como se expresa en el fragmento del informe citado, la apertura a una mayor participación institucional, se da
principalmente a partir de la consulta a los diferentes actores institucionales por medio de encuestas o la
participación de estos en encuentros de discusión o reflexión, para la instancia valorativa del proceso de
autoevaluación.
En relación a ello, desde el programa se busca que las instituciones generen la mayor convocatoria posible a la
participación de los actores, entendiendo que ello redunda en la calidad del proceso llevado a cabo. En el Manual
de Procedimientos (Subsecretaría de Evaluación Institucional, 2010) se explicita que
la autoevaluación requiere de la participación comprometida de los actores relevantes que componen
cada institución y su activa reflexión sobre el desarrollo de las funciones y el logro de los objetivos de la
institución, construyendo entre ellos un conocimiento intersubjetivo que supere a la suma de las partes.
(p. 12).
19 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Esto se ha logrado en la mayoría de los casos, de acuerdo al análisis realizado por el CIECTI:
En general en todos los procesos institucionales propiciados por el PEI las instituciones señalan un
importante nivel de participación de los actores, destacando la relevancia que adquiere el compromiso
de las gerencias, en muchos casos vinculado con la contraparte económica que asume la institución. Se
describen los procesos como participativos, donde prima la generación de encuentros, la
multidisciplinariedad de los intercambios y la generación de consensos. (Porta y Pereira, 2017, p. 575).
En ese mismo sentido, el informe de referencia destaca que los procesos de autoevaluación “favorecieron la
generación de valiosas interacciones puertas adentro, bajo la forma de participación y articulación de diversas
unidades y sectores” (Porta y Pereira, 2017, p. 569).
En la misma línea, una de las ex miembro del Consejo Asesor entrevistada, afirmó que
el producto más interesante de este proceso (…) no son los 500 mil [pesos], ni los ladrillos que se
pudieron haber construido… lo más interesante es la movida que hay en la institución, el mirarse a sí
mismos y poder atraer a todos los miembros del estamento de cuales sean.
Cuanto más general y variada sea la participación, más posibilidades habrá de que ponga de relieve las diversas
opiniones sobre el objeto evaluado; las realidades heterogéneas que se dan en términos del desarrollo de la I+D
entre las unidades académicas y/o institutos / centros de investigación; los intereses contrapuestos que existen
dentro de las instituciones; e incluso las fracciones políticas que pueden coexistir en su interior, con sus respectivas
pujan de poder.
En los casos de estudio analizados en el marco de la presente investigación, se constató que las comisiones de
autoevaluación conformadas tuvieron a su cargo el diseño y ejecución del proceso de autoevaluación, en términos
de: la definición de las dimensiones e indicadores a relevar; el establecimiento de pautas y lineamientos de trabajo;
la construcción de instrumentos de recolección; la comunicación del proceso y los resultados; el análisis y la
valoración de la información y las opiniones recabadas; y la revisión y aprobación de los documentos elaborados
por la Secretaría de Investigación (o de Ciencia y Técnica), con el apoyo de los consultores externos
4
.
Asimismo, en ambos casos, diversas áreas de gestión debieron aportar información específica, relativa a algunas
dimensiones e indicadores incluidos en el modelo de evaluación.
Finalmente, las dos universidades aplicaron instrumentos para asegurar la participación de variados actores de la
comunidad universitaria y del territorio, principalmente con el objeto de relevar opiniones y valoraciones respecto
del desempeño de la función de I+D, sus condiciones de funcionamiento, y su articulación con las demás funciones
sustantivas y con el ámbito de influencia.
Sin embargo, en un caso se señaló que, a pesar del intento de involucrar a la mayor cantidad de gente posible, no
es fácil lograr el nivel de participación esperado
5
. Se da una participación desigual por parte de diversos actores,
diferencialmente vinculados o comprometidos con la función de investigación.
En relación a ello, el Informe de Evaluación Externa concluyó lo siguiente:
Todos los involucrados, autoridades y docentes investigadores, fueron invitados formalmente y con la
debida anticipación a participar de los citados talleres; si bien se registraron obstáculos para una
participación generalizada. (…) la administración de la encuesta estaría evidenciando algunos obstáculos
para la participación; esto fue corroborado por el Comité de Evaluadores Externos (CEE) en las reuniones
con autoridades y docentes investigadores y becarios, quienes —al ser consultados sobre los resultados
4
Sumado a ello, el Consejo Superior ha sido el órgano encargado de aprobar la versión final de los informes de autoevaluación.
5
Según los datos provistos en el Informe de Autoevaluación, la encuesta fue respondida por el 28% del personal dedicado a la función
I+D+i de la universidad y en los talleres participó el 33% del plantel de investigadores.
20 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
de la encuesta— abundaron en cuestiones descriptivas más que en las reflexiones analíticas a las que se
trató de inducir en las entrevistas. (IEE universidad privada, 2017).
Por el contrario, en el caso de la universidad pública la ex Secretaria de CyT opinó que se logró una amplia
contribución de la comunidad universitaria. Ello fue favorecido por las múltiples estrategias de comunicación
implementadas. Sin embargo, expresó que “siempre igual hay gente colgada… un docente que es simple y que va
a la universidad dos veces por semana o menos, no sabe de [esto]… pero la gente permanente, la que investiga, sí
sabía”.
El actual Secretario de CyT destacó la riqueza de la participación de actores con perfiles muy diversos:
se combinaban todos los paisajes de personas, gente de muchos años, los “fundadores” de la institución
(…) gente que se está incorporando, gente que está terminando ya procesos de posgrado… el paisaje en
instituciones jóvenes como la nuestra es muy heterogéneo, realidades muy diferentes y bueno, todo eso
junto fue interesante.
Más allá del nivel de participación logrado en términos cuantitativos, cabe destacar el tipo de trabajo realizado
desde una mirada cualitativa, plasmado en el Informe de Autoevaluación:
la realización de ejercicios de análisis y formulación de hipótesis de manera colectiva para reflexionar
sobre las causas que podrían generar los problemas detectados. En este sentido, para las distintas etapas
del proceso, se propiciaron los espacios de discusión e intercambio de ideas en pos de la construcción de
una interpretación compartida acerca de la propia situación en el campo y las perspectivas a futuro. (…)
La autoevaluación también ha dejado un saldo por demás positivo, al constatar el alto compromiso de
todos los actores que fueron convocados, logrando que este informe sea el fruto de un proceso de
participación colectiva. (IA universidad pública, 2015, p. 108).
Esto fue corroborado y destacado también en el Informe de Evaluación Externa, elaborado por el CEE:
El proceso de autoevaluación involucró una amplia participación de los miembros de la Universidad, la
que se concretó a través de ágiles mecanismos de comunicación, encuestas y talleres abiertos. Este
proceso que, como fue señalado, se tradujo en un informe escrito que atendió plenamente a los
requerimientos planteados oportunamente. (IEE universidad pública, 2016, p. 6).
• Consultor externo: aportes metodológicos y distanciamiento del objeto
Por más que, como se explicó anteriormente, en el desarrollo de la autoevaluación cobra protagonismo la
institución, el PEI ofrece la posibilidad de financiar la contratación de uno o más consultores externos que los
acompañen, en el diseño de instrumentos de recolección de información y valoraciones, y en la elaboración de
informes.
En este sentido, el consultor tiene un rol importante particularmente en lo que respecta a las cuestiones
metodológicas y analíticas. En relación a ello, el Coordinador de la CEMICT expresó que
[las herramientas de recolección de datos] lo define la institución en conjunto con el consultor. Nosotros
financiamos un consultor que ayude en esta tarea y viste que cada consultor se siente más cómodo con
determinadas herramientas muchas veces. Entonces es un acuerdo al que llegan lo que nosotros
llamamos la Comisión de Autoevaluación (…) y el consultor o los consultores, a veces es uno, a veces son
dos, dependiendo del tamaño y la complejidad de la institución.
Justamente, la figura del consultor externo fue incorporada al programa para asegurar la calidad metodológica de
los instrumentos a partir de los cuales se realizaba la recolección de evidencia empírica, del análisis de los datos y
opiniones recogidas y de los informes resultantes.
21 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Asimismo, a la contribución de conocimiento metodológico se suma el aporte de una mirada externa, con mayor
distancia del objeto evaluado, que puede brindar una visión menos atravesada por las internas institucionales y
menos “involucrada” en términos personales y profesionales.
La receptividad por parte de las instituciones a esta mirada externa es generalmente buena ya que, por un lado, es
la propia institución la que elige a los consultores contratados y, por otro lado, no es obligatoria. En palabras de la
ex Subsecretaria de Evaluación Institucional: “No es obligatorio, nosotros se los damos como una ayuda. En general
la gente acepta la ayuda… pero es una ayuda, no es el responsable de la autoevaluación. El responsable de la
autoevaluación es la persona que la institución define”.
Dicha ayuda puede resultar muy útil ya que descomprime el trabajo de los actores institucionales, particularmente
para las instituciones cuya función de I+D está poco desarrollada y cuentan con un área pequeña o en formación.
En ese sentido, el Coordinador de la CEMICT explicó que “precisamente porque no tiene mucha dimensión la
actividad de investigación, generalmente los equipos de gestión son muy pequeños en las universidades privadas”.
En concordancia con ello, la ex Subsecretaria de Evaluación Institucional afirmó que se brinda la posibilidad de
contar con el apoyo de un consultor “porque entendíamos que (…) dado que la gente está ocupada con muchas
cosas, si uno le pone alguien que le está atrás… esto ayuda y acelera el proceso”.
Si bien la posibilidad de contratar un consultor externo para apoyar el desarrollo interno de la autoevaluación
pareciera a priori muy positivo ya que, como se dijo recién, tiene el potencial de contribuir con conocimientos
metodológicos específicos, descomprimir el trabajo de los actores institucionales y aportar una mirada externa,
menos “subjetiva”, resulta importante indagar si esto se pudo constatar en los casos de estudio.
En cuanto al rol desempeñado por el consultor en la universidad privada, la Secretaria de Investigación destacó sus
contribuciones y explicó que de algún modo el consultor encontró un camino “bastante allanado” dado el proceso
de autoevaluación que se había realizado poco tiempo antes para la CONEAU y por su propia experiencia previa
como consultora externa en un proceso de autoevaluación de una universidad pública:
[el consultor externo] encontró una persona a quién no tenía que estar explicándole todo, ya entendía las
dinámicas, entonces fue más sencillo supongo para él y el trabajo fluyó mucho mejor. Y después estuvo
lo de la coordinación, preparó los informes de los talleres y después trabajamos en el documento de los
lineamientos a partir de lo que había surgido.
Al ser consultada específicamente por su valoración del rol del consultor, la entrevistada destacó el aporte de una
mirada externa, que brinda “objetividad” al proceso: “para mí, está bueno, creo que si es un buen consultor también
y se compromete con el trabajo, la verdad que le puede dar esa mirada externa”.
En esa misma línea, el Vicerrector de Investigación valoró positivamente el aporte del consultor: “la verdad que fue
un muy buen trabajo, donde todos trabajamos pero buena parte de la redacción de esa autoevaluación y de las
consultas… puso el cuerpo [el consultor]”. Sin embargo, destacó que el aporte depende de las características del
aquel:
Lo mismo que con los pares evaluadores, depende de quién elijas y quién te toque…. No hay una
homogeneidad en la calidad de lo que te puede tocar y lo que se puede generar… para nosotros fue muy
ordenador, tenía las cosas muy claras.
De ello se desprende que la “calidad” de la ayuda que puede proporcionar la figura del consultor, depende mucho
de sus características personales, su experiencia previa, su formación y de la forma de trabajo que logra llevar a
cabo con los actores de la institución.
En el caso de la universidad pública, se contrataron dos consultoras, una senior y una junior, quienes tuvieron
diferentes funciones. A su vez, la valoración de los actores entrevistados acerca del aporte de cada una de ellas fue
22 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
desigual. Por un lado, se destacó la contribución de la consultora junior en términos de su colaboración
principalmente en el procesamiento de la información. En ese sentido, la Directora de Investigación destacó que
“el rol específico es fundamental, para tener el tiempo específico y más si tiene una formación vinculada a estos
procesos, que pueda reunir de manera objetiva los datos”.
En la misma línea el actual Secretario de CyT ofreció la siguiente reflexión:
la misma institución podría cumplir ese rol, pero lo cierto es que cualquier tipo de evaluación te pone en
escena una dinámica de acciones que no necesariamente podés cubrir con la gente que vos tenés. Si vos
tenés una persona específicamente abocada a identificar, a trabajar, a analizar datos, eso va a impactar
sin dudas… bueno, impactó, la muestra está.
Sin embargo, quien fue la autoridad responsable del proceso de autoevaluación en dicha universidad consideró que
el rol efectivamente desempeñado por la consultora senior, no le fue de utilidad, sino que por el contrario, en algún
punto obstaculizó el trabajo:
la consultora senior no me sirvió, no fue una persona que realmente me resultara de gran ayuda. De
hecho, lo último que hice, porque ella estaba contratada e iba a cobrar, fue ponerla a corregir en la
redacción del Informe nada más… pero no entendió el proceso, dijo que sabía, pero no sabía para mí, de
este proceso, sabrá de otros. Tardaba mucho en contestar y el período de autoevaluación es corto,
tardaba en contestar y cuando traía propuestas no eran propuestas aplicables a la universidad … de hecho,
hasta yo le suspendí los viajes, porque no tenía ningún sentido, de hecho me trababa más.
Frente a esta situación reflexionó de la siguiente manera: “a veces te sugieren asesores que están, que son personas
que están muy en otra universidad o en otro contexto y no tienen esa ductilidad digamos”.
La Directora de Investigación resaltó el mismo inconveniente, respecto del rol de los consultores, ante el posible
desconocimiento de las lógicas institucionales:
La mayor dificultad, a veces, y cuando no se conoce la lógica del funcionamiento de la Secretaría de
Investigación o de lo que es la función de investigación, eso se complejiza… incluso, puede ser alguien que
sepa mucho, o tenga una larga trayectoria en investigación pero yo creo que también tiene que tener la
mirada política y la mirada de todos los procesos que involucran las acciones de investigación, desde
reglamentación, desde los sistemas que se manejan, cómo se presentan las cosas, yo creo que a veces
eso es una debilidad.
• Asesoramiento técnico del PEI: acompañamiento y seguimiento
Además del apoyo recibido por el consultor, el propio programa realiza un acompañamiento a las instituciones
durante el proceso de autoevaluación. A lo largo de la experiencia acumulada por el programa, fue
incrementándose el seguimiento realizado por el PEI:
Empezamos a hacer un seguimiento más cercano, porque yo aprendí que los dejábamos solos y después
venían con algo muy estructurado, muy difícil de cambiar (…) decíamos ‘no esperen a tener una cosa
cerrada, vayan mandando los avances que nosotros podemos ayudar’. A medida que el programa iba
creciendo, iba teniendo más experiencia también, podía ayudarlos a que no tropezaran con la misma
piedra que habían tropezado otros (entrevista ex Subsecretaria de Evaluación Institucional).
En esa misma línea, el Coordinador de la CEMICT ejemplificó el acompañamiento brindado de la siguiente manera:
Ellos definen los instrumentos, pero nosotros también pedimos muchas veces que nos lo envíen para
poder, a partir de nuestra experiencia, ver y hacer sugerencias, comentarios sobre las preguntas que están
haciendo, si es completo, a quién deberían [aplicarse]… porque no todas las preguntas son para todos (…)
Hacemos diferente tipo de comentarios sobre los instrumentos.
23 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Por otra parte, el mismo entrevistado explicó que el seguimiento realizado desde el PEI busca reducir los tiempos
del proceso, anticipando y ayudando a resolver los conflictos emergentes “porque las instituciones también tienen
sus problemáticas presupuestarias, políticas, cambios de autoridades, incluso alguna tuvo algún conflicto gremial o
lo que sea, tratamos de identificarlo rápidamente y ver cómo podemos ayudarlos para que no se paralice el
proceso”.
Para poder realizar dicho acompañamiento de una manera eficiente y efectiva, se decidió incorporar la figura de
oficial de proyecto. Dicho rol fue asignado a miembros del equipo del PEI para que cada uno de ellos tenga bajo su
responsabilidad la asistencia técnica; el seguimiento de las actividades; la gestión de la evaluación externa; el
análisis de la calidad de los documentos de autoevaluación, evaluación externa y planes de mejoramiento; y el
monitoreo de instituciones determinadas.
El oficial de proyecto es que el recibe y da la no objeción al proceso de selección del consultor y el que ayuda a la
firma del contrato. Asimismo, en cuanto a lo metodológico / conceptual, es el que revisa cómo fue avanzando el
proceso (el diagnóstico y la valoración) y el que analiza el informe de autoevaluación, constatando que recorra
todas las dimensiones que tiene que recorrer, que sea completo, que las observaciones estén fundadas en datos,
que se mantenga una cierta “objetividad”.
Sumado a ello, al interior del equipo del PEI, se realiza un seguimiento y acompañamiento a los oficiales de
proyecto, mediante la supervisión de los mismos y la organización de reuniones de seguimiento para ver cómo van
avanzando las instituciones. Asimismo, los informes técnicos elaborados por los oficiales son conversados y
consensuados con las autoridades del programa.
Finalmente, cabe mencionar que, si bien hay un seguimiento pre-establecido para todas las instituciones, el grado
de participación del PEI en el proceso de autoevaluación, a través de los oficiales de proyecto, depende en parte de
la decisión de la institución de recurrir a dicho apoyo y, en parte, a las posibles dificultades surgidas a lo largo del
proceso. Por ello, resulta interesante analizar lo ocurrido en los casos de estudio, desde la visión de los informantes
clave consultados.
En ese sentido, en ambas instituciones se pudo constatar que, durante la autoevaluación, el oficial de proyecto del
PEI tuvo un rol de asesoramiento meramente en aspectos formales (dudas en cuanto a la implementación, a los
referentes que participan, a los procesos)
En consonancia con ello, una de las entrevistadas explicó que la institución “es independiente, pero si vos haces
consultas ellos te asesoran… ‘¿está bien esta encuesta o no?’… ‘no, eso no’… más de forma, por ejemplo, cuántas
hojas tenía que tener el documento y cosas por el estilo”.
• Consejo Asesor: control de calidad y aprobación de documentos
Finalmente, otro “actor” que entra en juego en la etapa de autoevaluación es el Consejo Asesor de la Subsecretaría
de Evaluación Institucional, el cual tiene a su cargo el control de calidad del proceso de evaluación institucional en
su conjunto.
Al finalizar la autoevaluación, la institución presenta el proceso y el informe realizado ante dicho Consejo. Este
último puede observar si considera que hace falta actualizar o completar algo. A partir del análisis realizado, el
Consejo “recomienda” al Subsecretario la aprobación del informe y con él la finalización de la etapa de
autoevaluación e inicio de la etapa de evaluación externa. Su rol es, como su nombre lo indica, de asesoramiento,
por lo que sus decisiones o recomendaciones no son vinculantes.
Este órgano tiene mucha importancia y se le otorga un peso considerable desde el PEI, ya que el mismo está
conformado por académicos con larga trayectoria en el ámbito universitario y en el sistema científico- tecnológico,
con vasta experiencia en investigación, en formación de recursos humanos y en gestión de instituciones.
24 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
2. Evaluación externa: una mirada desde “afuera”
En la segunda etapa del proceso de evaluación institucional, la responsabilidad recae en el equipo del PEI y,
principalmente, en los evaluadores externos. En esta instancia, la institución tiene un rol secundario, aunque
importante: las autoridades y el equipo de gestión deben recibir y acompañar a los pares evaluadores para que
puedan llevar a cabo la agenda definida y presentarles el proceso de autoevaluación realizado internamente.
Asimismo, diversos actores institucionales participan de las reuniones y entrevistas incluidas en la visita, a modo de
informantes (Cfr. Esquema N°2).
Esquema N° 2. Actores intervinientes durante la etapa de Evaluación Externa
Fuente: elaboración propia
La etapa de evaluación externa es gestionada por el PEI, a través del oficial de proyecto, quien coordina la selección
y contratación de los evaluadores, acompaña a los evaluadores en la visita y se encarga de la logística.
Los evaluadores no son parte del equipo “estable” del PEI, dada la necesidad de abarcar una gran variedad de
temáticas / disciplinas y la importancia de que sean personas con mucha trayectoria, para que sean reconocidos
por las instituciones evaluadas. Por ello, para llevar a cabo el proceso de evaluación externa en cada institución, se
eligen y contratan un grupo de evaluadores que conforman un Comité. El Consejo Asesor de la Subsecretaría es el
encargado de sugerir los integrantes de dichos Comités, en función de la disciplina de especialidad de cada miembro
del Consejo. Para cada Comité deben elegirse al menos dos evaluadores extranjeros, lo que constituye un requisito
del BID.
En cuanto a los criterios de selección de los evaluadores, sus perfiles se definen
tomando en cuenta los hallazgos de la etapa de autoevaluación, se eligen candidatos de las áreas
disciplinarias en las cuales las instituciones desarrollan o proyectan desarrollar su actividad de I+D y con
probada experiencia en planificación estratégica y en gestión de instituciones de ciencia y tecnología.
(Informe de Situación de la DINOPI, 2019, p. 20).
De acuerdo a lo señalado por los entrevistados, se busca que sean investigadores formados, con trayectoria, acorde
al perfil de investigación de la institución; personas imparciales, independientes, de criterio, que no estén
25 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
comprometidas con la institución; personas abiertas y dispuestas al trabajo colaborativo. También se incluye algún
evaluador que tenga la miraba holística desde la administración o el gerenciamiento.
En cuanto la calidad del trabajo de los evaluadores, el Informe realizado por el CIECTI afirma que “las instituciones
en general han destacado la excelencia y profesionalismo de los evaluadores, aunque, en menor medida, algunas
han puesto en cuestión sus conocimientos en temas de gestión institucional” (Porta y Pereira, 2017, p. 568).
Los actores de la universidad privada entrevistados valoraron positivamente, en términos generales, el trabajo de
los evaluadores externos. Sin embargo, se presentaron algunas diferencias de criterio respecto de algunos de los
señalamientos realizados por la evaluación externa. Una vez recibido el informe de evaluación externa:
hubo bastante discusión. Hubo como dos reuniones yendo al MinCyT… es una discusión que no está
saldada en la Argentina… CONICET está volcado a esto [en relación a las publicaciones con referato], pero
las universidades también quieren que de alguna manera la investigación genere un impacto fuera de los
que es un paper. Entonces bueno, eso fue una discusión y se llegó como a un acuerdo, bueno acá podemos
y hasta acá no podemos.
En relación a la discrepancia señalada, otro entrevistado relató lo siguiente:
Entre los pares evaluadores externos había una persona que marcó mucho eso en el documento, de
nuestra resistencia a… en realidad nosotros no teníamos ninguna resistencia a nada… simplemente
decíamos que hay otras alternativas que hay que tener en cuenta a futuro y hay otros aspectos que la
universidad tiene en cuenta y obviamente eso lo llevó a pensar que nosotros no teníamos publicaciones
en scopus… después hubo que aclararles y hacerles nosotros un informe de las publicaciones que había
en scopus… llevó a algunos ruidos innecesarios.
En el siguiente fragmento del Informe de Evaluación Externa se pone de relieve la mirada de los evaluadores
respecto a la “resistencia” de los actores institucionales, mencionada por el entrevistado:
en las reuniones que tuvieron los involucrados con los evaluadores externos, las cuales por momentos
fueron de difícil interlocución, como se ha señalado oportunamente en el presente informe, debido a la
actitud reticente de muchos de los docentes investigadores, por un lado, y de los excesivos detalles en las
reuniones con las autoridades (IEE universidad privada, 2017, p. 27).
Sumado a ello, uno de los actores entrevistado expresó que esa sugerencia puntual de los evaluadores, además de
no reflejar la realidad institucional ni el perfil pretendido para la investigación en la universidad, tampoco se
correspondía con los lineamientos políticos del Ministerio, en términos del tipo de investigación promovida:
A nuestro juicio también iba en contra de lo que [decía] el Ministerio que permanentemente pregonaba
el tema de la importancia de los trabajos de investigación que dieran respuesta a problemáticas
económicas, sociales y demás… y resulta que en el documento de evaluación externa del propio Ministerio
ponían mucho más énfasis en el impacto de las publicaciones que en los otros aspectos.
En ese sentido, el entrevistado sugirió “mejorar la selección de quiénes integran los Comités de Evaluación Externa,
que a veces los antecedentes solos no van y que tienen que tener una visión más acorde con lo que el propio
Ministerio propone”.
En relación a ello, la Secretaria de Investigación opinó que
los pares que vos lleves pueden perjudicarte o pueden beneficiarte, cuando traes extranjeros tienen que
estar muy empapados con el sistema sino el aporte no es tan significativo o el aporte que hacen está
bastante desfasado de lo que son las posibilidades de la universidad o del sistema en general (…) a mí
siempre me gustó la idea de los pares externos del exterior, creo que es un aporte, pero también es un
problema.
26 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Finalmente, sobre el perfil de los evaluadores, la misma entrevistada expresó: “la gente que viene de las
universidades públicas y van a la universidad privada ¿no? y la lógica les cuesta entenderla, a veces, no digo todas
las veces, digo que a veces es complicado entender la lógica”.
Lo expuesto hasta aquí demuestra que la visión de los evaluadores externos no constituye una mirada puramente
“objetiva”, es decir, que en muchos casos las observaciones o recomendaciones se vinculan con criterios que no
son unívocos y, por lo tanto, no existe un modo único de interpretarlos.
Esto sin embargo, no es algo particular del caso analizado, sino que es una cuestión a tener en cuenta en relación
a toda evaluación externa. Tal como lo destaca Olga Nirenberg (2018),
es dudoso que toda evaluación externa implique mayor garantía de “objetividad”, independencia e
impersonalidad, pues hay que reconocer que los evaluadores externos traen, además de sus diferentes y
valiosos saberes, orientaciones y preferencias ideológicas y teóricas propias, también ciertos
compromisos con quienes los contratan, lo cual puede empañar la supuesta “objetividad” de su labor (p.
19).
Sumado a ello, “los principales problemas de parcialidad en los juicios [de los pares externos] se deben a que toman
como base su propia experiencia, su institución de pertenencia, o utilizando como referencia el modelo de
universidad tradicional” (Marquina, 2012, p. 12).
La experiencia de la universidad pública fue distinta, en el sentido en que no emergieron cuestiones conflictivas ni
diferencias de criterios entre evaluadores y evaluados. Los informantes clave entrevistados por parte de la
universidad, coincidieron en valorar los aportes de los evaluadores, sobre todo en términos de la validación de la
mirada construida internamente y, consecuentemente, la legitimación del rumbo planificado. Por su parte, el CEE
resaltó de manera muy positiva el trabajo realizado por la institución en la autoevaluación y la interlocución lograda
durante la visita.
En síntesis, los evaluadores externos cumplen una función clave en estos procesos, ya que son los encargados de
validar la información disponible en el informe de autoevaluación, mediante reuniones con diferentes actores clave
(tanto de la institución como de su contexto de influencia) y la observación directa de las condiciones de producción
(espacio físico, infraestructura, equipamiento, condiciones de seguridad e higiene, etc.). Asimismo, gracias a su
distancia del objeto evaluado, debieran poder identificar problemáticas no reconocidas internamente o ayudar a
explorar las causas de las debilidades encontradas. También, pueden colaborar con la priorización de acciones, al
no tener intereses en juego. Finalmente, permiten validar la mirada construida internamente y, por lo tanto,
legitimar el rumbo de la gestión.
Sin embargo, la diferencia de criterio entre evaluadores y evaluados que emergió en el caso de la universidad
privada, pone en evidencia que la evaluación externa no es puramente “objetiva”, ya que existen cuestiones sobre
las que no hay un acuerdo universal sobre cómo deben ser (sino que dependen de elecciones y tomas de posición)
y, por otro lado, los evaluadores tienen sus propias orientaciones, preferencias ideológicas y teóricas, y
compromisos (Nirenberg, 2018) que ponen en juego al momento de evaluar
6
.
3. Diseño acompañado y ejecución “conjunta” de los planes
El diseño y la ejecución de los planes de mejoramiento constituyen dos fases muy diferentes en cuanto al rol
desempeñado por los actores internos y externos. Asimismo, particularmente en la fase de ejecución, hay
diferencias significativas en lo que ocurre en las universidades públicas y las privadas.
6
Cabe destacar que el PEI prevé una última instancia de “control de calidad”, dentro de la etapa de evaluación externa, a cargo del Consejo
Asesor, el cual debe aprobar el Informe de evaluación externa elaborado por el CEE.
27 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Por una parte, para ambos tipos de instituciones, el diseño del plan es una tarea realizada principalmente por los
actores institucionales y en particular por el equipo de gestión del área de investigación. De todos modos, la
institución puede contratar uno o más consultores expertos que colaboran en la elaboración de dicho plan.
Asimismo, los “oficiales de proyecto” del PEI, participan a través de la revisión del diseño, aportando su mirada
técnica sobre el documento elaborado por la institución, con el apoyo del consultor.
Finalmente, en esta sub-etapa (diseño del plan), entran en juego otros dos actores, con el fin de evaluar el
documento. Por un lado, se convoca a uno de los evaluadores que participaron de la evaluación externa, para que
realice una “evaluación de consistencia” del plan, a fin de asegurar que el mismo atienda aquello que fue detectado
en la evaluación. Luego de ello, el Consejo Asesor de la Subsecretaría evalúa la pertinencia del proyecto y el
potencial impacto en el fortalecimiento institucional, a partir del análisis del plan, el informe del evaluador y la
presentación realizada por la institución en una reunión del Consejo Asesor, en la que también participa el
evaluador de consistencia.
En el Esquema N° 3 se presentan los actores involucrados en esta fase.
Esquema N° 3. Actores intervinientes durante el diseño del Plan de Mejoramiento
Fuente: elaboración propia
Para la elaboración del plan, en la universidad privada, trabajaron la Vicerrectoría de Investigación con los
Directores de los Centros y el consultor.
En este caso el consultor elegido fue uno diferente al contratado para la autoevaluación y fue una persona que
conocía a la Secretaria de Investigación (ya que había sido su Director de tesis doctoral) y al mismo tiempo, había
tenido un rol muy importante en el PEI, en sus inicios.
En cuanto al rol desempeñado por el consultor, la entrevistada explicó que aquel
te va guiando, por lo menos yo te digo la experiencia con XX. Él no armó el plan, el plan lo armamos
nosotros y él en base al plan te señalaba cuestiones puntuales para repensarlo digamos. Se discutió
28 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
bastante con él algunas cuestiones y es un aporte más desde la expertiz, no tanto desde el decirte qué
hacer… desde lo que vos propones, la factibilidad(…)me parece que está bien, que es la institución la que
debe pensar su plan estratégico.
El Vicerrector de Investigación coincidió con dichas apreciaciones, al afirmar:
el Plan lo elaboramos prácticamente nosotros, desde la Vicerrectoría de Investigación, casi
absolutamente, con algunas indicaciones del consultor externo, pero mínimas, en cuanto a la estructura
más bien, pero todo lo que es contenido fue a partir de tener en cuenta los dos informes de
autoevaluación [CONEAU Y PEI], las evaluaciones externas y lo que nosotros veníamos pensando y
queríamos proyectar… el plan es casi de exclusividad ‘fato in casa’”.
El Decano entrevistado explicó que, si bien el plan fue elaborado por la Vicerrrectoría,
igual se circuló el plan, se circularon versiones previas, cómo se iba avanzando, pero eran claramente ellos
los que llevaban la redacción. Se tomaron sugerencias, podías hacer sugerencias y lo tomaban, se
incorporaban, pero eran ellos los que tenían el rol principal en la redacción.
En ese sentido, la Secretaria de investigación, volvió a resaltar las dificultades para lograr involucrar a los actores:
a nivel del área específica también pasa que la gente tiene distintos niveles de involucramiento, de
participación y que nunca vas a lograr el 100% de lo que a uno le gustaría… evidentemente no, no moviliza
tanto, porque después es verdad que las políticas se terminan definiendo… Si bien todos tuvieron el Plan,
nadie se acercó a decirme algo.
Finalmente, en relación al papel desempeñado por el PEI en la evaluación del proyecto, la Secretaria de
Investigación explicó que: “hubo un planteo de una modificación muy inocua digamos y no hubo discusión ni nada”
El diseño del PM, en el caso de la universidad pública, también se realizó principalmente de manera interna. Incluso,
la ex Secretaria de CyT (quien lideró el proceso) no recordaba haber contratado un consultor externo en esta
instancia.
Para la construcción de dicho documento, se realizó un proceso participativo en el que intervinieron gran parte de
las autoridades institucionales, los integrantes y directivos de los institutos (a través de talleres), e incluso la
comunidad universitaria en general (por medio de una encuesta masiva).
La cuestión más compleja a definir se vinculó con la priorizaron de las acciones y las actividades a financiar y la
distribución de los fondos. Esto estuvo principalmente a cargo de las autoridades (Rector, Vicerrectora, Decanos y
SECyTs), contemplando los insumos provenientes del proceso de evaluación y de los talleres y documentos
elaborados en el marco de los institutos y las UUAA. Finalmente, el documento definitivo fue aprobado,
internamente, por el Consejo Superior de la universidad y, externamente, por el Consejo Asesor del PEI.
En lo que respecta a la implementación de los planes, las universidades privadas lo realizan de manera
completamente autónoma, sin ninguna injerencia del PEI, ni de otros actores externos. Incluso, el PEI no cuenta
con información sobre el derrotero de los planes diseñados en este tipo de instituciones, ya que no realiza un
seguimiento ni una evaluación de su ejecución.
Muy por el contrario, en el caso de las universidades públicas, dado que los planes son co-financiados (60% por
parte del PEI y 40% a cargo de la institución), la implementación de los mismos cuenta con una participación muy
importante por parte del equipo de la DINOPI. Asimismo, se realiza un seguimiento durante su ejecución y una
evaluación a su finalización (Cfr. Esquema N°4).
En esta instancia, dos actores cobran especial relevancia: por un lado el “gerente de proyecto” y por otro el “oficial
de proyecto”. Los primeros, pertenecen a las instituciones evaluadas y son los responsables de coordinar la
29 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
ejecución del PMI. Los mismos son designados por la propia institución y tienen a su cargo la programación de las
actividades de los planes de mejoramiento, su coordinación operativa y el monitoreo de las acciones. Ambos roles
tienen una continua interacción.
Esquema N° 4. Actores involucrados en la implementación de los Planes de Mejoramiento
Fuente: elaboración propia
En la universidad pública analizada, la tarea principal recayó en la institución y, principalmente, en la figura de la
“gerente de proyecto” quien actuó como responsable de la ejecución, seguimiento, control y registro de las
acciones que demandó el plan.
Según lo relatado por la persona que tuvo el rol de gerente de proyecto, en el plan se había contemplado la
contratación de un consultor para gestionar su implementación, sin embargo, el monto previsto era escaso y, al ser
externo, no conocería los procesos administrativos de la ejecución de compras, lo que complicaría la tarea. Por ello,
“se contrató una de las chicas que era administrativa nuestra, personal no docente nuestro, entonces eso facilitó
mucho, pero bueno, todos teníamos que hacer las tareas que tenían que ver con la ejecución, por ejemplo el tema
de las compras”.
En ese mismo sentido, la ex Secretaria de CyT comentó que la persona contratada (técnica) ayudó a hacer todas las
tramitaciones, pedir presupuestos, hacer los trámites correspondientes a los pagos y al uso de los fondos del
subsidio.
En el Informe Técnico Final del PM se explicó que, dado que la contratación de un único consultor junior por 9
meses, resultó insuficiente para complementar la tarea de la gerencia en cuanto a la gestión y monitoreo de las
acciones, se contrató, con fondos propios un becario por 6 meses.
También, contaron con el apoyo del personal del PEI para facilitar las tareas: “te ayudan bastante y te agilizan
muchas cosas la gente [del PEI] que está en la parte esa, pero igual nosotros teníamos que hacer las licitaciones”.
Una cuestión importante, durante la ejecución del plan en la universidad pública, ha sido el cambio del contexto
político, que generó fuertes dificultades para concretar y completar esta etapa. A continuación citaremos el
testimonio de la ex Secretaria de CyT en relación a dicha situación:
30 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
En la parte de ejecución del plan no se dio el mismo contexto político y para mí fue más complejo, muy
complejo… [la falta de acompañamiento político] te puede realmente obstruir mucho la evaluación o la
autoevaluación, lo que estés haciendo, puede hacer que no logres el objetivo finalmente (…) Hubo un
cambio de gestión… y comenzaron a florecer otras personas que querían, que ejercieron el poder, sin
estar en el máximo cargo y entorpecieron mucho todo el proceso.
En relación a la conflictividad interna que supuso el desarrollo del plan (dificultando la ejecución de los fondos y la
implementación de las acciones previstas), la Directora de Investigación reflexionó de la siguiente manera:
Tiene que ver con los momentos políticos (…) son los procesos que hacen a las instituciones en términos
políticos… cuando te atraviesan cuestiones políticas en los procesos institucionales, es complejo (…)
cuando te solicitan determinadas acciones que vos ves que es para obstruir los procesos, eso jode… pero
a mí no me queda otra que hacerlo.
Tal como se desprende de los testimonios de ambas entrevistadas, las dificultades derivadas de conflictos de
intereses políticos internos, pueden obstaculizar y hacer menos eficiente el proceso. Según lo señalado por Peón y
Pugliese (2018) resulta una debilidad inherente al enfoque de planeamiento estratégico el hecho de que los planes
de mejoramiento institucionales hagan “caso omiso de las condiciones políticas de implementación de las medidas
mejoradoras que son pensadas como técnicamente adecuadas y factibles” (p. 104).
Sin embargo, es posible conjeturar que el hecho de existir un plan, acordado y comprometido con un órgano
externo, ante el cual hay que rendir cuentas del logro de los objetivos previstos y la manera en que fueron
alcanzados, colaboró en asegurar que el proceso se complete.
Cabe señalar que las cuestiones antes descriptas no se vieron reflejadas en el Informe Técnico Final del PM, en la
cual se valoró de manera positiva el proceso:
Se logró una participación activa de los Institutos y diversos gestores de las UUAA en la ejecución de las
acciones. Se potenció y/o mejoró la articulación con otras funciones como Posgrado, PSTI, etc. al
desarrollar en forma conjunta actividades. Es decir, se vivenció una concientización colectiva de los
esfuerzos que requiere la puesta en marcha de un plan de esta envergadura y se constató un alto nivel de
compromiso y responsabilidad de los principales actores, que fueron los verdaderos protagonistas del
plan (ITFPM, 2019, p. 5 y 6).
Conclusiones
Tal como se ha mencionado previamente, la autoevaluación es un proceso fundamentalmente interno, por lo que
existe un fuerte protagonismo de los actores institucionales, en particular los miembros de la Comisión de
Autoevaluación, que representan a las distintas unidades de gestión de la universidad, y, con mayor carga de
responsabilidad incluso, el Secretario de Investigación / CyT. De ellos depende en gran medida el éxito de esta
etapa. Asimismo, la ejecución operativa y concreta de las acciones emprendidas, también recae en el personal de
la Secretaría de investigación / CyT.
La complejidad de la autoevaluación y el grado de autonomía que tienen las instituciones en esta etapa, sumado al
carácter técnico y político de la evaluación, hacen necesarias diversas condiciones para que pueda desarrollarse
adecuadamente: voluntad política, capacidad de gestión, conocimientos metodológicos, disponibilidad de tiempo
y recursos.
Además de ello, el rol activo previsto para la institución en esta etapa, requiere de la comprensión, el compromiso,
la disposición, el involucramiento y la efectiva participación de la comunidad universitaria en términos generales.
31 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Si bien la institución carga con la mayor responsabilidad en esta instancia, una particularidad positiva del PEI es que
ofrece tanto asistencia técnica, por parte del personal de la DINOPI, como la posibilidad de contratar consultores
externos. Por un lado, los integrantes de la DINOPI actúan como facilitadores a lo largo de todo el proceso,
constituyéndose el oficial de proyecto en una fuente de consultas referida específicamente a cuestiones formales.
Por otro lado, la figura del consultor externo es potencialmente muy interesante en varios sentidos: aporte de
conocimientos metodológicos, por ejemplo, para la construcción de los instrumentos de recolección de datos;
aporte de una mirada externa, lo que podría contribuir a la fiabilidad de las respuestas así como, al momento de
valorar e interpretar los datos y opiniones recabadas, brindar una visión menos endogámica y menos atravesada
por intereses personales; reducción de la sobrecarga de trabajo al personal de la institución y, por ende, acelerar
el proceso.
De todos modos, la experiencia de trabajo con los consultores externos ha sido heterogénea, siendo en algunos
casos muy exitosa para llevar adelante el proceso y obtener resultados satisfactorios, mientras que en otros casos
enlenteció e hizo más complejo aún el proceso. Las razones del posible fracaso del consultor externo, según lo
hallado a través de las fuentes utilizadas, obedecen principalmente a la falta de conocimiento de la institución, sus
marcos normativos y sus internas políticas; la falta de experiencia y/o conocimiento y de compromiso con la tarea;
la falta de ductilidad para adaptarse a una lógica institucional distinta a la propia y, por lo tanto, el aporte de
propuestas no aplicables al contexto institucional; la incapacidad para establecer una modalidad de trabajo ágil,
consensuada y armónica con los actores institucionales; la poca disponibilidad de tiempo para la tarea, y el
consecuente retaso en sus respuestas / aportes.
En lo que respecta a la etapa de evaluación externa, el rol principal lo tienen los integrantes del CEE, con el apoyo
y colaboración del personal del PEI. Al igual que ocurre con los consultores externos, el aporte de los evaluadores
depende en gran medida de su experiencia, trayectoria y conocimientos. Sumado a ello, resulta esencial que dichos
evaluadores logren conocer en profundidad a la institución, con el fin de contextualizar los hallazgos referidos al
desempeño de la I+D. El desconocimiento de las lógicas institucionales, del punto de partida y la historia
institucional, del contexto científico-institucional local, pueden afectar su contribución.
Asimismo, después del análisis realizado, surge la importancia de que los evaluadores utilicen como marco de
referencia para la identificación de debilidades o la formulación de recomendaciones, la identidad y los objetivos
de desarrollo de la institución, a fin de generar un aporte valioso y pertinente
7
. Esto implica que deben evitar
transpolar las lógicas que tienen internalizadas (por ejemplo, si provienen de universidades públicas y evalúan
instituciones privadas o si pertenecen a instituciones ubicadas en zonas metropolitanas y analizan el desempeño
de universidades emplazadas en regiones “periféricas”). Del mismo modo, en opinión de los entrevistados, es
importante que, sobre todo los evaluadores extranjeros, conozcan las características del contexto nacional, hayan
sido formados en los propósitos del programa y estén alineados con las políticas que pregona el Ministerio.
La utilización de diferentes marcos de referencia, como ocurrió en el caso de la universidad privada, puede conducir
a que las instituciones deban planificar acciones para responder a las recomendaciones del CEE pero al mismo
tiempo complementarlas con otras que respondan a sus propias necesidades y objetivos institucionales. En dicha
decisión se visibiliza de algún modo la «resignificación» de la política por parte de las instituciones (Atairo, 2007) y
el «ensamble conflictivo» que se da en la articulación entre los procesos de instrumentación de políticas públicas y
los cambios que ocurren en las universidades respecto de esas políticas (Acosta Silva, 2000).
Finalmente, en la etapa del plan de mejoramiento, vuelven a adquirir protagonismo los actores de la institución y,
al igual que ocurre con la autoevaluación, la metodología propuesta promueve la mayor participación posible por
parte de la comunidad universitaria.
7
Ello así teniendo en cuenta que la evaluación externa no es puramente “objetiva”, ya que existen cuestiones sobre las que no hay un
acuerdo universal (sino que dependen de elecciones y tomas de posición).
32 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Durante la fase de diseño del plan, las universidades (de ambos tipos) cuentan con la posibilidad de contratar un
consultor externo, para aportarles su mirada experta desde la perspectiva metodológica, y el asesoramiento del
personal del PEI, principalmente vinculado a las cuestiones formales, pero también, para orientarlos en la
priorización de acciones a incluir en el plan, en base a los tiempos y los recursos disponibles. Esto resulta
especialmente relevante, ya que la distribución de recursos resulta un aspecto conflictivo y complejo en las
instituciones universitarias, dado que en ellas existe una pluralidad de valores en conflicto (Araujo, 2007) y, por lo
tanto, constituyen un campo de conflictos, tensiones, disputas y espacios de poder (Dias Sobrinho, 2003). Como se
expuso antes, las instancias de control previstas (análisis de congruencia por parte de un evaluador externo y
evaluación final del Consejo Asesor) contribuyen también a asegurar la calidad del plan, por lo que el rol de ambos
actores resulta importante aquí.
En lo que respecta a la implementación del plan, existe una diferencia sustantiva para las universidades públicas y
privadas. Las primeras, cuentan con asesoramiento del PEI (a través del oficial de proyecto) para asistirlos en los
procedimientos burocráticos y complejos que implica la ejecución del plan. Asimismo, mediante el subsidio
recibido, pueden contratar un asistente administrativo para aliviar la carga de trabajo de la institución. Finalmente,
como requisito del PEI, las instituciones deben designar un responsable de la ejecución del plan (gerente de
proyecto), quien coordina todo el proceso y asegura su cumplimento. Los actores externos recién mencionados
tienen una importancia clave, ya que alivianan las tareas que recaen especialmente en el personal de la institución
y, al mismo tiempo, contribuyen a disminuir errores y demoras, lo que redunda en una mejor calidad del proceso.
Esto es completamente distinto en el caso de las universidades privadas que no cuentan con acompañamiento
externo, no se les exige la designación de alguien que coordine internamente la ejecución del plan y asegure el
cumplimiento de las acciones previstas, ni se les ofrece instancias de seguimiento y evaluación de los resultados
del PM.
Finalmente, otro aspecto clave que surgió en el caso de la universidad pública en relación a la participación de los
actores en esta instancia, se vinculó con el contexto político imperante. Durante la implementación del plan existió
un cambio de gestión a nivel institucional, lo que generó un clima adverso que, según los entrevistados, complejizó
y obstaculizó las tareas inherentes a la ejecución de las acciones. En este sentido, cabe conjeturar que la existencia
de un compromiso pre-establecido con un organismo externo para llevar a cabo el plan pudo haber favorecido la
concreción del mismo.
Referencias bibliográficas
Acosta Silva, A. (2000) Estado, políticas y universidades en un período de transición. Análisis de tres experiencias
institucionales en México. Universidad de Guadalajara: Fondo de Cultura Económica.
Araujo, S. (2007) Evaluación institucional y cambio universitario. Un difícil proceso de reconstrucción. En Krotsch,
P., Camou, A. y Prati, M. (coord.) Evaluando la evaluación. Políticas universitarias, instituciones y actores en
Argentina y América Latina.(Pp. 69-94 ) Prometeo.
Atairo, D. (2007) La complejidad y diversidad en el gobierno universitario. El Fondo de Mejoramiento de la Calidad
en la Universidad Nacional de La Plata. En Krotsch, P., Camou, A. y Prati, M. (coord.) Evaluando la evaluación.
Políticas universitarias, instituciones y actores en Argentina y América Latina. (Pp. 245-265 )Prometeo.
Días Sobrinho, J. (2003) Avaliaçao da educaçao superior. Regulaçao e emancipaçao. Revista Avaliaçao, 8 (2). 31-47.
UNICAMP.
Dirección Nacional de Objetivos y Procesos Institucionales (DINOPI) (2019). Informe de situación
33 |pp 13-33|Año XIV N°25|junio 2022 – noviembre 2022|ISSN 1852-8171| Dossier
Krotsch, P., Atairo, D. y Varela, S (2007) De la simultaneidad e interacción en los procesos de construcción de la
evaluación institucional: el caso de la UNICEN. En Krotsch, P., Camou, A. y Prati, M. (coord.) Evaluando la evaluación.
Políticas universitarias, instituciones y actores en Argentina y América Latina. (Pp.97-123 ). Prometeo.
Krotsch, P., Camou, A. y Prati, M. (coord.) (2007) Evaluando la evaluación. Políticas universitarias, instituciones y
actores en Argentina y América Latina. Prometeo.
Marquina, M. (2012). Yo te evalúo, tú me evalúas… Estado, profesión académica y mercado en la acreditación de
carreras en Argentina. [Tesis doctoral. Parte I].
Nirenberg, O (2018) Autoevaluación institucional. Un camino para mejorar la gestión escolar y las políticas
educativas TESEO PRESS. https://www.teseopress.com/autoevaluacioninstitucional
Peón, C. E., y Pugliese, J. C. (2018) Universidad de masas y evaluación institucional. Apuntes para un balance a 20
años de creación de la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) en Argentina. En
Barsky, O. [et al.] La Ley de Educación Superior: impactos, desafíos e incertidumbres. 1a ed. (pp. 45-61 )–Teseo.
Porta, F. y Pereira, M. (Coord.) (2017) Informe Final. Evaluación del Programa de Innovación Tecnológica (PIT) III –
Préstamo BID Nº 2777/OC-AR. CIECTI - Centro Interdisciplinario de Estudios en Ciencia, Tecnología e Innovación.
Subsecretaría De Evaluación Institucional (2010) Manual de Procedimientos para la Evaluación Institucional y la
Formulación de los Planes de Mejoramiento de las Instituciones de Ciencia y Tecnología.
Subsecretaría De Evaluación Institucional (s/f) Guía para la Autoevaluación de la función I+D+i en instituciones
universitarias.
Thwaites Rey, M. (2005) Estado: ¿Qué Estado? En: Thwaites Rey, M. y López, A. (Eds.) Entre tecnócratas globalizados
y políticos clientelistas. Derrotero del ajuste neoliberal en el Estado Argentino. Prometeo.
Varela, S (2007) Las dinámicas del cambio en las universidades estatales. Una aproximación desde el
neoinstitucionalismo a la experiencia reciente de la UNICEN. En Krotsch, P., Camou, A. y Prati, M. (coord.) Evaluando
la evaluación. Políticas universitarias, instituciones y actores en Argentina y América Latina. (pp. 125-149)
Prometeo.
Fecha de recepción: 1/8/2022
Fecha de aceptación: 3/10/2022
