Revista de Investigaciones Universidad del Quindío,

33(2), 214-2235; 2021.

ISSN: 1794-631X e-ISSN: 2500-5782


Esta obra está bajo una licencia Creative Commons Atribución-NoComercial-SinDerivadas 4.0 Internacional.


Cómo citar:

Lara-Caballero, Manuel; Martínez-Mendoza, Abigail; Figueroa-Romero, Raúl. (2021). Panorama de la enseñanza y aprendizajes de la evaluación de la política social en México (2012-2018). Revista de Investigaciones Universidad del Quindío, 33(2), 214-235. https://doi.org/10.33975/riuq.vol33n2.805


PANORAMA DE LA ENSEÑANZA Y APRENDIZAJES DE LA EVALUACIÓN DE LA POLÍTICA SOCIAL EN MÉXICO (2012-2018)


PANORAMA OF THE TEACHING AND LEARNING OF THE EVALUATION OF SOCIAL POLICY IN MEXICO (2012-2018)



Manuel Lara-Caballero 1 * ; Abigail Martínez-Mendoza 2 ; Raúl Figueroa-Romero 3 .


1. Universidad Autónoma Metropolitana, México. m.lara@correo.ler.uam.mx

2. Universidad Autónoma Metropolitana, México. a.martinez@correo.ler.uam.mx

2. Universidad Autónoma Metropolitana, México. r.figueroa@correo.ler.uam.mx


*Autor de correspondencia: Manuel Lara-Caballero, email: m.lara@correo.ler.uam.mx




Información del artículo:

Recibido: 6 mayo 2021; Aceptado: 23 agosto 2021


Resumen


La investigación analizó las evaluaciones externas de la política social en México, durante el periodo 2012-2018, con el objetivo de identificar el aprendizaje instrumental, social o táctico. El análisis consistió en revisar el Programa Anual de Evaluación (PAE), los informes finales de las evaluaciones, y los aspectos susceptibles de mejora de cada evaluación, considerando únicamente las evaluaciones con información completa en sus informes. Los resultados muestran un decremento en el total de evaluaciones en dicho periodo; se observa discrepancia entre la información del PAE y los programas presupuestarios; fueron realizadas 146 evaluaciones de diseño, ninguna de indicadores, 5 de impacto, siendo estas las más costosas; de los actores responsables de realizar las evaluaciones externas de diseño, destacan las instituciones de educación superior. El aprendizaje instrumental es el que más se genera porque todas las metodologías están enfocadas hacia la viabilidad y los medios de acción para lograr la eficacia. La principal conclusión es que las metodologías de evaluación propuestas por el CONEVAL tienen relación con las fases de las políticas públicas porque representan procesos incrementales de aprendizaje que deben estar sustentados en ejercicios sistemáticos de evaluación, pero no logran el ciclo completo de las evaluaciones.


Palabras clave: evaluación; políticas públicas; aprendizaje de políticas públicas; metodología.


Abstract


The research analyzed the external evaluations of social policy in Mexico, during the period 2012-2018, with the objective to identify three types of policy learning: instrumental, social, and tactical. The analysis consisted of reviewing the following documents: the Annual Evaluation Program (PAE), the final reports of the evaluations, and the aspects susceptible to the improvement of each evaluation, considering only the evaluations with complete information in their reports. The results indicate a decrease in the total number of evaluations during this period, where 146 design evaluations were carried out, none of the indicators and 5 of the impact which was the most expensive. Of all the stakeholders responsible for conducting external design evaluations, higher education institutions stand out. Instrumental learning is the main type because all the evaluation methodologies are focused on feasibility and the means of action to achieve effectiveness. The conclusion is that evaluation methodologies proposed by CONEVAL are related to the phases of public policies because they represent incremental learning processes that must be supported by systematic evaluation exercises, but they fail to achieve the full evaluation process.


Keywords: evaluation; public policies; policy learning; methodology.


Introducción


La política pública comenzó a desarrollarse como una disciplina de las ciencias sociales que intenta entender cómo los gobiernos toman e instrumentan decisiones para solucionar los problemas públicos. La evaluación de políticas públicas se ha convertido en tema central de los gobiernos porque es un instrumento que permite identificar y valorar si las acciones que realizan están cumpliendo con los objetivos y alcances planteados en su diseño e implementación, así como otros elementos que comprueben su capacidad y eficacia. En términos generales, la evaluación es un proceso sistemático de observación, recolección de datos, análisis e interpretación enfocado al conocimiento de una intervención pública con la finalidad de construir un juicio de valor con base en evidencias, donde se produce información y conocimiento de los resultados obtenidos para saber si contribuye con los fines, propósitos y metas establecidas que generen valor social (Cardozo, 2006; Cardozo, 2013; Lara y De León, 2017).


La evaluación es uno de los retos más importantes para el desarrollo de la disciplina de las políticas públicas, ya que su propio paradigma está en construcción, prevalece un desconcierto en el ámbito de la administración pública y académico sobre su significado y alcances, porque todavía persisten ambigüedades teóricas, conceptuales y metodológicas. En los países con democracias en vías de consolidación, la evaluación no ha llegado a institucionalizarse a la par de otros procesos de las intervenciones públicas como el presupuesto, la fiscalización o las auditorías, pero es una realidad que en las últimas dos décadas se ha generado un crecimiento exponencial en el ámbito de su investigación social, como una nueva rama que se desarrolla a través de la investigación aplicada vinculada con valores como la equidad, justicia social, responsabilidad gubernamental, participación, transparencia y rendición de cuentas, que buscan en su conjunto: i) incrementar el bienestar social; ii) el uso adecuado de los recursos públicos, y iii) la construcción de una cultura de la evaluación con el desarrollo y fortalecimiento de las habilidades técnicas necesarias para su ejercicio (Bueno y Osuna, 2012).


El punto de partida para entender este cambio de paradigma está vinculado con la introducción de la Nueva Gerencia Pública (NGP) en México, donde la evaluación de las actividades gubernamentales adquirió una mayor relevancia en el debate público, resultado de las crisis económicas y financieras de la década de los años setenta del siglo XX, que detonaron una serie de acciones emprendidas por el gobierno federal para cambiar la lógica funcional de sus aparatos burocráticos con la implementación de prácticas gerenciales que intentaron mejorar el desempeño del sector público en función del cumplimiento de tres objetivos (Cabrero, 1995; Martínez, 2009: 202-204): i) la eficiencia entendida como el uso racional de los recursos escasos, que se ha caracterizado por políticas de austeridad; ii) la eficacia que pone énfasis en el logro de los objetivos y metas planteados en los planes, programas, proyectos y políticas públicas, donde la evaluación tiene un papel preponderante, y iii) la legitimidad que busca fomentar la participación de la sociedad civil a través de un diálogo horizontal entre Estado-sociedad.


En el caso de México, después de un proceso errático en contextos políticos-administrativos diferenciados, inició la construcción de un sistema de monitoreo y evaluación de las políticas públicas a nivel federal con la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) en 2004, como una instancia con autonomía técnica y de gestión que tiene las competencias y atribuciones para evaluar la política de desarrollo social, donde de manera directa e indirecta fomenta una cultura de la evaluación en las dinámicas gubernamentales y organizacionales en todos los niveles de gobierno, un espacio en el que también convergen intereses de diversos actores que pueden entrar en conflicto, además de inercias estructurales que potencialmente impiden normalizar la evaluación como una actividad consuetudinaria.


Los sistemas de monitoreo y evaluación permiten conjuntar los esfuerzos aislados de evaluación para dirigirlos a procesos interrelacionados de gestión por resultados que muestren los efectos de las intervenciones sociales de manera periódica, con la intención de proporcionar información oportuna en la toma de decisiones de algunos elementos críticos como la asignación presupuestaria, la consecución de objetivos y mejorar los procesos de implementación; también es posible identificar las áreas de oportunidad y dificultades que tienen las políticas públicas ex ante y ex post que modifiquen los cursos de acción y recibir retroalimentación sobre su comportamiento, tomando las medidas consideradas como necesarias para su mejora (Ríos, 2013).


El diseño de un sistema de monitoreo y evaluación requiere analizar el contexto político y organizacional de la estructura burocrática de cada país, que esté sustentado en un marco normativo que defina las reglas del juego, en especial que exista claridad en las competencias de los diferentes actores involucrados y sus alcances, además de incentivos positivos y negativos (Programa de las Naciones Unidas para el Desarrollo, 2011). El contar con un sistema consolidado que fortalezca sus capacidades de monitoreo y evaluación permite asegurar la existencia y disponibilidad de información con las siguientes ventajas (Mackay, 2007): i) los resultados de las evaluaciones pueden incidir en la planeación, la toma de decisiones y la redefinición de problemas públicos, que tiene una estrecha relación con el ciclo presupuestario; ii) la evaluación genera información del desempeño de la gestión pública e implementación, por lo que es un instrumento que conduce a un aprendizaje; iii) los hallazgos de las evaluaciones permiten que los distintos actores rindan cuentas al entender mejor sus áreas de oportunidad, pero también reconoce los buenos resultados, y iv) en un ejercicio de política pública comparada, son un parámetro del éxito de aquellas acciones de gobierno que resuelven los problemas públicos para los que fueron diseñadas.


Por otro lado, la creación de sistemas de monitoreo y evaluación son un catalizador que detonan diversos procesos de aprendizaje social que permiten que la evaluación de políticas públicas cumpla con dos objetivos (Néstor, 2007): i) aprender de la experiencia para mejorar el diseño, la implementación y resultados de las políticas públicas, y ii) coadyuvar en la transparencia y rendición de cuentas sobre el ejercicio de los recursos públicos. El primer objetivo está vinculado con las evaluaciones formativas cuya finalidad es el aprendizaje, mientras que el segundo propósito se relaciona con las evaluaciones sumativas que construyen un juicio de valor sobre lo evaluado (Néstor, 2007). En este contexto, se necesita una cultura de aprendizaje que genere los incentivos suficientes para que los actores involucrados en las diferentes intervenciones públicas sean capaces de ser autocríticos sobre los resultados de sus acciones, distinguir entre lo que funciona y lo que no con base en evidencia sólida que provenga de la aplicación metodologías e instrumentos con rigurosidad científica, actuar en el momento oportuno con independencia de las consecuencias políticas y sensibilidad para incluir las necesidades reales de la ciudadanía con base en un diálogo creativo (Oliveros, 2015).


La evaluación en México tiene su base normativa sustentada principalmente en la Ley General de Desarrollo Social (LGDS) que se promulgó en el año 2004, que no sólo contiene los lineamientos y criterios mínimos para la identificación y medición de la pobreza, sino que busca incidir transversalmente en la evaluación de los programas y acciones que ejecuten las dependencias y entidades públicas federales al establecer la reducción de la pobreza como el indicador más importante del desempeño de la política de desarrollo social. El CONEVAL desde su creación ha diseñado las siguientes metodologías estandarizadas para evaluar diversas fases de la política: i) diseño, ii) procesos, iii) consistencia y resultados, iv) específicas de desempeño, v) indicadores, vi) estratégicas y de v) impacto. Las diferentes propuestas de modelos de términos de referencia producen información a través de evaluadores externos e internos acerca de los hallazgos, debilidades, oportunidades y amenazas de las intervenciones públicas que terminan en informes, pasan por una revisión institucional para analizar su viabilidad y establecer compromisos de las dependencias y se convierten, después de un proceso administrativo, en recomendaciones que serán discutidas a partir del mecanismo de seguimiento de los aspectos susceptibles de mejora (MASM) (Consejo Nacional de Evaluación de la Política de Desarrollo Social, 2019).


Considerando lo anterior, el objetivo de este documento es describir el panorama de la enseñanza y aprendizajes de la evaluación de la política social en México durante el periodo 2012-2018, esto a través de analizar los informes de las evaluaciones externas de la política social, porque la evaluación es una herramienta oportuna para la obtención de información que se puede transformar en aprendizaje a partir de la identificación de las fallas en el transcurso y desarrollo de las políticas. Por tal motivo, es importante conocer si dentro del sistema de monitoreo y evaluación mexicano en el periodo del expresidente Enrique Peña Nieto, las evaluaciones fueron generadoras de dicho aprendizaje o de lo contrario sólo se ejecutaron con la intención de cumplir con lo estipulado normativamente en la LGDS.


El texto se compone de tres apartados. En el primer apartado se analiza la importancia de la evaluación de políticas públicas, además de describir los límites y alcances de este concepto como medio para diversos tipos de aprendizaje de política pública. En el segundo apartado se describe el panorama de la enseñanza y aprendizajes de las evaluaciones externas coordinadas por el CONEVAL para determinar si generaron algún tipo de aprendizaje a partir de los resultados. Por último, con la intención de poner en perspectiva el ejercicio realizado, se cierra con algunas reflexiones finales.


Marco teórico conceptual


El concepto de evaluación de políticas públicas


La definición de evaluación según el Diccionario de la Real Academia de la Lengua Española (RAE) consiste en: i) señalar el valor de algo, y ii) estimar, apreciar, calcular el valor de algo, donde al vincular el concepto con las políticas públicas, la evaluación es una disciplina de las ciencias sociales que tiene como objeto la valoración, cualitativa y cuantitativa, de las decisiones tomadas por los gobiernos para resolver problemáticas sociales, donde metodológicamente y conceptualmente, se complementa de otros campos del conocimiento que provienen de la ciencia política, la administración pública, la economía, la antropología, la estadística, entre otros (Carrillo, 2015).


En el contexto de México, el CONEVAL ha promovido el uso de diferentes metodologías y modelos de términos de referencia de carácter oficial enfocados a la evaluación de los programas a nivel federal. No obstante este esfuerzo, parece que la investigación evaluativa corre el riesgo de convertirse en un catálogo de metodologías de carácter técnico con mayor nivel de sofisticación, pero que abandonan su propósito inicial de estimar y calcular el valor de algún aspecto del proceso de política pública donde ninguna evaluación puede ser valiosa por sí misma con independencia de la cosa cuyo valor se quiera estimar; por tal motivo, el centro de la reflexión en torno a la evaluación es el método más adecuado, colocando la atención en su argumentación, porque sin referencias de origen, la política no es evaluable sólo en sus méritos (Lara y De la Rosa, 2017; Rossi, Lipsey y Freeman, 2003).


Las principales características de la evaluación de políticas públicas propuestas por Cardozo (2006) son: i) determinar la relevancia y el logro de objetivos con base en elementos como la eficiencia, eficacia, impacto y sostenibilidad, entre otros; ii) proporcionar información creíble, útil y oportuna que permita incorporar las lecciones aprendidas en el proceso de toma de decisiones de los diferentes actores involucrados; iii) brindar información sobre el porqué un objetivo o resultado de una intervención fue alcanzado o no; iv) el monitoreo recolecta los hechos, mientras que la evaluación los vincula con los fines perseguidos, y v) los valores que sustentan una evaluación pueden referirse a los medios o a los fines.


La evaluación ha tomado un camino paralelo con los métodos de investigación en ciencias sociales porque comparten muchas características distintivas, modalidades y técnicas, donde existe un sesgo inicial hacia el análisis cuantitativo que buscaba la objetividad con el uso de técnicas estadísticas que garanticen la validez y precisión de la información y los resultados (Bovens, ´T Hart y Kuipers, 2008); es importante señalar que en la investigación evaluativa constantemente se omiten algunos matices, como su doble aspecto primero como método, dispositivo de la administración pública, o bien como instrumento de la política.


El primer aspecto de la evaluación como método, es más que llevar las observaciones empíricas a un lenguaje numérico, es el análisis y reflexión a partir de determinados criterios, porque particularmente en el ámbito de las políticas públicas implica considerar que “el evaluador construye un modelo teórico que explica los supuestos de los responsables de formular las políticas, el objetivo y variables, el programa, y sus interrelaciones” (Nachmias, 1995:174); el modelo teórico explicativo de los supuestos conduce a señalar la relevancia, eficacia y eficiencia de una política pública que de acuerdo con Feinstein (2007): i) la relevancia examina los objetivos con base en la estrategia; ii) la eficacia es el logro de los objetivos, y iii) la eficiencia es la relación entre el logro alcanzado y los recursos utilizados. En este sentido, como se muestra en el Cuadro 1, metodológicamente hablando es cuestionar por qué, a quién, qué, cuándo, cómo y cuánto se evalúa, es decir, se trata de un acto procedimental.


Cuadro 1. Evaluación de políticas públicas

Cuestionamientos

Resultado

¿Por qué evaluar?

Aprendizaje, rendición de cuentas, toma de decisiones

¿Quién evalúa?

Autoevaluación, evaluación independiente

¿Qué evaluar?

Proyectos, programas, políticas públicas

¿Cuándo evaluar?

Ex ante, ex post o tiempo real

¿Cuánto evaluar?

Tener presente los costos y beneficios

¿Cómo evaluar?

Tener en cuenta criterios de relevancia, eficacia y eficiencia

¿Qué factores influyen en el uso de la evaluación?

Oportunidad, credibilidad y diseminación.

Fuente: Martínez (2017: 109) con base en Feinstein (2007).


La evaluación formativa ocurre durante la implementación de las políticas porque consiste en monitorear cómo se administra o gestiona la política con el fin de ofrecer retroalimentación (Palumbo, 1987; en Parsons, 2007), donde para esta vertiente de la evaluación, Rossi y Freeman señalan dos preguntas necesarias: i) ¿hasta qué punto el programa está llegando a la población objetivo?, y ii) ¿en qué medida la prestación de servicios es consistente con las especificaciones del diseño del programa? (En Parsons, 2007: 565); es decir, se evalúa la congruencia entre las metas y acciones emprendidas.


La evaluación acumulativa es para indicar el impacto de una política, donde Palumbo (1987) indica que se trata de conocer la forma en que la política y/o el programa están llegando a la población objetivo, y trata de indicar el antes y el después, comparar regiones con o sin la política/programa, cómo las regiones recibieron los beneficios; además Navarro (2005) añade que la evaluación de impacto es sumativa porque determina en qué medida se produjeron los resultados previstos.


El otro aspecto de la evaluación es fungir como instrumento de la administración pública, este uso se introdujo en algunos bancos de fomento multilateral y en algunos organismos de las Naciones Unidas en los primeros años del decenio de 1970, donde “pronto se convirtió en parte del modus operandi de la Agencia de los Estados Unidos para el Desarrollo Internacional y conquistó el favor de muchos países en desarrollo de todo el mundo como instrumento para la toma de decisiones” (Brown, 2001: 9). En los primeros años de la década de los 90, fue el Banco Mundial, a través de su Departamento de Evaluación de Operaciones, generando el interés de países en desarrollo para comenzar a evaluar, colocando el tema en la palestra internacional como un mecanismo para atender la responsabilidad fiscal, transparencia ante la opinión pública, el uso de fondos y resultados (OCDE, 1982). Actualmente, “las evaluaciones cumplen también una importante función de responsabilidad, tan vital hoy día en el marco del buen gobierno” que se concentran en tres objetivos (Brown, 2001:11): i) el controlar abusos; ii) el buen funcionamiento de las instituciones públicas, y iii) alcanzar el aprendizaje para el mejoramiento del ejercicio del poder y la gestión pública (Wolf, 2000).


En forma conjunta, la evaluación es parte fundamental para el mecanismo de contraloría, para verificar el cumplimiento de las metas y la correcta aplicación de los recursos públicos asignados a los programas. En México, a través de los lineamientos para la contraloría de programas sociales se prevé “utilizar sistemas de evaluación y seguimiento que permitan monitorear y mejorar los programas (…), procesos de planeación, operación y evaluación de los programas sociales, mediante la participación de las comunidades” (DOF, 11-04-2008:1). En este sentido, puede decirse que la evaluación remite a una postura racional dirigida a determinar el vínculo entre los costos y beneficios, utilidad y desempeño; es un acto administrativo de control y vigilancia organizacional. La vigilancia, respecto a Giddens (en Parsons, 2007), se refiere a la supervisión de las actividades y se basa en el control de la información. De este modo, la evaluación como una herramienta al servicio de la administración pública, no sólo es racional, también está enfocada a la modificación de la cultura y el comportamiento implícito.


El Estado se encarga de vigilar y controlar los procesos organizacionales de la implementación de las políticas públicas a través de: i) recopilación, almacenamiento y recuperación de información; ii) supervisión de personas, y iii) monitoreo y control de comportamiento (Dandeker en Parsons, 2007); por lo que es útil preguntarse ¿qué recursos se han gastado o se están empleando para llevar a cabo las acciones? (Rossi y Freeman preguntan; en Parsons, 2007: 565). De este modo, la evaluación es un contrapeso para reducir la corrupción, fortalecer a las instituciones, incrementar rendición de cuentas y las buenas prácticas, así como ampliar la transparencia gubernamental, esto en el estricto deber ser de las cosas.


El otro matiz de la evaluación es considerada como un instrumento de la política, donde para Nachmias (1995) la evaluación es más un acto simbólico, una táctica para la gestión de conflictos, porque su función es apaciguar las inquietudes ciudadanas y perpetuar la racionalidad gubernamental, dado que una evaluación puede indicar que la política está sujeta a la negociación y la modificación una vez disponibles los resultados (Patton en Nachmias, 1995). Por último, se debe diferenciar la evaluación estratégica que trata de elegir aquellas políticas o programas prioritarios, donde Wiesner (2000) establece que para seleccionar las evaluaciones estratégicas se debe examinar dónde está creciendo más el gasto público o dónde existen claras señales de congestión o de fracaso.


En resumen, la evaluación de las políticas públicas es compleja por cuanto se refiere a diversas cosas en diferentes contextos, por lo que es necesario tomar conciencia de cuál es el tipo de evaluación que se realiza, y a qué modalidad responde (Martínez, 2017: 130), porque prevalece la necesidad de equilibrar los aspectos meramente metodológicos y los intereses de la administración pública o las necesidades políticas. La evaluación es utilizada por los tomadores de decisiones, pero no en la forma en que los científicos sociales esperan (Patton, 1975).


Cuadro 2. Métodos de evaluación de políticas públicas

Método

Objeto

Características

Evaluación de diseño

Determinar si el programa hace un aporte relevante a la solución de un problema específico

Sólo utiliza información secundaria.

Se realiza por lo general ex ante o ex post al año de ejecución del programa.

Busca encontrar fallos en la formulación del programa.

Evaluación de procesos

Determinación de eficiencia y eficacia del programa

Identifica las actividades sustantivas para lograr los objetivos del programa

Ofrece recomendaciones sobre aspectos susceptibles de mejora.

Identifica cuellos de botella.

Evaluación de consistencia y resultados

Ofrecer una perspectiva general de diseño, operación y resultados

Evaluación orientada a dar una perspectiva general sobre: el diseño, la planificación, cobertura, operación, percepción y resultados de un programa.

Ayuda a detectar fortalezas y debilidades específicas. Utiliza información secundaria.

Evaluación de impacto

Medir cambios en las condiciones de bienestar de la población beneficiaria

Mide aquellos cambios que pueden ser atribuibles sólo al programa en cuestión. Ofrece evidencia sobre si un programa funciona o no.

Brinda recomendaciones sobre si el programa debe o no seguir o puede ser modificado.

Evaluación de indicadores

Medir la calidad de los indicadores

Mejorar el conocimiento sobre los progresos de un programa a través de sus indicadores de desempeño.

Fuente: elaboración propia con base en Salazar (2009).


La evaluación de políticas públicas es una actividad institucional enmarcada en un proyecto político que incorpora juicios de valores con base en evidencias y criterios referenciales donde se utilizan herramientas, cuantitativas y cualitativas, de las ciencias sociales para tener un mejor entendimiento de la realidad que examina, sin ser una mera descripción o medición (Méndez, 2000; Orlansky, 2005). En el Cuadro 2 se muestran algunos de los principales métodos de evaluación donde tienen diferencias importantes no sólo en el objeto sino también en sus características, como lo señala Cardozo (2006), al hablar de método se hace referencia a procedimientos de investigación que se desprenden de una postura epistemológica y un marco teórico, en la que el evaluador, basado en esta perspectiva y un conjunto de principios y normas, realiza una serie de operaciones que le permiten seleccionar y coordinar ciertas técnicas para alcanzar sus objetivos. La evaluación de diseño, proceso y de consistencia y resultados utilizan instrumentos concretos de recolección, análisis, tratamiento e interpretación de datos que permiten realizar tanto una reflexión ex ante como ex post sobre el conjunto de lineamientos, estructuras y procesos que requiere una política pública para incrementar la probabilidad de éxito; no obstante, es importante mencionar que dentro de los diferentes métodos uno de los más importantes es el de impacto, ya que pone a prueba si una política, acción de gobierno o intervención tiene los efectos esperados, asegurándose que el impacto se atribuye exclusivamente a la política, descartando los posibles efectos de otras variables o elementos (Lara y De León, 2017).


Figura 1. Articulación de los métodos de evaluación de políticas públicas

Fuente: elaboración propia con base en Salazar (2009)


En la Figura 1 se muestra la articulación entre los diferentes métodos de evaluación con las diferentes etapas de la elaboración de políticas públicas. En una primera instancia se tiene el diseño, entendido como un proceso donde situaciones de interés público se abordan epistemológicamente como un problema público, por lo que es necesaria la intervención del gobierno con diferentes acciones que logren modificar positivamente el status-quo; con una evaluación ex ante es posible vislumbrar posibles áreas de oportunidad en puntos específicos del diseño como los que propone, por ejemplo, el CONEVAL (2019): i) justificación de la creación y el diseño del programa; ii) la contribución a las metas y estrategias nacionales; población potencial y mecanismos de elegibilidad; iii) padrón de beneficiarios y mecanismos de atención problema; iv) matriz de indicadores de resultados; v) presupuesto y rendición de cuentas, y complementariedad y coincidencia con otros programas.


La evaluación de procesos analiza los insumos y actividades que generan bienes y servicios para tener información que contribuya a la mejora de la gestión operativa de los programas, donde además de fortalecer y mejorar la implementación de los programas, se detectan las fortalezas, debilidades, oportunidades y amenazas del marco normativo, estructura y funcionamiento de los programas; aportando con esto elementos para determinar estrategias que incrementen la efectividad operativa y enriquezcan el diseño de los programas (CONEVAL, 2019).


Por otro lado, la evaluación de consistencia y resultados analiza la capacidad institucional, organizacional y de gestión de un programa analizando los siguientes elementos: i) la lógica y congruencia en el diseño del programa; ii) la planeación estratégica orientada a resultados; iii) los principales procesos establecidos en las Reglas de Operación de los programas o en la normatividad aplicable, así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuenta; iv) la estrategia de cobertura y focalización del programa; v) los instrumentos que recolectan información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y vi) examinar los resultados del programa con base en los objetivos y metas planteadas para resolver el problema o necesidad pública (CONEVAL, 2019).


Por último, están las evaluaciones de impacto que permiten medir con el uso de metodologías estadísticas rigurosas los efectos que un programa puede tener sobre su población beneficiaria y conocer si estos efectos son atribuibles exclusivamente a la intervención o fueron causados por algunos otros factores exógenos, aquí el principal reto es determinar que habría pasado con los beneficiarios si el programa no hubiera existido, por lo que se requiere información en al menos dos momentos del tiempo sobre los beneficiarios y no beneficiarios, antes y después de la aplicación del programa. En resumen, cada etapa del ciclo de las políticas públicas se le puede vincular con uno o más propuestas metodológicas que generan evidencia sobre la eficiencia, efectividad y resultados de dicha política, donde el ciclo de políticas públicas se convierte también en un ciclo de aprendizaje que debe estar sustentado en ejercicios de evaluación (De León, 2017).


El aprendizaje de políticas públicas (policy learning)


El término aprendizaje (learning) se comenzó a utilizar a partir del año de 1980 con el estudio de la psicología cognitiva, donde más tarde se vinculó con las políticas públicas bajo el supuesto que la política (politics) debe incorporar el aspecto de incertidumbre (uncentainty) porque su formulación requiere de decisión y conocimiento; también reconoce que un gobierno puede desempeñarse en diferentes condiciones de certidumbre, contingencia o incertidumbre con base en el cúmulo de conocimiento que disponga o sea capaz de producir, donde su capacidad de producción está determinada por la habilidad para desarrollar procesos de información confiables (Guerrero, 2008). El aprendizaje de políticas públicas o policy learning se puede comprender como un proceso consciente e incremental que permite mejorar el entendimiento de las causas de los problemas públicos, así como la comprensión del alcance, la efectividad y la eficiencia de los instrumentos disponibles y potenciales para su resolución; también toma en cuenta aspectos como la efectividad, los instrumentos y los recursos vigentes, que permitan dar respuesta a los problemas públicos (Dunlop y Radaelli, 2013).


En este sentido, está la propuesta del modelo incrementalista propuesto por Lindblom (1959) que establece que una política pública no es una solución definitiva sino un proceso de acercamientos a un problema público que permite mejorar en diferentes periodos los instrumentos; esto es por aproximaciones sucesivas y como lo señala complementariamente Simon (1984), los actores involucrados en la formulación de las políticas públicas tienen una racionalidad limitada desde el punto de vista económico, al no poder visualizar todas las alternativas disponibles para la solución de un problema por su naturaleza compleja, por lo que no eligen la mejor opción sino la que consideran más viable con base en las condiciones económicas, políticas, sociales e institucionales, incluso ideológicas, todo a través de un análisis de viabilidad. No obstante esta situación, se genera un proceso de aprendizaje social no sólo del problema público, sino de los instrumentos de política que necesitan la realización de evaluaciones periódicas con el objetivo de generar mejoras incrementales a través de múltiples aproximaciones (De León, 2017).


Las políticas públicas se apoyan de instrumentos diseñados específicamente para la atención de un problema público, por que son los mecanismos de aprendizaje mediante los cuales los objetivos se traducen en acciones. Las evaluaciones por si mismas pueden considerarse como instrumentos de planeación, o bien, como instrumentos de ejecución, donde ambos son los que explícitamente conducen a la concreción de las políticas, de las acciones, de los planes, programas y proyectos. En particular, a través de los instrumentos se asignan recursos “económicos, financieros, físicos, técnicos y humanos” para lograr una determinada finalidad (Fernández, Bello y Messarini, 2016:24).


El Estado se vale de información, poder legal, recursos económicos y capacidad organizacional, actúando de manera nodal al configurarse como punto central de información, donde además tiene autoridad al contar con poder legal y otras fuentes de legitimidad; asimismo, cuenta con activos, recursos y organización para su acción, de tal modo, que el funcionamiento del Estado se debe, en parte, a sus instrumentos. En suma, se puede observar que los instrumentos se encuentran en las políticas, planes, programas y proyectos de cada uno de los sectores en los que interviene, de tal modo que existe gran diversidad de éstos, en el caso de las evaluaciones, concretamente se trata de instrumentos administrativos y técnicos (Martínez, 2017):


  1. Instrumentos de planeación:
    • Administrativa: acciones de coordinación y evaluación;
    • Técnica: desarrollo de metodologías, instructivos, manuales.


  1. Instrumentos de ejecución:
    • Acción directa: permiten materializar los planes y programas en actividades y realizaciones concretas;
    • Regulación y control: reglamentan y norman las acciones;
    • Inducción: propician, en forma indirecta, conductas y efectos sobre el campo de acción en el que inciden, principalmente, a través de medidas financieras y fiscales;
    • Fomento: apoyan la participación organizada de la población afectada por una problemática específica.


  1. Instrumentos jurídico-administrativo y financiero:
    • Jurídico-administrativo: sirven para la regulación y control; están prescritos por la legislación vigente;
    • Financiero: sólo son de carácter inductivo (INE-SAHOP, 1978).


En el caso de México, por ejemplo, para elaborar los planes municipales de desarrollo se emiten determinados criterios que están apegados al Plan Nacional de Desarrollo vigente, por lo que ciertos instrumentos dan lugar a otros de tipo más específico; o bien, si se trata de un programa social, tiene reglas de operación que por sí mismas representan un tipo de instrumento, y cuando se llega a la evaluación de dicho programa, el CONEVAL, tiene definidos los instrumentos para ello (Martínez, 2018). La instrumentación de políticas puede estar formulada y ejecutada únicamente por el gobierno, en colaboración con otros actores (organizaciones de la sociedad civil, sector privado y/o ciudadanía), o bien, diseñadas solamente desde la sociedad civil (regularmente a modo de propuestas); asimismo, los instrumentos también tienen la característica de especializarse para generar aprendizaje, porque los hay en la etapa del diseño, implementación y evaluación (Martínez, 2018: 124).


La evaluación se vincula directamente con el aprendizaje porque es la fase del ciclo de políticas públicas que lo posibilita a partir de la detección de los errores durante la definición o desarrollo del problema público, lo que permite mejorar el diseño y reformular los mecanismos e instrumentos que permitan el cumplimiento de los objetivos para cumplir los objetivos. El aprendizaje de políticas es un proceso cíclico y continuo a partir del análisis de la experiencia, donde es posible identificar tres tipos de aprendizaje con base en la propuesta de Rubio (2019: 194-195):



Cuadro 3. Fallas en el proceso de las políticas públicas

Tipo de Fallas

Características

Formulación de la agenda

El gobierno toma demasiados temas para ser atendidos en el mismo tiempo

Diseño o formulación

No se comprende la naturaleza del problema, sus causas o soluciones.

Implementación

Los procesos y actores no actúan de forma adecuada para la consecución de los objetivos.

Evaluación

Al no ser capaces de retroalimentarla con los resultados de la misma evaluación.

Fuente: elaboración propia con base en Rubio (2019).


En este sentido, una condición suficiente para que la evaluación pueda generar aprendizaje (policy learning), es detectar las fallas que se pueden cometer en todo el ciclo/proceso de ejecución de las políticas públicas (policy failure) que sin duda limitan el cumplimiento de los objetivos como se muestra en el Cuadro 3, donde se detectan cuatro tipos, y donde a partir de su reconocimiento es posible gestar el aprendizaje porque son un motivo para identificar las áreas de oportunidad (Rubio, 2019). En resumen, las políticas públicas se convierten en ejercicios de aprendizaje constantes por dos razones principales: i) la incertidumbre que prevalece en los procesos de formulación y ejecución de las mismas, lo que lleva a una retroalimentación permanente entre sus diferentes fases, y ii) su contexto cambia constantemente con un riesgo inherente a cualquier decisión que se toma, por lo que necesita una retroalimentación constante (Méndez, 2020); por lo que una política pública no es algo que acontece sólo de una vez, sino que se rehace continuamente como un proceso de aproximaciones iterativas hacia objetivos y metas que puedan cambiar por la información generada con los resultados de las evaluaciones.


La evaluación de las políticas públicas en México1


En la búsqueda de la consolidación democrática, se creó a partir del año 2004 el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), de conformidad con la Ley Federal de las Entidades Paraestatales y que está agrupado en el sector coordinado por la Secretaría de Bienestar (antes Secretaría de Desarrollo Social). El decreto que regula al CONEVAL establece que deberá normar y coordinar la evaluación de la Política Nacional de Desarrollo Social y las políticas, programas y acciones que ejecuten las dependencias públicas, así como establecer los lineamientos y criterios para la definición, identificación y medición de la pobreza, garantizando la transparencia, objetividad y rigor técnico en dicha actividad (CONEVAL, 2020):

En la consecución del objetivo vinculado con la evaluación, cuenta con las siguientes atribuciones establecidas en el Decreto por el que se regula el CONEVAL (Diario Oficial de la Federación, 2005):



En la Figura 2 se muestra a nivel general la normatividad específica vigente de la evaluación de la política social en México que da sustento al sistema de monitoreo y evaluación, que reconoce y estipula cada una de las acciones para la mejora de las intervenciones sociales. La base normativa de la evaluación está compuesta a partir de diversas leyes, reglamentos y decretos que establecen las atribuciones, competencias, herramientas e instrumentos que deben de aplicar los diferentes actores involucrados en la evaluación; es importante señalar que para fines de este artículo sólo se describirán algunas de las herramientas principales que posibilitan la evaluación.


Figura 2. Normatividad de la evaluación de la política social en México

Fuente: Elaboración propia con base en CONEVAL (2020).


La Figura 3 muestra los tres principales instrumentos normativos que respaldan la evaluación de la política social en México (CONEVAL, 2018):



Figura 3. Instrumentos normativos que posibilitan la evaluación en México

Fuente: Elaboración propia con base en el CONEVAL (2018).


En este sentido, es importante analizar si las evaluaciones externas coordinadas por el CONEVAL han propiciado algún tipo de aprendizaje a través de los ASM, por lo que se profundizará en el proceso completo. El punto de partida es el Programa Anual de Evaluaciones (PAE), que se encuentra orientado a partir de los LGEPFAPF, donde se define el calendario anual propuesto con las fechas establecidas para los procedimientos, los tipos de metodologías aplicables vinculados con los programas o acciones de gobierno sujetas a la evaluación, cuyas dependencias son responsables de la contratación, supervisión y seguimiento. Las instancias encargadas de emitir el PAE y coordinar son el CONEVAL y la SHyCP a través de la Unidad de Evaluación del Desempeño, donde al primero se le atribuye por competencia las políticas, programas y acciones de desarrollo social.


El Mecanismo para el Seguimiento de los Aspectos Susceptibles de Mejora (MASM) se creó en el año 2008, con fundamento en la Ley Federal de Presupuesto y Responsabilidad Hacendaria, donde se desarrolló un mecanismo institucional que permita la discusión de los hallazgos de los informes de las evaluaciones externas, además de un análisis de su factibilidad e implementación; lo anterior porque el equipo evaluador al momento de realizar las recomendaciones presenta un problema de información asimétrica por no contar con la misma información que los responsables del programa ya que éstos últimos cuentan con más elementos y conocimiento del marco normativo, operativo y presupuestario de cada uno de los programas evaluados, además de las dinámicas organizacionales que rodean los diferentes procesos de implementación. El objetivo del MASM es determinar el procedimiento de tratamiento de las recomendaciones, así como a los responsables y los instrumentos para su seguimiento, donde se divide en cuatro etapas (CONEVAL, 2020):



En esta etapa es importante elaborar un documento que señale de forma puntual los actores que intervienen, la función que desempeña y su responsabilidad para realizar las propuestas de mejora, así como priorizar los ASM en una escala de alto, medio y bajo, además deben contener las opiniones fundamentadas sobre los resultados en cuanto a hallazgos, debilidades, oportunidades y amenazas.



Este proceso que se lleva a cabo para la mejora de las políticas públicas implica un proceso de aprendizaje incremental, que consiste en tener una serie de cambios pequeños y continuos que en sumatoria harán un cambio mayor que permitirá que los hacedores de políticas tomen mejores decisiones (Lindblom, 1959). En esta investigación se hace el supuesto que el modelo incremental de las políticas públicas es el que mejor describe la forma en que éstas se formulan porque se hace el supuesto que es un proceso de prueba y error que permite ir mejorando de manera continua la eficacia de la solución de un problema público. Por lo tanto, para que exista un aprendizaje, es necesario que las políticas sociales sean sometidas a evaluaciones periódicas para que se generen mejoras y estas se vean reflejadas al repetir el proceso de políticas públicas (De León, 2017). El Gobierno Mexicano destina una cantidad importante de recursos para las evaluaciones, por lo que es necesario reflexionar e identificar si realmente son un instrumento que genera aprendizaje en las políticas públicas, en los hacedores de las políticas públicas y en las dependencias evaluadas.


En este contexto, el CONEVAL ha diseñado, estandarizado y sistematizado las siguientes metodologías de evaluación atendiendo los criterios de confiabilidad, validez, relevancia, transparencia y representatividad (CONEVAL, 2018):



La evaluación de los programas, acciones y políticas deben cumplir con algunas características que son estipuladas en la Ley General de Desarrollo Social para garantizar la calidad y objetividad (CONEVAL, 2018):



Los elementos anteriores permiten la elaboración de informes de las evaluaciones externas que deben subir los resultados principales al Módulo de Consistencia y Resultados (MOCYR) del CONEVAL, para que posteriormente se realicen recomendaciones que contribuyan a la mejora de las políticas o programas sociales, por lo que cada una de las evaluaciones generar aprendizajes periódicos, al detonar cambios pequeños pero continuos que van a coadyuvar a la mejora de cada política, programa o acción. En suma, se puede observar la robustez de la evaluación de las políticas públicas en México, que tiene una base normativa bien argumentada, procedimientos, metodologías e instrumentos con miras al ciclo/proceso inagotable y acumulativo del policy learning.


Metodología


El análisis del panorama del desarrollo y ejecución de las evaluaciones externas en México coordinadas por el CONEVAL durante el periodo 2012-2018, se desarrolló a partir de construir una base de datos a través de la consulta de tres documentos: i) el Programa Anual de Evaluación (PAE), ii) los informes finales de las evaluaciones, y iii) los aspectos susceptibles de mejora (ASM); es importante señalar que la intención inicial era utilizar la información del PAE para identificar todos los programas sociales que debían ser evaluados con la coordinación del CONEVAL, posteriormente consultar los informes finales de dichas evaluaciones externas en conjunto con los ASM, el problema fue que mucha de la información requerida no se encuentra disponible o está incompleta en el portal de internet, por lo que se tomó la decisión metodológica de limitar el análisis sólo a las evaluaciones con información completa de los informes y los ASM.


Resultados


Panorama de las evaluaciones en México 2012-20182


La Gráfica 1 presenta el total de programas de desarrollo social registrados en el Inventario Nacional de Programas y Acciones del CONEVAL durante el periodo 2012-2018, donde la tendencia es su disminución durante todo el sexenio pasado, porque en el año 2012 se inicia con 278 y al final se termina con 155, debido a una restructuración de la administración pública que fue la compactación de los programas presupuestarios (PP) con la finalidad de mejorar su diseño, facilitar y simplificar la forma en que ejercen los recursos, fortalecer la transparencia y generar ahorros por reducción de estructuras administrativas, que de acuerdo con Pérez-Jácome (2012), las compactaciones fueron resultado del análisis realizado en diversas evaluaciones que en su momento encontraron que algunos programas compartían objetivos, atendían a la misma población o había duplicidades en su operación.


Gráfica 1. Total de programas de desarrollo social en México, 2012-2018

Fuente: elaboración propia con base en los informes finales de las evaluaciones externas del CONEVAL.


Las limitaciones de información por parte del CONEVAL en los informes finales de las evaluaciones externas requirió analizar las siguientes tres variables: i) el total de programas y políticas registradas en el Inventario Nacional de Programas y Acciones, ii) el total de evaluaciones contempladas en el PAE y, iii) las evaluaciones externas que cuentan con informes de resultados completas; esta información es útil para conocer la cobertura en materia de evaluación de los programas presupuestarios, además de identificar las inconsistencias de las bases de datos que presenta el CONEVAL.


Gráfica 2. Evolución de las evaluaciones de los programas y políticas en México, 2012-2018

Fuente: elaboración propia con base en información del CONEVAL.


Los datos de la Gráfica 2 muestran discrepancias entre la información del PAE con los programas presupuestarios registrados en el Inventario Nacional de Programas y Acciones, porque se esperaría que las evaluaciones registradas en el PAE sean siempre menores que el registro total de programas pero esto no sucede para el año 2016 y 2017; por otro lado, sólo en el año 2012 el cien por ciento de los programas registrados en el PAE contaron con toda la información disponible, pero para los demás años se redujo drásticamente, lo que puede significar dos escenarios: i) muchas de las evaluaciones no se realizaron por razones administrativas o de recursos, ii) es información faltante en las bases de datos del CONEVAL. El no contar con los datos completos de los informes finales de todas las evaluaciones ejecutadas durante el periodo 2012-2018, permite analizar sólo 536 con la información completa lo cual es una muestra representativa en términos estadísticos.


Cuadro 4. Total de evaluaciones por tipo de metodología aplicada, 2012-2018

Año

Diseño

Consistencia y resultados

Procesos

Específica de desempeño

Indicadores

Impacto

Total

2012

14

3

0

137

0

2

156

2013

5

2

3

13

0

0

23

2014

35

2

1

115

0

0

153

2015

40

1

4

0

0

1

46

2016

51

3

5

0

0

0

59

2017

0

80

1

2

0

0

83

2018

1

5

5

3

0

2

16

Total

146

96

19

270

0

5

Fuente: elaboración propia con base en información del CONEVAL.


El Cuadro 4 permite analizar dos elementos del panorama de las evaluaciones en México. El primero es la dimensión temporal durante el periodo completo del 2012 al 2018, donde al inicio del sexenio fue cuando más evaluaciones se reportaron con un total de 156, en segundo lugar fue casi a mitad de sexenio en el año 2014 con 153, pero la tendencia es decreciente para terminar en el 2018 sólo con 16, lo que muestra que el aprendizaje generado por las evaluaciones perdió importancia para el gobierno. La segunda dimensión tiene que ver con el tipo de metodologías aplicadas que permite mejorar las políticas públicas en diferentes momentos del ciclo, donde destacan en primer lugar las evaluaciones específicas de desempeño con 270 que concentran el 50% del total, que son una valoración del desempeño de los programas sociales durante un ejercicio fiscal, donde se muestra el avance en el cumplimiento de los objetivos y metas programadas, la situación es que este tipo de evaluaciones por lo general son internas, vinculadas con el monitoreo y de carácter operativo; en segundo lugar se encuentran las de diseño con 146 que son resultado de la creación de nuevos programas presupuestarios resultado de la compactación, por lo que se generó información importante para mejorar los programas presupuestarios desde el inicio; en tercer lugar están las de consistencia y resultados con 96 que en su mayoría se generaron casi al final del periodo de gobierno, lo cual indica que había interés del gobierno de analizar la capacidad institucional, organizacional y de gestión los programas. Por último, las que menos se realizaron fueron las de proceso y las de impacto con 19 y 5 respectivamente, por lo que no hubo interés de mejorar los procesos de implementación de los programas presupuestarios o de conocer los efectos finales.


Gráfica 3. Costo promedio de las evaluaciones por tipo de metodología, 2012-2018

Fuente: elaboración propia con base en información del CONEVAL.


La Gráfica 3 presenta el costo promedio de las evaluaciones durante el periodo de análisis por tipo de metodología, donde las que presentan el costo promedio más elevado son las de impacto con aproximadamente cinco millones y medio de pesos para sólo 5 evaluaciones, lo cual es relevante porque si bien todos los tipos de evaluaciones generan algún aprendizaje, las de impacto proporcionan información sobre los efectos finales del programa y su efectividad; en otras palabras, la metodología que mejor información ofrece sobre los resultados de una intervención es la más costosa y de mayor complejidad estadística. En segundo lugar están las evaluaciones de procesos que se ubican con un costo promedio de $684,015.00 pesos porque requieren de trabajo de campo para analizar los procesos de implementación del programa, mientras que las de diseño tienen un costo promedio de $124.057.11 de pesos por necesitar sólo un análisis de gabinete; las más económicas son las de consistencia y resultados y específicas de desempeño.


Gráfica 6. Entidades responsables de las evaluaciones externas, 2012-2018

Fuente: elaboración propia con base en información del CONEVAL.


La Gráfica 6 presenta los diversos actores responsables de realizar las evaluaciones externas de diseño, donde en primer lugar destacan las instituciones de educación superior con 41, en segundo lugar, los organismos internacionales con 32 y en tercer lugar la sociedad civil con 31; otra mención importante son los consultores independientes con 22 y empresas consultoras. Lo anterior muestra evidencia que la universidad y los organismos internacionales son actores importantes para evaluar la política social en México y el aprendizaje que se genera, lo que da credibilidad a los resultados porque se espera que sean actores relativamente neutrales, donde además destacan el Instituto Interamericano de Cooperación para la Agricultura (IICA), el Centro de Investigación y Docencia Económicas, A. C. (CIDE) y los evaluadores independientes que concentran el mayor número de evaluaciones.


Análisis del aprendizaje obtenido a partir de las evaluaciones externas coordinadas por el CONEVAL 2012-2018


Los resultados del apartado anterior permiten determinar el tipo de aprendizaje que propiciaron las evaluaciones externas durante el periodo 2012-2018, donde para precisar el tipo de aprendizaje se utilizó la propuesta de Lara y Germán (2020) de asociar tres tipos de aprendizaje de políticas públicas con las seis metodologías aplicables a las evaluaciones externas coordinadas por el CONEVAL como se definen a continuación en la Figura 4.


Figura 4. Tipología de aprendizaje de políticas públicas con metodologías de evaluación

Fuente: elaboración propia con base en Lara y Germán (2020).


Los diferentes tipos de metodologías propuestas por el CONEVAL se asocian con algún tipo de aprendizaje como se muestra en el Cuadro 5: i) todos los tipos de metodologías están vinculadas con el de corte instrumental porque buscan la viabilidad y los medios de acción de la lógica de la eficacia, ii) el aprendizaje de tipo social se relaciona con las metodologías de Consistencia y Resultados, Especifica de Desempeño e Impacto, ya que este tipo de evaluación busca la redefinición de los objetivos de la política pública, y iii) el aprendizaje de tipo táctico lo generan las evaluaciones de Procesos, Específicas de Desempeño e Impacto, dicho aprendizaje va dirigido a la capacidad en la que los actores valoran las alternativas de los programa o política.


Cuadro 5. Vinculación del aprendizaje por tipo de metodología de evaluación

Metodología de evaluación externa

Tipo de aprendizaje

Evaluación de Diseño

Aprendizaje instrumental

Evaluación de Consistencia y Resultados

Aprendizaje instrumental

Aprendizaje social

Evaluación de Procesos

Aprendizaje instrumental

Aprendizaje táctico

Evaluación Especifica de Desempeño

Aprendizaje instrumental

Aprendizaje social

Aprendizaje táctico

Evaluación de Indicadores

Aprendizaje instrumental

Evaluación de Impacto

Aprendizaje instrumental

Aprendizaje social

Aprendizaje táctico

Fuente: elaboración propia con base en Lara y Germán (2020).


Cuadro 6. Resultados de la vinculación entre el aprendizaje y las metodologías

Tipo de aprendizaje

AÑO

Instrumental

Social

Táctico

2012

156

142

139

2013

23

15

16

2014

153

119

116

2015

46

2

1

2016

59

3

5

2017

83

82

3

2018

16

10

10

Fuente: elaboración propia.


Por último, se identifican los tres tipos de aprendizaje generados a partir de la aplicación de las metodologías de evaluación durante cada año del periodo de estudio donde se tienen los siguientes comentarios:



Conclusiones


El presente trabajo de investigación analizó las evaluaciones externas de la política social coordinadas por el CONEVAL durante el periodo 2012-2018, con el objetivo de identificar tres tipos de aprendizajes: instrumental, social y táctico. Los resultados indican que las metodologías de evaluación propuestas por el CONEVAL tienen relación con las fases de las políticas públicas porque representan procesos incrementales de aprendizaje que deben estar sustentados en ejercicios sistemáticos de evaluación para que recorran el ciclo completo de las evaluaciones: diseño, procesos, específica de desempeño, consistencia y resultados, indicadores e impacto, con la finalidad de tener un aprendizaje integral. En el caso de las evaluaciones externas en México realizadas durante el periodo 2012-2018, no se observó integralidad y continuidad de las evaluaciones en los PAE, donde al inicio se realizaron más evaluaciones de diseño porque era necesario debido a los nuevos programas presupuestarios resultado de la compactación, mientras que en los últimos dos años del sexenio se enfocaron en las evaluaciones de consistencia y resultados para conocer los resultados en términos de logro de los objetivos de los programas; además durante todo el periodo se realizaron específicas de desempeño para dar un monitoreo constante de las metas y resultados vinculados con el año fiscal, pero en términos generales, fueron pocas las evaluaciones de procesos e impacto por cuestiones económicas debido a su alto costo y su complejidad, donde México todavía no cuenta con la capacidad técnica para incrementar la oferta, por lo que como no se cierra el ciclo de evaluación, el proceso de acercamientos continuos de Lindblom (1959) no necesariamente se traduce en aprendizaje, sino que se vuelve azaroso, en el mejor de los casos.


Por último, es importante señalar algunas de las condiciones necesarias para que las acciones que genera el CONEVAL puedan convertirse en un instrumento de aprendizaje:



En última instancia, es necesario señalar también algunas de las dificultades para que la evaluación puede convertirse en un instrumento de aprendizaje:



REFERENCIAS


  1. Bovens, M., & ´t Hart, P. K. (2008). The politics of policy evaluation. En R. Goodin, M. Moran, & M. Rein, The Oxford Handbook of Public Policy (págs. 319-335). London: Oxfor University Press.
  2. Bueno, C., & Osuna, J. L. (2012). La evaluación de políticas públicas en las ciencias sociales: entre el ser y el deber ser. Revista de Investigación Social, 176-208.
  3. Cabrero, E. (1995). Del administrador al gerente público: un análisis de la evolución y cambio de la administración pública, y del perfil de dirigentes de organizaciones gubernamentales. Ciudad de México: Instituto Nacional de Administración Pública (INAP).
  4. Cardozo, M. (2006). La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México. Ciudad de México: Miguel Ángel Porrúa.
  5. Cardozo, M. (2013). Políticas públicas: Los debates de su análisis y evaluación. Revista Andamios, 39-59.
  6. Carrillo, J. (2009). La dimensión política de la evaluación de políticas. Revisa Opera, 53-65.
  7. CONEVAL . (03 de Junio de 2020). CONEVAL. Obtenido de Glosario Evaluación: https://www.coneval.org.mx/Evaluacion/Paginas/Glosario.aspx
  8. CONEVAL. (2018). Sistema de monitoreo y evaluación de la política de desarrollo social en México. . México: Memorias del CONEVAL 2006-2018.
  9. Consejo Nacional de Evaluación de la Política de Desarrollo Social. (2019). Calidad de las evaluaciones del CONEVAL: elementos institucionales y metodológicos. Ciudad de México: CONEVAL.
  10. Consejo Nacional de Evaluación de la Política de Desarrollo Social. (2019). Marco Normativo para la evaluación de la política y los programas de desarrollo social en el ámbito federal en México. Ciudad de México: CONEVAL.
  11. Cruz-Rubio, C. (2014), Hacia el gobierno abierto: Una caja de herramientas. OEA. Serie: OEA/Ser.D/XX SG/SAP/
  12. De León, A. P. (2017). Aprendizaje en la política social de la Ciudad de México: un análisis de las evaluaciones externas de Evalúa DF de 2008 a 2016. En M. Lara, & J. De la Rosa, Análisis y evaluación de políticas públicas en México: una agenda de investigación (págs. 259-284). Ciudad de México: Juan Pablos Editor.
  13. DOF. (2005). Decreto por el que se regula el Consejo Nacional de Evaluación de la Política de Desarrollo Social. México: Secretaría de Desarrollo Social.
  14. Dunlop, C., & Radaelli, C. (2013). Systematising Policy Learning: From Monolith to Dimensions. Political Studies, 599-619.
  15. Guerrero, O. (2008). Contingencia, incertidumbre y políticas públicas. En R. Velázquez, Políticas públicas y desastres (págs. 19-25). Ciudad de México: Instiuto Mora.
  16. Herbert, S. (1984). El comportamiento administrativo: estudio de los procesos de adopción de decisiones en la organización administrativa. Buenos Aires: Aguilar.
  17. Lara, M., & De León, A. P. (2017). Análisis y evaluación de políticas públicas. Una reflexión conceptual y metodológica. En M. Lara, & J. De la Rosa, Análisis y evaluación de políticas públicas en México. Una agenda de investigación (págs. 23-50). Ciudad de México: Juan Pablos Editor.
  18. Lara, M., & Germán, A. I. (2020). Aprendizaje de la política social en México: un análisis de los informes de las evaluaciones externas del CONEVAL (2012-2018). Lerma de Villada: Proyecto terminal de la Universidad Autónoma Metropolitana.
  19. Lindblom, C. (1959). The Sciencie of “Mudding Through”. Public Administratio Review, 79-88.
  20. Mackay, K. (2007). Cómo crear sistemas de SyE que contribuyan a un buen gobierno. Washington, D.C:: Banco Mundial Grupo de Evaluación Independiente.
  21. Martínez, J. (2009). La nueva gerencia pública en México. Una medición de su intensidad e impactos en las entidades del país. Convergencia Revista de Ciencias Sociales, 199-227.
  22. Martínez, M. A.  (2017) “El doble aspecto de la evaluación de las políticas públicas y cuatro casos de estudio”, en Lara, Caballero M., De la Rosa, R. J.J. (coords.). El análisis y evaluación de políticas públicas en México: una agenda de investigación. México, Universidad Autónoma Metropolitana-Unidad Lerma, Juan Pablos Editores.
  23. Martínez, M. A. (2018) “Valles Centrales. “La Confrontación De Instrumentos De Política Hídrica, Derechos Y Resoluciones”, en Ramos A., Méndez, B. Propuestas de política en regiones y municipios en Oaxaca. AM Editores.
  24. Méndez, J. L. (2000). Lecturas básicas de Administración y Políticas Públicas. Ciudad de México: Colegio de México, Centro de Estudios Internacionales.
  25. Méndez, J. L. (2020). Políticas públicas. Enfoque estratégico para América Latina. Ciudad de México: Fondo de Cultura Económica.
  26. Navarro, H. (2005). “Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza”, en Serie Gestión Pública, No 41. CEPAL, Chile
  27. Néstor, O. (2007). Evaluación pragmática de políticas públicas. Información Comercial Española, ICE. Revista de Economía, 19-32.
  28. Oliveros, J. C. (2015). Aprendizaje colectivo y evaluación descentralizada en el análisis de políticas públicas. Economía & Región, 109-130.
  29. Orlansky, D. (2005). Investigación social y políticas públicas. XXV Congreso ALAS (págs. 1-11). Porto Alegre: Facultad de Ciencias Sociales de la Universidad de Buenos Aires.
  30. Pérez-Jácome, D. (2012). Presupuesto basado en resultados: Origen y aplicación en Mexico. Ciudad de México: Secretaría de Hacienda y Crédito Público (SHyCP).
  31. Presidencia de la República. (2005). Decreto por el que se regula el Consejo Nacional de Evaluación de la Política de Desarrollo Social. Ciudad de México : Diairio Oficial de la Federación (DOF).
  32. Programa de las Naciones Unidas para el Desarrollo. (2011). National Evaluation Capacities: Proceedings from the International Conferencia. Washington, D.C.: UNPD Evaluation Office.
  33. Ríos, N. (2013). El Sistema de Monitoreo y evaluación de programas sociales del Estado de México. Ciudad de México: Centro de Investigación y Docencia Económicas (CIDE).
  34. Rosas, J., & Sánchez, A. (2017). La evaluación de las políticas públicas en Jalisco. Una aproximación desde la metaevaluación. Política y cultura, 201-223.
  35. Rossi, P., Lipsey, M., & Freeman, H. (2003). Evaluation. A systematic approach. London: Sage Publications.
  36. Rubio, C. (2019). Aprendizaje de políticas públicas. El caso del Instituto Coahuilense de Acceso a la Información Pública en México. Revista Opera, 187-212.
  37. Salazar, C. (2009). La evaluación y el análisis de políticas públicas . Revista Opera, 23-51.

1 En todo este apartado se utiliza la información disponible para el público en el portal de internet del CONEVAL a través de la información y documentos normativos que proporcionan en la sección de “Normatividad en Materia de Evaluación”: https://www.coneval.org.mx/Evaluacion/NME/Paginas/constitucion_politica.aspx

2 En este apartado se reconoce la participación de la alumna Alma Itzel Germán Corona de la Licenciatura en Políticas Públicas de la Universidad Autónoma Metropolitana Unidad Lerma en la elaboración y análisis de la base de datos, quien también participó en el proyecto de investigación “Análisis y evaluación de políticas públicas”.