El enfoque tradicional y el enfoque experimental: entendiendo el Premio Nobel
Entrada conjunta con Anna Sanz de Galdeano
Como seguro que ya saben, la Academia Sueca de las Ciencias le ha otorgado el premio del 2019 en Economía en memoria de Alfred Nobel, a los profesores Abhijit Banerjee, Esther Duflo, y Michael Kremer por su enfoque experimental en la lucha contra la pobreza global. Mónica Martínez-Bravo y Pedro Rey ya publicaron esta estupenda entrada
en la que resumen las múltiples contribuciones de los galardonados. En
esta entrada nos centramos en un aspecto muy específico: explicar lo que
significa el “experimental approach” utilizando algunas de las
contribuciones de los galardonados en la economía de la educación. El
objetivo de esta entrada es explicar en qué consiste el enfoque
experimental y, especialmente, enfatizar la revolución que ha supuesto y
que ha motivado la elección de los galardonados. Antes de continuar,
queremos aclarar que no pensamos ni que el enfoque experimental sea el
único bueno, ni que carezca de desventajas o retos, ni que se pueda ni
se deba aplicar siempre (dejamos estas cuestiones para una entrada
futura). Es más, su co-existencia con los enfoques no experimentales con
los que se retroalimenta, contribuye al avance del conocimiento. La
entrada se basa en nuestras contribuciones a la mesa redonda que
organizó la Asociación Española de Economía junto con Fundación Ramón Areces, en la que también participó Mónica Martínez-Bravo, y cuyo video completo se puede ver aquí.
Los galardonados, con diversos colaboradores, han evaluado muchos
programas de “último eslabón”: no grandes políticas macroeconómicas ni
programas de crecimiento, sino aspectos más concretos relacionados con
cómo hacer efectiva la inversión en educación, salud, agricultura, etc.
Ejemplos de este tipo de políticas de “último eslabón” en educación
incluyen la provisión de desayunos gratis en los colegios y de libros de
texto a los alumnos o la contratación de profesores a tiempo
determinado.
Los galardonados no recibieron el Premio Nobel por haber realizado el
primer experimento de campo en Economía (ejemplos de experimentos de
campo en EEUU muy anteriores incluyen el conocido como el RAND Health
Insurance Experiment, los programas Perry Preschool Project y STAR
Project sobre desarrollo en la infancia, así como experimentos sobre el
impuesto negativo sobre la renta, entre otros). Tampoco les otorgaron el
Premio Nobel por haber realizado el primer experimento económico en
países en vías de desarrollo. En este vídeo,
Michael Kremer nos cuenta que sus comienzos en el mundo experimental
coinciden con Progresa, un programa de transferencias condicionales
diseñado por Santiago Levy
cuando fue Ministro de Finanzas de México. Progresa fue sujeto a una
rigurosa evaluación aleatoria y ha tenido un gran impacto tanto
académico como en política económica. A los galardonados les dieron el
Premio Nobel por su “enfoque experimental” en la lucha contra la
pobreza.
Para entender en qué consiste el “enfoque experimental,” conviene
describir primero el enfoque tradicional en la evaluación de políticas
públicas en países en vías de desarrollo. Usualmente, un gobierno diseña
e implementa un programa del tipo de “último eslabón.” Un académico
descubre dicho programa, quizás a posteriori, y recurre a encuestas de
hogares que se recogen rutinariamente (e independientemente del programa
que se está evaluando) y a métodos cuasi-experimentales para evaluar el
programa.
Este enfoque tradicional tiene ciertas trabas: nadie garantiza que
las encuestas de hogares que se recogen rutinariamente sean suficientes
para evaluar la política, pues es muy posible que las preguntas que
incluyen no abarquen todos los aspectos necesarios, que haya muy poco
solapamiento geográfico con las áreas geográficas donde se implemente el
programa, o que los años en los que se recoge la encuesta no coincidan
con el periodo de implementación de la política. Estos problemas, que
también tienen relevancia en los países ricos, son más importantes para
países en vías de desarrollo que no dedican tantos recursos a la
recogida rutinaria de datos.
El enfoque tradicional tiene otras trabas: estás evaluando desde
fuera y puede ser que se te perciba como una especie de auditor y que no
se comparta contigo toda la información necesaria. Además, nada
garantiza que las políticas que ha diseñado el gobierno sean las que más
necesitamos estudiar para avanzar nuestro conocimiento: a todos los
políticos les encanta cortar cintas e inaugurar escuelas. Pero la traba
que resulta más relevante para nuestra exposición es la que se hace
patente si, como resultado del estudio, aprendemos algo y surge una
nueva hipótesis de cómo hacer la inversión más efectiva. Pues, en muchos
casos, no nos queda otro remedio que esperar a que el gobierno
implemente otra política que incorpore estas lecciones, lo cual
posiblemente nunca ocurrirá. O quizás podamos encontrar una política
parecida en otro país, pero que tendrá distintas instituciones,
distintos datos, etc.
En el “enfoque experimental” por el que se ha otorgado el Premio
Nobel es un proceso experimental iterativo, en el que los investigadores
co-diseñan junto con los implementadores de programas (gobiernos,
multilaterales y ONGs) una serie de experimentos para evaluar políticas
de “último eslabón” de modo que las lecciones aprendidas de un
experimento se incorporan en el diseño del experimento siguiente. A ser
posible, recogiendo el mismo tipo de datos, de la misma manera, y en
lugares con instituciones iguales o similares a las de los experimentos
anteriores. Posiblemente, este proceso experimental iterativo no es muy
distinto de cómo realizan investigación los economistas experimentales,
si bien trabajan en el laboratorio y no directamente sobre políticas
públicas (aunque los resultados puedan ser muy útiles para el diseño de
dichas políticas).
El “enfoque experimental” tiene muchas otras ventajas. Para empezar,
la asignación de los potenciales beneficiarios al programa es aleatoria,
lo cual minimiza la posibilidad de sesgo en la estimación del efecto
del programa que se está evaluando. El método de diseño de las políticas
con los implementadores hace que te vean como compañero de viaje, y
sean muy abiertos contigo en los problemas que tienen en el terreno, lo
que ayudará a que surjan nuevas hipótesis que favorecerán la
investigación presente y futura. Pero para crear un proceso iterativo
que permita aprender de experimentos pasados e incorporar las lecciones
aprendidas en futuros experimentos resulta fundamental que los
investigadores jueguen un papel muy importante como co-diseñadores de
las políticas que se evalúan. Asimismo, el enfoque experimental brinda a
los investigadores una oportunidad única de utilizar sus conocimientos
de la literatura existente y su capacidad de analizar la evidencia
disponible identificar carencias o necesidades relevantes y para diseñar
y evaluar experimentalmente programas que aspiren a abordarlas.
El enfoque experimental ha supuesto una revolución progresiva gracias
a la cual, desde los años noventa, se han aprendido varias lecciones
valiosas desde el punto de vista de lo que funciona y lo que no (y por
qué) en la lucha contra la pobreza. En el resto de esta entrada vamos a
ilustrar con algunos ejemplos puntuales enfocados en la educación cómo
ha sido este proceso.
El aprendizaje ha sido gradual y generalizar es complejo pero, una
tras otra, las aportaciones de los galardonados y sus colaboradores han
contribuido a rellenar el rompecabezas planteado por preguntas cruciales
como: ¿qué debemos que hacer para que los niños vayan a la escuela? ¿Y
para que aprendan algo una vez que están allí?
En los años noventa, Kremer y varios colaboradores hicieron una serie
de experimentos en Kenya diseñados para abordar algunas de las
carencias más evidentes del sistema educativo del país: la escasez de
recursos en las escuelas y al absentismo tanto de los estudiantes como
de los profesores.
En uno de los experimentos se suministraron desayunos gratis a los
niños de una muestra de escuelas escogidas aleatoriamente. El absentismo
escolar se redujo en estas escuelas (con respecto a las escuelas del
grupo de control en las que no se ofrecieron desayunos gratis), pero
esto no se tradujo en una mejora generalizada en el aprendizaje de los
niños medido mediante pruebas estandarizadas. Lo mismo sucedió al
utilizar ayudas visuales al aprendizaje como los rotafolios o al desparasitar a los niños en las escuelas: se redujo el absentismo estudiantil pero los resultados de los exámenes no mejoraron en general.
Así pues, se lograron progresos en el ámbito de la reducción del
absentismo estudiantil, ¿pero qué había que hacer para que los niños más
vulnerables aprendiesen además de ir a la escuela? ¿Cómo mejorar la
calidad de la educación? Las experiencias en Kenya sugirieron que
únicamente aumentar los recursos no funcionaba, pero fueron muy útiles
porque ya arrojaron luz sobre cómo plantear intervenciones que quizás sí
podrían lograr que los niños aprendiesen más. Por ejemplo, ni la
provisión de libros de texto ni de desayunos gratis mejoraron el
aprendizaje infantil en general, pero sí el de los niños con mejores
resultados y de aquellos cuyos profesores estaban mejor formados antes
de la intervención, respectivamente. Quizás no había que descartar el
aumento de recursos para mejorar el aprendizaje de los niños más
vulnerables, pero desde luego había que hacer algo más. Aquí se ve el
proceso iterativo al que nos referíamos con anterioridad.
Desde el inicio de los años 2000 Banerjee, Duflo, Kremer y varios
colaboradores ahondaron en esta cuestión en varios países. A través de
varios análisis experimentales, constataron que los programas focalizados en los estudiantes con peor desempeño
a menudo (esto es, en distintos lugares y con diferentes
implementadores) funcionan. Además, con el paso del tiempo el diseño de
los experimentos y su integración con la teoría económica no han dejado
de mejorar y hoy en día la mayoría de los diseños experimentales no solo
aspiran a averiguar qué funciona y qué no sino por qué o a través de
qué mecanismos los programas funcionan (o no). En concreto, varios
trabajos de los galardonados han mostrado que un motivo importante por
el cual las intervenciones educativas de tipo compensatorio (como las
sesiones de refuerzo o la tecnología educativa que personaliza el
contenido de acuerdo a los niveles de aprendizaje de los usuarios a
menudo funcionan) es que la adecuación de la enseñanza al nivel de los estudiantes mejora su aprendizaje. También
hay evidencia de que agrupar a los estudiantes en función de su nivel
mejora el desempeño de los más retrasados (pese al cambio en su grupo de
pares) porque ayuda a los profesores a ajustar su docencia al nivel del
alumnado. En el ámbito de la gobernanza en las escuelas y los
incentivos al profesorado, se ha mostrado que los maestros contratados
localmente a tiempo determinado por las asociaciones de padres y
maestros faltan menos a clase y mejoran más el aprendizaje infantil que
los funcionarios contratados centralizadamente. Además, estos efectos
beneficiosos se potencian cuando la gestión escolar recae más en las
escuelas, se empodera a los padres y son las asociaciones de padres y
maestros las que seleccionan, eligen, dan seguimiento a los profesores
contratados, valoran su desempeño y, en última instancia, deciden sobre
su continuidad.
Estudios como los que hemos descrito han tejido una red de evidencia
rigurosa cuyo impacto ha sido no solo académico. Gracias al esfuerzo de
muchas personas y de instituciones como J-PAL, el Banco Mundial o el
Banco Interamericano de Desarrollo, las lecciones aprendidas a través
del enfoque experimental resultan muy accesibles y ya forman parte a
menudo del diálogo con las organizaciones no gubernamentales, con los
responsables del diseño de las políticas de muchos países en desarrollo y
con la sociedad civil. Hoy en día, cualquier persona interesada en
averiguar qué programas funcionan y dónde en el sector educativo o en
otros puede consultar las lecciones aprendidas de las evaluaciones
aleatorizadas lideradas por académicos afiliados a J-PAL en el sector
educativo o en otros puede consultarlo en la base de datos y los resúmenes divulgativos disponibles en su web. Otro ejemplo de evidencia puesta al alcance de todos es el SkillsBank,
un repositorio creado por el Banco Interamericano de desarrollo en el
que se puede consultar la evidencia disponible sobre la eficacia
relativa de las diferentes políticas para desarrollar habilidades a lo
largo de la vida. Aunque casi resulte una obviedad, no podemos evitar
subrayar que las ventajas del enfoque experimental no aplican única y
exclusivamente a los países pobres. Ojalá un día nuestros políticos
conviertan en rutina la evaluación de políticas públicas (y cuando sea
posible y beneficioso siguiendo el enfoque experimental) a los programas
destinados a mejorar nuestras vidas. En este documento sobre el anteproyecto de la Ley de Economía Sostenible, ya abogábamos al respecto.
Hay 1 comentarios
fuente
https://nadaesgratis.es/admin/el-enfoque-tradicional-y-el-enfoque-experimental-entendiendo-el-premio-nobel