¿Cómo evaluar resultados? Una estrategia para evaluar el desempeño de proyectos de I+D orientados a resolver problemas sociales y ambientales

BORTZ GABRIELA

Montevideo

Congreso; Congreso ESOCITE-LALICS 2021; 2021

ESOCITE, LALICS, UdelaR

Este trabajo se propone explorar un conjunto de indicadores para evaluar el desempeño de proyectos de desarrollo científico-tecnológico orientados a resolver problemas sociales y ambientales. En Argentina, las políticas públicas de Ciencia, Tecnología e Innovación (CTI) implementadas entre 2007 y 2015 sostuvieron que la CTI debía aportar soluciones ?en materia de desarrollo social, económico e inclusión social? (MINCYT, 2012:11). Dicho período dio cuenta de un proceso de acumulación cuantitativa en términos de insumos: multiplicación del personal dedicado a I+D, aumento del poder adquisitivo de los salarios, un incremento del presupuesto de I+D al 0,66 del PBI (2013), construcción de facilidades y adquisición de equipamiento. En términos institucionales, se multiplicaron las dependencias, programas e institutos y se crearon grandes proyectos tecnológicos. En términos discursivos, la noción de ?desarrollo con inclusión social? apareció como una dimensión explícita en la constitución de instrumentos, programas y en la construcción de la utilidad social del sistema de CTI argentino. En esta orientación, se buscó promover la utilidad social de tecnologías intensivas en conocimiento científico, sobre todo en biotecnología, nanotecnología y TIC. Desde un enfoque de ?innovación inclusiva?, el discurso estatal postuló que las políticas CTI debían direccionar el Sistema Nacional de CTI para proveer soluciones a los problemas sociales prioritarios del país (MINCYT, s.f.): la exclusión de amplios sectores de la población del acceso a agua y saneamiento, alimentos, energía, educación y salud (MINCyT, 2012). Esto se tradujo durante este período (2007-2015) en un dinámico despliegue de políticas nacionales específicas en varios niveles: creación institucional, planificación plurianual, diseño de instrumentos de política, formación de recursos humanos y, en menor medida, procesos de evaluación. Sin embargo, estas iniciativas no tuvieron como correlato la generación de soluciones concretas a las problemáticas acuciantes de grandes proporciones de la población. A pesar de las diversas políticas públicas generadas y de los múltiples instrumentos implementados, se identifican problemas y restricciones críticas en diferentes planos:(a)la orientación de capacidades científico-tecnológicas hacia generar dinámicas de desarrollo inclusivo y sustentable siguió ocupando un lugar marginal en las agendas de I+D (Brieva et al., 2016; Bortz, 2017);(b)la mayoría de las capacidades de I+D continuó siendo direccionada hacia la inserción internacional en campos científicos considerados en la ?frontera del conocimiento? y/o hacia la generación de competitividad económica a través del aprovechamiento de ?ventanas de oportunidad? (Thomas, 2012; Kreimer y Thomas, 2001; Bortz, Rosemann y Vasen, 2017); (c)la mayoría de las experiencias de desarrollo de tecnologías orientadas a resolver problemas sociales y ambientales continuaron estando basadas en tecnologías maduras, en escasa vinculación con las significativas capacidades de I+D locales (Fressoli et al., 2014). A pesar de los cambios en las agendas de políticas CTI durante este período, las formas en que las políticas fueron concebidas, diseñadas, implementadas y evaluadas tendieron a generar resultados contradictorios entre los objetivos de política explicitados y los desarrollos tecnológicos efectivamente obtenidos (Thomas et al., 2017; Bortz, 2017). En muchos casos los instrumentos específicamente diseñados para resolver problemas sociales y ambientales entraron en contradicción con otras políticas ?y sus correspondientes sistemas de incentivos y desincentivos-, inhibiendo estos esfuerzos. Esto dio lugar a una cuarta tendencia: (a)aun en el marco de políticas explícitas direccionadas a este fin, de los pocos casos de desarrollos intensivos en conocimiento científico diseñados para resolver problemas sociales y ambientales ?y con muy escasas excepciones- la mayoría de los proyectos sólo alcanzó el estadio de prototipos sin implementación, no utilizados o implementados a muy baja escala (Bortz, 2017; Bortz y Thomas, 2019). Actualmente, la evaluación de cuáles fueron los resultados de las políticas CTI para el desarrollo inclusivo y sustentable y las iniciativas científico-tecnológicas generadas a partir de éstas ha sido escasa y parcial. Algunas examinaron procesos institucionales internos (D?Onofrio, 2011), otras evaluaron en base a indicadores de insumo (financiamiento, recursos humanos, equipamiento) (Lengyel et al., 2014). Otros trabajos mostraron análisis de instrumentos ?desde arriba? (Elmore, 1979), pero sin dar seguimiento a los desarrollos tecnológicos generados ni en qué medida contribuyeron con la resolución de los problemas de desarrollo planteados. Frente a una revitalización del impulso para orientar las capacidades de CTI hacia la resolución de problemas nacionales en el 2020, esta área de vacancia de conocimiento de policy making se vuelve crítica para el mejoramiento de políticas CTI. ¿Qué sucede entre las instancias de diseño, fijación de objetivos e implementación de políticas por parte de organismos gubernamentales y su ejecución en proyectos concretos de desarrollo tecnológico? ¿Qué trayectorias siguen esos proyectos? ¿Qué resultados generaron en términos de solución a los problemas sociales, ambientales y/o productivos planteados? ¿Por qué la mayoría no logra trascender la instancia de prototipo o implementación a baja escala? ¿Por qué algunos (escasos casos) sí lo logran? Y finalmente, ¿cómo evaluar estas trayectorias a fin de extraer aprendizajes de política pública?En el escenario actual la evaluación académica se ha convertido un componente cada vez más importante en los sistemas de CTI, en la medida que sus criterios y prácticas, incentivos y desincentivos, influyen en las trayectorias de los investigadores y en la construcción de agendas de I+D. Esto requiere ir más allá de evaluaciones en clave de cuantificación (insumos, bibliometría, patentes), para dar cuenta de relaciones, interacciones, aprendizajes en clave cualitativa. Este trabajo busca contribuir a la discusión sobre la evaluación académica y de agendas de investigación de relevancia local explorando algunas dimensiones, variables e indicadores para evaluar el desempeño de proyectos científico-tecnológicos orientados a resolver problemas sociales y ambientales. La metodología de se basa en desarrollos conceptuales e investigación empírica ex ante, convirtiendo instrumentos analítico-conceptuales en instrumentos normativo-políticos.