Recibido: 17/2/2022 / Aceptado: 8/6/2022
doi: https://doi.org/10.26439/interfases2022.n015.5778
Ciencia de datos en la evaluación del impacto
de las políticas públicas: Una revisión
de la literatura
Ganimedes T. Rosales Reyes
grosalesr@unmsm.edu.pe / orcid: 0000-0001-6415-6109
Universidad Nacional Mayor de San Marcos (UNMSM), Lima, Perú
Lograr que las políticas públicas realmente logren resultados que mejoren la calidad de vida de las personas es un tema que siempre preocupa a los decisores públicos; más aún en un contexto de restricciones presupuestales como el que la mayoría de países atraviesa o atravesará en la situación de pospandemia. Por otro lado, la ciencia de datos, la inteligencia artificial, los datos abiertos y, en general, las tecnologías impulsadas por las grandes cantidades de datos cada día van ganando terreno en el ámbito de la gestión pública. El presente artículo tiene por objetivo conocer el estado actual de las investigaciones acerca de la interacción entre estos dos ámbitos, tomando como objeto de estudio la aplicación de la ciencia de datos a la evaluación del impacto de las políticas públicas, a fin de identificar los vacíos en la investigación existente. Luego de una revisión sistemática de la literatura, se encontró que el objeto de estudio propuesto no ha estado en el centro de la investigación académica. Lo que se ha investigado es el ciclo completo de desarrollo de políticas o la gestión pública en general. Se verificó también que esta interacción entre la cosa pública y la ciencia de datos aún es un campo emergente y, en opinión de muchos académicos, hacen falta investigaciones con una visión holística y con una mirada que vaya más allá de lo eminentemente técnico.
PALABRAS CLAVE: políticas públicas / big data / ciencia de datos / evaluación de impacto / modelo
Data science in the evaluation of the impact of public policies: A literature review
Ensuring that public policies deliver results that improve people's quality of life has always been a central concern of public decision-makers, especially with budgetary restrictions such as the ones most countries are going through or will go through in the post-pandemic context. On the other hand, data science, artificial intelligence, open data, and, generally, technologies driven by large amounts of data are gaining ground in public management. This article aims to determine the current state of research on the interaction between these two disciplines, studying the application of data science to the impact assessment of public policies and identifying research gaps. A systematic literature review revealed that the proposed object of study has not been at the center of academic research. What has been investigated is the complete cycle of policy development or public management in general. The study also verified that the interaction between public affairs and data science is still an emerging field, and, in the opinion of many academics, what is lacking is research with a holistic vision that sees beyond the eminently technical.
KEYWORDS: public policies / big data / data science / impact assessment / model
1. INTRODUCCIÓN
En principio, es preciso aclarar que si bien el objeto de estudio de la presente investigación se enmarca en la evaluación del impacto de las políticas públicas y las tecnologías impulsadas por las grandes cantidades de datos como la ciencia de datos, big data, inteligencia artificial (IA) o el aprendizaje máquina, términos que en adelante se usarán, indistintamente, como elementos que la soportan, en la literatura revisada se verifica que en muchos casos se ha abordado el asunto de una manera más amplia, enfocándose en la interacción de estas tecnologías, con la administración pública en general o con el ciclo completo de desarrollo de políticas públicas, e incluso con los esfuerzos que despliegan los países para el logro de los objetivos de desarrollo sostenible (ODS), compromisos que deben ser logrados en el año 2030. En esta sección se describirán cuales son las brechas, sendas o espacios por explorar al respecto, identificados por los autores de la literatura revisada y que, en adelante, denominaremos simplemente como “problemas”, es decir, aquellos que potencialmente se podrían convertir en objetos de estudio para investigaciones futuras.
Varios autores de los artículos revisados han coincidido, en mayor o menor grado, en la identificación de ciertos problemas de investigación y dentro de dichas coincidencias se observa un espectro muy variado en cuanto al alcance de los mismos. Para Ballester (2021), el cual podría ser ubicado en el espectro más amplio de la problemática, existe una ausencia de investigación con una visión panorámica sobre las características del sector público para adoptar las tecnologías habilitadas por la IA; de otro lado, en el extremo más acotado podríamos ubicar los problemas asociados a la incertidumbre generada por los modelos que se utilizan para la toma de decisiones automatizada en el sector público; así para Knüsel et al. (2020) es necesario investigar más acerca de la cuantificación de la incertidumbre de los modelos basados en datos, a las cual denomina “incertidumbre de segundo orden”.
Dada la gran cantidad y variedad de problemática identificada en la literatura revisada, para facilitar su comprensión estos se han agrupado en cuatro temas. El primero de ellos, al que se ha denominado “interacción entre políticas públicas y ciencia de datos”, está relacionado propiamente al objeto de estudio planteado para la presente investigación, es decir, a la relación existente entre las políticas públicas, ya sea como ciclo completo o como alguna de sus etapas, y las tecnologías habilitadas por los grandes datos. El segundo tema denominado “ausencia de una visión holística” está relacionado a la ausencia de una visión amplia e integral de las investigaciones realizadas sobre la administración pública y la ciencia de datos y tecnologías asociadas como habilitador. Para definir el tercer y cuarto tema, se tomaron en cuenta los roles que desempeña el sector público frente a estas tecnologías, de acuerdo con Pi (2021), los sectores públicos tienen un doble papel, como usuarios y como reguladores; en tal sentido, en el tercer tema, al que se le denomina “condiciones a favor y en contra”, se agruparán los problemas identificados que están relacionados a aquellas barreras o habilitadores que dificultan o facilitan su adopción en el sector público, es decir, cuestiones relacionadas a su rol como usuario. Finalmente, el cuarto tema denominado “impacto en el entorno” agrupará los problemas relacionados a posibles efectos negativos de la adopción de estas tecnologías en el entorno en general, es decir, efectos no deseados del uso de estas tecnologías en la sociedad, medio ambiente, economía, etc., y que el sector público, en su rol de regulador, debe tener en cuenta.
De acuerdo con Zhang et al. (2021), a pesar de que existe una interacción relativamente activa entre las disciplinas de análisis de políticas y ciencia de datos, dicha interacción aún se encuentra en una fase inicial, en tal sentido, es de esperar que haya poca bibliografía que ahonde de manera íntegra dicha interacción; por tal motivo, en el presente estudio se han considerado artículos que aborden tanto el tema desde un punto de vista amplio, sector público en general, así como artículos que han tratado dicha interacción desde un sector en particular del ámbito público.
2. METODOLOGÍA
Para la presente investigación, se plantean las siguientes 4 preguntas, con las cuales se pretende lograr conocer el estado actual de las investigaciones llevadas a cabo sobre la ciencia de datos y su interacción con las políticas públicas:
Pregunta 1: ¿Cuál es la interacción entre políticas públicas y ciencia de datos?
Pregunta 2: ¿Existe una ausencia de visión holística en la investigación sobre la interacción de ambas disciplinas?
Pregunta 3: ¿Cuáles son las condiciones a favor y en contra para que el sector público, en general, y la evaluación de impacto de políticas públicas, en particular, obtengan beneficios de la ciencia de datos?
Pregunta 4: ¿Cuál es el impacto en el entorno que ocasionaría la adopción de la ciencia de datos en el sector público?
Además, con el propósito de lograr una adecuada recopilación de toda la información relevante que permita tener una idea de la situación actual sobre el conocimiento relacionado a la ciencia de datos y su aplicación a la evaluación de impacto de las políticas públicas, se consultaron las bases de datos Scopus, Science Direct, Web of Science, IEEE, ACM y Ebsco, utilizando como palabras clave de búsqueda las siguientes; “public policies”, “evaluation”, “assessment”, “model”, “data science” y “big data”. Con ese mismo fin se establecieron como criterios de exclusión aquellos documentos que no correspondían a artículos de investigación y aquellos que fueron publicados con anterioridad al año 2017.
Resultado de la búsqueda, se encontraron en total 261 documentos que cumplían con las características descritas y que por lo tanto potencialmente podrían contribuir al estudio; luego de una revisión minuciosa del título, resumen y conclusiones de cada uno de ellos, se eligieron 49 artículos como relevantes y, finalmente, luego de una revisión de la introducción y en algunos casos de las metodologías, se seleccionaron 20 artículos que conforman el universo para la presente investigación.
La base de datos que más contribuye con cantidad de artículos al presente estudio es Scopus, con 9 seleccionados, y en la que no se pudo encontrar ninguno fue Web Of Science; además de los 20 artículos, 16 corresponden a la condición de arbitradas y 4 no arbitradas; respecto al año de publicación, 8 fueron publicados en el año 2021, 5 en el año 2020, 4 en el 2019, 2 en el 2018 y uno en el año 2017. En cuanto a la categoría de cuartiles, 12 de los artículos han sido publicados en revistas categorizadas en el primer cuartil (Q1), 3 tanto en el segundo (Q2) y tercer cuartil (Q3), y uno en el cuarto cuartil (Q4). Cabe mencionar que uno de los artículos seleccionados fue publicado por la ACM International Conference Proceeding Series, indexada a Scopus, a la cual no se le ha asignado ningún cuartil a la fecha.
En cuanto a las revistas consultadas, las siguientes 19 fueron las que aportaron los artículos para la presente investigación: ACM International Conference Proceeding Series, Economic Annals-XXI, EJournal of EDemocracy and Open Government, Environmental Modelling and Software, Government Information Quarterly, Habitat International, Heliyon, IEEE Instrumentation and Measurement Magazine, IEEE Transactions on Engineering Management, International Journal of Information Management, Journal of Cleaner Production, Journal of Data and Information Quality, Knowledge Organization, Policy Sciences, Sustainability (Switzerland), Sustainable Cities and Society, Telecommunications Policy, The Computer Journal y Transportation Research. La que más aportó fue la revista Government Information Quarterly con 2 artículos.
3. RESULTADOS
A continuación, con base a la revisión de literatura realizada se dan respuesta a las cuatro preguntas de investigación planteadas.
3.1 Interacción entre políticas públicas y ciencia de datos
En cuanto a este tema, los investigadores de la literatura revisada han abordado sus investigaciones tomando como objeto de estudio a las políticas públicas en general, así como aquellas políticas públicas en sectores específicos, para nuestro caso en concreto, sector salud, transporte y medio ambiente.
Las investigaciones relacionadas con las políticas en general se han orientado a dilucidar principalmente tres aspectos: a) evaluar el impacto de la inteligencia artificial (IA) en el marco del ciclo de las políticas públicas, b) cómo la ciencia de datos puede contribuir al proceso de definición de políticas públicas, desde un punto de vista sociotécnico, y b) la forma en que la ciencia de datos se ha involucrado en el análisis de políticas.
Para Valle-Cruz et al. (2020), el ciclo de las políticas públicas tradicional se dinamiza a través del conocimiento que se genera impulsado por las tecnologías de las grandes cantidades de datos, sin embargo, indica como necesario llevar a cabo análisis más exhaustivos de los efectos de la IA en las políticas públicas, utilizando diferentes métodos de investigación y considerando aspectos legales, morales y éticos, así como la legitimidad, transparencia, opacidad, discriminación algorítmica y discrecionalidad en la toma de decisiones.
De otro lado, Arnaboldi y Azzone (2020) investigan, desde una perspectiva socio-técnica, la forma en que la ciencia de datos puede contribuir al proceso de definición de políticas públicas y, haciendo uso de la metodología investigación-acción, proponen un procedimiento y un conjunto de roles necesarios para adecuar la demanda y la oferta de datos dentro del proceso de definición de políticas, considerando los aspectos sociales que rodean a la interacción, entre los actores dentro de este proceso, los responsables políticos y los especialistas en análisis de datos; sin embargo sugieren que hace falta más investigación al respecto, reconociendo que el proceso y el resultado de las políticas varían en función de los datos empleados y el nivel de vaguedad o ambigüedad que rodea a la necesidad política, por ello recomiendan estudiar más casos para confirmar sus resultados exploratorios.
Finalmente, Zhang et al. (2021), en su investigación de naturaleza bibliométrica inteligente, busca proporcionar información empírica sobre la participación de la ciencia de datos en el análisis de políticas, concluyendo que se trata de un campo de estudio de interés emergente para la comunidad de ciencia, tecnología e innovación política (STIP, por sus siglas en inglés), pero la literatura que aborda esta interfaz es limitada, lo cual supone un campo fértil por explotar para los investigadores.
Respecto a las investigaciones de políticas públicas y la ciencia de datos en sectores específicos, se observa que han tenido por objetivo proponer nuevos o mejorar modelos existentes para desarrollar políticas en su sector específico. Bassolas et al. (2019), haciendo uso de los registros de teléfonos móviles que alimentan un modelo de transporte basados en actividad (MATSim: Multiagent Transport Simulation), demuestran que es posible tomar mejores decisiones acerca del transporte privado y recomienda explorar, con técnicas similares a la utilizada, el impacto de estas políticas en el transporte público y cómo la demanda puede migrar entre uno u otro tipo de transporte. De otro lado, Anisetti et al., (2018), en su investigación, la cual es una extensión de un trabajo propio anterior, cuyo propósito es sugerir una forma mejorada de desarrollar políticas de salud pública, considerando un equilibrio entre calidad de vida y la privacidad, en el marco de una ciudad inteligente en Europa, las cuales están afectas al cumplimiento del Reglamento General de Protección de Datos (GDPR, por sus siglas en inglés), proponen el modelo Model-Based Big Data Analytics as a Service (MBDAaaS), el cual según los autores, aumenta la transparencia y reduce la complejidad del diseño y la gestión de las campañas de big data. Producto de este trabajo, dichos autores sugieren mayor exploración para cerrar la brecha que existe entre las políticas de salud pública, que toman forma de leyes, reglamentos y directrices que los investigadores proponen y las que finalmente se promulgan y aplican, asimismo indican que para la definición de políticas públicas de salud no solo se pueden tomar datos de las fuentes de soluciones tradicionales, sino incluso de las redes sociales, a fin de integrar la dimensión social en el análisis del escenario de la salud personal, previéndola de una visión holística a la misma; en ese sentido, cobra relevancia realizar mayores investigaciones para asegurar los aspectos éticos de los datos, confidencialidad, anonimato en su análisis para evitar interpretaciones erróneas y conclusiones inadecuadas.
3.2 Ausencia de una visión holística
Los autores han identificado oportunidades de mayor investigación, debido que a su juicio las que se han realizado no tuvieron una visión holística; así, por ejemplo, para Ballester (2021) existe una ausencia de investigación panorámica sobre las particularidades del sector público para utilizar o adoptar las tecnologías habilitadas por la IA. Según este autor, se han realizado investigaciones en su rol de regulador, pero no de usuario, y esto es de suma importancia ya que en el sector público, a diferencia del privado, las innovaciones deben tener muy poco margen para el error debido a las restricciones presupuestales. De otro lado, Y. K. Dwivedi et al. (2021) afirman que muchos de los debates de investigación en torno al sector público y la IA se centran en los aspectos técnicos y el desempeño de la tecnología, por lo que es necesario un debate más amplio que considere las repercusiones culturales y sociales de la tecnología en el contexto de la vida de las personas. Finalmente, del Río Castro et al. (2021), en su búsqueda de las brechas que existen en la investigación sobre si la digitalización y sus paradigmas pueden contribuir a superar las deficiencias en la consecución de los ODS al 2030 por parte de los países, identificaron 7 categorías de brechas por estudiar, entre las cuales se encuentra la existencia de una falta de entendimiento de la naturaleza sistémica e interrelación entre sostenibilidad y digitalización.
3.3 Condiciones a favor y en contra
De acuerdo con Manny et al. (2021), la digitalización en sí misma no suele aportar beneficios inmediatos, por el contrario, produce despilfarro si las grandes cantidades de datos no se comparten, tratan y analizan adecuadamente. En este grupo de problemas, recopilamos aquellas condiciones o factores que facilitan o dificultan la obtención de beneficios de la digitalización por parte del sector público y que han sido identificados por los investigadores como aspectos que merecen mayor investigación. Cabe señalar que, de la literatura revisada, este es el grupo donde los investigadores ha encontrado un mayor potencial para futuras investigaciones.
Se identificaron 19 problemas que encuadran en este grupo, dada esa cantidad, variedad y, en muchos casos, nivel de especificidad de los mismos, estos se han subcategorizado siguiendo el esquema de análisis de una organización basado en tres elementos: personas, procesos y tecnología.
En la subcategoría relacionada a personas, se identificaron 5 problemas, con mayor y menor grado de amplitud en su planteamiento; así, por ejemplo, desde un punto de vista amplio, Pi (2021) manifiesta una preocupación por el estudio de la transformación cultural de las instituciones públicas hacia una cultura impulsada por la IA y Dwivedi et al. (2021) indican que los dirigentes de la administración pública parecen ser lentos a la hora de reaccionar ante los cambios tecnológicos, lo que demostraría la existencia de un déficit de conocimientos y la necesidad de un cambio cultural en el sector público. Por otro lado, en esta misma subcategoría, pero desde un punto de vista más acotado, del Río Castro et al. (2021) manifiestan que uno de los problemas que merecen mayor investigación son los roles y responsabilidades confusos y la pobre coordinación entre ellos. A su vez, Arnaboldi y Azzone (2020) sostienen que es necesario profundizar en el estudio de las competencias y conocimientos de los 3 roles que identificaron en su investigación, que no son puramente técnicos (traductor, negociador de datos, scrum master), a fin de evaluar si el sector público está plenamente preparado para asumir las nuevas funciones requeridas. Finalmente van der Voort et al. (2019) sugieren una investigación más amplia de la dinámica de interacción entre los analistas de datos y los responsables de la toma de decisiones, indicando además que esto se puede entender mejor con las ideas de las ciencias del comportamiento y estudiando el fenómeno en múltiples niveles, tales como el organizativo, el de procesos y el individual.
Respecto a la subcategoría de procesos, los investigadores identificaron 5 problemas relacionados a deficiencias en el diseño de la administración pública para el logro de sus objetivos, monitoreo y rendición de cuentas, así como asimetrías de información y transparencia. Para del Río Castro et al. (2021), en su investigación relacionada a la interrelación que existe entre la sostenibilidad y la digitalización, identificaron una brecha de investigación existente a los problemas de diseño y desequilibrio, argumentando que la agenda de los países es el resultado de un complejo proceso político en lugar de un diálogo basado en la ciencia, lo que lleva a una ambición diluida a la hora de establecer los objetivos finales; además, remarcan que a pesar de la pretendida ambición holística, los objetivos y las metas no están bien conectados, permaneciendo inspirados en una filosofía basada en silos, dominada por la dimensión económica y debilitando la realización de los objetivos. Asimismo, Dwivedi et al. (2021) plantean que la política tradicional de estrategias a largo plazo, que normalmente optan los gobiernos centrales y los departamentos del sector público, no funciona con tecnologías que cambian rápidamente como la IA, sería mejor si adoptaran una estrategia de planes a corto y medio plazo que pueda ser lo suficientemente flexible como para hacer frente al cambio tecnológico y a los probables avances. En cuanto a monitoreo y rendición de cuentas, mientras que Manny et al. (2021) sugieren que es necesario tener consideraciones en las investigaciones acerca de la rendición de cuentas, ya que la evaluación de datos y la publicación de los resultados de la evaluación pueden aumentar la transparencia y, por tanto, la responsabilidad de las autoridades públicas responsables; del Río Castro et al. (2021) identifican desafíos en el monitoreo y evaluación, debido al vacío de datos, métricas inadecuadas, metodologías de evaluación y rendición de cuentas defectuosas. Por otro lado, van der Voort et al. (2019) indican que, entre los analistas de datos y los responsables de la toma de decisiones, existen asimetrías de información y problemas de transparencia en los procesos de big data, que es necesario estudiar desde una perspectiva más allá de la técnica.
Finalmente, respecto a las barreras de naturaleza técnica o tecnológica con los que la administración pública se enfrenta para adoptar la ciencia de datos, se identificaron 9 problemas de investigación, relacionados a la opacidad de los algoritmos de IA, la incertidumbre de estos modelos y dificultades en el tratamiento de las grandes cantidades de datos. Para Pi (2021), muchos de los beneficios en torno a la inteligencia artificial aún no se han materializado en los sectores públicos, debido a su naturaleza opaca y los requisitos de rendición de cuentas de los gobiernos, por lo que se puso en marcha la inteligencia artificial explicable (XAI, por sus siglas en inglés), que es un campo multidisciplinario en la intersección de las ciencias sociales y la inteligencia artificial, pero que la investigación actual tiende a adoptar una visión centrada en los algoritmos, ignorando las necesidades específicas de los usuarios del mundo real. En esa misma línea de problemas relacionados con la poca transparencia de la inteligencia artificial, Dwivedi et al. (2021) sugieren una mayor investigación para responder a las preguntas: ¿qué niveles de garantía algorítmica son necesarios?, ¿cómo pueden los humanos confiar en un enfoque de caja negra de la IA?, ¿cómo podemos saber qué niveles de prueba y escenarios aplicados han sido usados para validar el algoritmo de IA?, ¿qué niveles de soporte tendrían los humanos si las decisiones tomadas por la IA son cuestionables? Por otro lado, respecto a la incertidumbre, Knüsel et al. (2020) recomiendan realizar una mayor investigación sobre los principios que deben tenerse en cuenta para la toma de decisiones en situación de incertidumbre, así como en métodos para la cuantificación de la incertidumbre de segundo orden; en esta misma línea, Astanakulov (2020) también señala que las incertidumbres se consideran factores que afectan negativamente al proceso de modelización, conducen a diversos errores y reducen la calidad de los resultados finales, por lo que estas deben ser investigadas sobre todo con enfoques cuantitativos. Finalmente, respecto a las dificultades para el tratamiento de las grandes cantidades de datos, Casaccia et al. (2021) señala que existen varios retos de ingeniería acerca de las fuentes de las grandes cantidades de datos que hay que tener en cuenta, especialmente en términos de integrabilidad de los sensores, conectividad y rendimiento metrológico, con el fin de obtener sistemas de medición fiables y precisos. También en ese sentido, Bassolas et al. (2019) indican que el potencial de las nuevas fuentes de datos (de grandes cantidades) conlleva una serie de retos que debe ser investigada; por un lado, se disponen de muestras mucho más grandes que las obtenidas con las encuestas tradicionales y, por otro lado, los datos no se han producido originalmente con el fin de recoger información que se requiere, por lo que a menudo son ruidosos y/o están sesgados; así mismo, Anisetti et al. (2018) plantean la cuestión de cómo gestionar los datos procedentes de los dispositivos IoT. Con una visión un poco más amplia, Shah et al. (2021) manifiestan que los resultados de su investigación, acerca del ecosistema de grandes datos del Gobierno (GBDE, por sus siglas en inglés), requieren de una verificación práctica para asegurar su relevancia para la industria y proponen para ello aplicar sus resultados a una organización del sector público utilizando un estudio de caso, así mismo sugiere que algunas áreas críticas de la GBDE, como, por ejemplo, el ecosistema de big data (BDE, por sus siglas en inglés), necesitan una atención especial por parte de la comunidad investigadora pertinente. Sobre este mismo concepto BDE, Victorino et al. (2018), en su investigación, donde proponen un ecosistema de big data que gestiona el almacenamiento de datos de diferentes fuentes y formatos para la gestión pública brasileña, y que aseguran proporcionará un valioso apoyo para la evaluación de programas sociales y la gestión de políticas públicas, sugieren que es necesario continuar con las investigaciones para abordar el desafío de dotar a las aplicaciones de la capacidad suficiente para manejar este “entorno de big data”, de modo que la información vital y decisiva sea fácilmente accesible.
3.4 Impacto en el entorno
Los problemas que se han identificado en este grupo están relacionados a dos elementos donde las externalidades que ocasionaría la adopción de la IA son negativas: el medio ambiente y la sociedad. Para del Río Castro et al. (2021), en la interacción, digitalización y sostenibilidad, las tecnologías no solamente desempeñan un rol positivo, sino que están acompañadas de problemas aún desconocidos, sobre todo éticos, sociales y medioambientales, que pueden poner en peligro el desarrollo de las tecnologías medioambientales que a su vez ponen en peligro el logro de los ODS. En ese mismo sentido, Kostoska y Kocarev (2019) sostienen que las tecnologías tienen el potencial de aumentar las amenazas a nuestro medio ambiente, la seguridad y la sensación de bienestar, y para mitigar estas amenazas se requiere una transformación de las sociedades más rápida y sustancial que en el pasado. Por otro lado, Dwivedi et al. (2021) sostienen que es necesario seguir investigando para determinar cómo pueden extenderse los beneficios de la IA al conjunto de la sociedad, teniendo en cuenta que existen pocas pruebas que demuestren que los gobiernos poseen una estrategia tangible o un conocimiento profundo para regular la IA y facilitar que esto ocurra. Del mismo modo, Engin y Treleaven (2019), en su investigación sobre cómo desarrollar sistemas para transformar los servicios públicos, sugieren que deberían llevarse a cabo más debates intersectoriales para considerar otras dimensiones sociales importantes en relación con el modo en que los ciudadanos se relacionan con el Gobierno, para ellos un mayor trabajo cualitativo y tecnológico, en torno a las cuestiones de la equidad, la transparencia, la privacidad y la responsabilidad, sería complementario para construir sistemas integrales en el espacio de las políticas públicas. Finalmente, Kuziemski y Misuraca (2020) indican que a medida que los gobiernos, municipios y los organismos públicos de todo el mundo recurren a la toma de decisiones automatizada en sectores tan diversos como la sanidad, la aplicación de la ley y los servicios sociales —a veces con resultados subóptimos o injustos—, es fundamental considerar en las investigaciones futuras, las direcciones deseadas del desarrollo del campo y examinar las prácticas algorítmicas existentes, planteándose preguntas como ¿qué objetivos deben perseguir las organizaciones del sector público al encargar sistemas de decisión automatizados? y ¿a qué beneficios se debe dar prioridad? Estos autores señalan que a pesar de los trabajos existentes, sobre los sistemas de apoyo a la toma de decisiones y la interacción persona-ordenador (HCI), los dilemas a los que se enfrentan actualmente los responsables políticos distan mucho de ser sencillos y binarios.
4. DISCUSIÓN DE LOS RESULTADOS
De lo encontrado en la literatura revisada, se puede afirmar que el objeto de estudio con el que se inició la presente investigación, es decir, la evaluación de políticas públicas a través de la ciencia de datos, no ha sido tratado de manera específica, sino que las investigaciones se han realizado tomando como objeto de investigación, al ciclo completo de las políticas públicas o a la gestión pública en general. Otros de los aspectos a resaltar, es que todos los autores revisados dan cuenta, en mayor o menor medida, de que la interacción entre la ciencia de datos y la gestión pública, en general, o las políticas públicas, en particular, es un campo emergente que aún no ha sido estudiado lo suficiente y que dicha interfaz necesita ser abordada con una visión holística y considerando aspectos más allá de los netamente técnicos. Una tercera idea, que puede ser muy útil para enmarcar toda la discusión acerca de este tema, es la de considerar al sector público con respecto a la IA en dos roles distintos, la de usuario y la de regulador; si tomamos esto en cuenta, es posible afirmar que, en ambos roles, el sector público enfrenta desafíos de distinta naturaleza y los autores coinciden, en su mayoría, que ha habido más investigaciones en su rol de regulador que como usuario. Finalmente, respecto a los problemas identificados, podemos hacer una síntesis afirmando que existen amplias oportunidades de investigación, ya sea abordando el tema desde un punto de vista holístico, es decir, tomando al sector público o al ciclo completo de las políticas públicas en su conjunto, o desde un punto de vista más acotado, como el estudio de métodos para reducir la opacidad o desvelar el concepto de caja negra de la IA en la toma de decisiones automatizada en el sector público; en esa misma línea, otro aspecto importante de estudio para investigaciones futuras y, en especial, para la evaluación de políticas públicas son los desafíos que representa el tratamiento de grandes cantidades de datos, ya que cada vez más los gobiernos adoptan políticas de datos abiertos, sin embargo aún no existen marcos o métodos que permitan manejarlos de una manera adecuada, y aunque existen investigaciones en las que se demuestra su aplicación, como la llevada a cabo por Lin et al. (2018) donde verifican que utilizando métodos y marcos de big data a los métodos tradicionales, se puede mejorar la capacidad de gestionar los riesgos de inundaciones y evaluar la efectividad de los planes de respuesta en una ciudad China, sin embargo estos estudios son realizados en sectores específicos, quedando pendiente investigar sobre cómo generalizar estas prácticas.
Respecto a las metodologías utilizadas por los investigadores, se observa que una gran mayoría ha utilizado como diseño predominante de su investigación los estudios de caso (encontrados en 11 artículos), luego el análisis de contenido (encontrados en 6 artículos), y en menor frecuencia, los experimentos (encontrados en 2 artículos) e investigación acción (solo en 1 artículo), aunque para ser más exactos, muchas de esas investigaciones utilizaron una combinación de métodos, como el estudio llevado a cabo por Knüsel et al. (2020), quienes con el fin de proponer un marco para la evaluación de la incertidumbre, en primer lugar llevaron a cabo una revisión de contenido de los frameworks existentes, para en base a ello proponer un modelo (al que denominaron “ejemplo de juguete”) que luego evaluaron a través de un estudio de caso.
Por otro lado, respecto a los marcos teóricos utilizados, se ha encontrado una gran variedad en cuanto a enfoques y alcance, que es lo que se esperaba dada la variedad en la amplitud y enfoque de los problemas que han abordado los investigadores revisados. Entre los marcos teóricos con un amplio alcance que pueden ser destacados se encuentran: el marco TIC para abordar los ODS, cuyo objetivo es gestionar la complejidad de los ODS y proporcionar conocimientos para construir plataformas de TIC propuestas por Kostoska y Kocarev (2019); el marco propuesto por Ballester (2021), denominado “marco de adopción-clasificación de IA para instancias gubernamentales”, cuyo propósito es proveer de criterios tangibles para evaluar el despliegue de proyectos de IA en el sector público; el modelo de tres niveles (individual, organizativo e institucional) y 4 condiciones (ausencia de una visión, falta de recursos, ausencia de cultura de digitalización y fragmentación administrativa) propuesto por Manny et al. (2021), resulta relevante pues puede ser un punto de partida para la identificación de las barreras que enfrenta el sector público para la adopción de la IA, y finalmente el ciclo dinámico de la políticas públicas (DPPC, por sus siglas en inglés) tratado por Valle-Cruz et al. (2020), quienes integran la IA al ciclo tradicional y cuyo objetivo es explicar el impacto de estas tecnologías al desarrollo de políticas públicas que se complementaría bastante bien con el ciclo de big data, referido por Arnaboldi y Azzone (2020) en su investigación.
Del mismo modo, entre los marcos teóricos asociados a la problemática más específica o de menor alcance podemos citar como relevantes a la inteligencia artificial explicable (XIA, por sus siglas en inglés), tratada en el artículo de Pi (2021), cuyo objetivo es contribuir a reducir la opacidad de los algoritmos IA, el cual según su proponente es en última instancia un problema de interacción persona-ordenador (HCI, por sus siglas en inglés); el marco basado en argumentos, para evaluar la incertidumbre en los modelos basados en datos estudiado por Knüsel et al. (2020), resulta interesante para las investigaciones orientadas a resolver los problemas de incertidumbre de segundo orden; los modelos basados en actividad, que con respecto a los basados en procesos representan ventajas para estimar los efectos de las políticas, que en el caso estudiado por Bassolas et al. (2019) se aplicó al transporte privado, pero que es posible trasladarlo a otros sectores; otro marco conceptual, aunque orientado a aplicaciones específicas del sector salud, resulta relevante para las investigaciones relacionadas a evaluar el impacto de políticas públicas, es el entorno vital inteligente (SLE, por sus siglas en inglés), que representa un marco para diseñar entornos que faciliten las mediciones a través de sensores del bienestar de las personas estudiado por Casaccia et al. (2021); y finalmente en este grupo podemos mencionar, como un marco relevante para investigaciones futuras relacionadas al tema, a los ecosistemas de grandes datos del Gobierno (GBDE) cuyo fin es lidiar con el desafío de tratar con grandes cantidades de datos de diferentes fuentes y formatos, estudiado con amplitud por Shah et al. (2021).
La principal conclusión a la que se llega en la presente investigación es que la evaluación de políticas públicas mediante IA no ha sido tratada de manera específica por los investigadores de la literatura revisada, sino más bien se observa que los estudios se han enfocado ya sea a todo el ciclo de desarrollo de políticas o al sector público en general. También se encontraron estudios sobre políticas públicas en sectores específicos, que es donde se ha hecho mayor referencia a la evaluación de impacto de las mismas, pero no como un tema central sino como uno complementario, a la mejora del desarrollo de las mismas impulsada por IA. Esta evidencia podría estar sugiriendo que existen dificultades para un estudio general, en lugar de aplicaciones a sectores específicos, sobre la evaluación de políticas públicas y ciencia de datos, las cuales pueden estar relacionadas, a su vez, a una ausencia de marcos teóricos sólidos que permitan estudiar la evaluación de impacto de políticas con una visión amplia e integrada del sector público. De otro lado, reconociendo que el presente estudio tuvo limitaciones que pueden haber ocasionado la omisión de artículos de relevancia, se sugiere una mayor investigación de literatura, utilizando palabras clave como inteligencia artificial, aprendizaje maquina, entre otras, y métodos bibliométricos inteligentes, para confirmar que los estudios sobre evaluación de políticas públicas solo se han dado en sectores específicos del ámbito público y tratar de dilucidar por qué los mismos no se han podido generalizar.
REFERENCIAS
Anisetti, M., Ardagna, C., Bellandi, V., Cremonini, M., Frati, F., & Damiani, E. (2018). Privacy-aware Big Data Analytics as a service for public health policies in smart cities. Sustainable Cities and Society, 39, 68-77. https://doi.org/10.1016/J.SCS.2017.12.019
Arnaboldi, M., & Azzone, G. (2020). Data science in the design of public policies: dispelling the obscurity in matching policy demand and data offer. Heliyon, 6(6), e04300. https://doi.org/10.1016/J.HELIYON.2020.E04300
Astanakulov, O. (2020). National projects and government programmes: Functional algorithm for evaluating and modelling using the Data Science methodology. Economic Annals-XXI, 183(5-6), 51-59. https://doi.org/10.21003/EA.V183-05
Ballester, O. (2021). An artificial intelligence definition and classification framework for public sector applications. ACM International Conference Proceeding Series, 67-75. https://doi.org/10.1145/3463677.3463709
Bassolas, A., Ramasco, J. J., Herranz, R., & Cantú-Ros, O. G. (2019). Mobile phone records to feed activity-based travel demand models: MATSim for studying a cordon toll policy in Barcelona. Transportation Research Part A: Policy and Practice, 121, 56-74. https://doi.org/10.1016/J.TRA.2018.12.024
Casaccia, S., Revel, G. M., Cosoli, G., & Scalise, L. (2021). Assessment of domestic well-being: from perception to measurement. IEEE Instrumentation and Measurement Magazine, 24(6), 58-67. https://doi.org/10.1109/MIM.2021.9513641
del Río Castro, G., González Fernández, M. C., & Uruburu Colsa, Á. (2021). Unleashing the convergence amid digitalization and sustainability towards pursuing the Sustainable Development Goals (SDGs): A holistic review. Journal of Cleaner Production, 280(Part 1). https://doi.org/10.1016/J.JCLEPRO.2020.122204
Dwivedi, Y. K., Hughes, L., Ismagilova, E., Aarts, G., Coombs, C., Crick, T., Duan, Y., Dwivedi, R., Edwards, J., Eirug, A., Galanos, V., Ilavarasan, P. V., Janssen, M., Jones, P., Kar, A. K., Kizgin, H., Kronemann, B., Lal, B., Lucini, B., … Williams, M. D. (2021). Artificial Intelligence (AI): Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy. International Journal of Information Management, 57, 101994. https://doi.org/10.1016/J.IJINFOMGT.2019.08.002
Engin, Z., & Treleaven, P. (2019). Algorithmic government: Automating public services and supporting civil servants in using data science technologies. The Computer Journal, 62(3), 448-460. https://doi.org/10.1093/COMJNL/BXY082
Knüsel, B., Baumberger, C., Zumwald, M., Bresch, D. N., & Knutti, R. (2020). Argument-based assessment of predictive uncertainty of data-driven environmental models. Environmental Modelling and Software, 134. https://doi.org/10.1016/J.ENVSOFT.2020.104754
Kostoska, O., & Kocarev, L. (2019). A novel ICT framework for sustainable development goals. Sustainability, 11(7). https://doi.org/10.3390/SU11071961
Kuziemski, M., & Misuraca, G. (2020). AI governance in the public sector: Three tales from the frontiers of automated decision-making in democratic settings. Telecommunications Policy, 44(6). https://doi.org/10.1016/j.telpol.2020.101976
Lin, T., Liu, X., Song, J., Zhang, G., Jia, Y., Tu, Z., Zheng, Z., & Liu, C. (2018). Urban waterlogging risk assessment based on internet open data: A case study in China. Habitat International, 71, 88-96. https://doi.org/10.1016/j.habitatint.2017.11.013
Manny, L., Duygan, M., Fischer, M., & Rieckermann, J. (2021). Barriers to the digital transformation of infrastructure sectors. Policy Sciences, 54, 943-983. https://doi.org/10.1007/S11077-021-09438-Y
Pi, Y. (2021). Machine learning in Governments: Benefits, challenges and future directions. EJournal of EDemocracy and Open Government, 13(1), 203-219. https://doi.org/10.29379/JEDEM.V13I1.625
Shah, S. I. H., Peristeras, V., & Magnisalis, I. (2021). Government Big Data Ecosystem: Definitions, types of data, actors, and roles and the impact in public administrations. Journal of Data and Information Quality, 13(2), 1-25. https://doi.org/10.1145/3425709
Valle-Cruz, D., Criado, J. I., Sandoval-Almazán, R., & Ruvalcaba-Gomez, E. A. (2020). Assessing the public policy-cycle framework in the age of artificial intelligence: From agenda-setting to policy evaluation. Government Information Quarterly, 37(4). https://doi.org/10.1016/J.GIQ.2020.101509
van der Voort, H. G., Klievink, A. J., Arnaboldi, M., & Meijer, A. J. (2019). Rationality and politics of algorithms. Will the promise of big data survive the dynamics of public decision making? Government Information Quarterly, 36(1), 27-38. https://doi.org/10.1016/J.GIQ.2018.10.011
Victorino, M., de Holanda, M. T., Ishikawa, E., Oliveira, E. C., & Chhetri, S. (2018). Transforming open data to linked open data using ontologies for information organization in big data environments of the Brazilian Government: The Brazilian Database Government Open Linked Data DBgoldbr. Knowledge Organization, 45(6), 443-466. https://doi.org/10.5771/0943-7444-2018-6-443
Zhang, Y., Porter, A. L., Cunningham, S., Chiavetta, D., & Newman, N. (2021). Parallel or intersecting lines? Intelligent bibliometrics for investigating the involvement of data science in policy analysis. IEEE Transactions on Engineering Management, 68(5), 1259-1271. https://doi.org/10.1109/TEM.2020.2974761