1. INTRODUCCIÓN
⌅AI4SG son las siglas alfanuméricas, en inglés1Hacen referencia a Artificial Intelligence for (4) Social Good que se traduce como inteligencia artificial para el bien común., para hacer referencia al uso de la inteligencia artificial (IA) para el bien común. Es una línea de investigación que busca aplicar los desarrollos y avances de la IA para resolver problemas sociales y mejorar el bienestar de los individuos, la sociedad y el planeta en su conjunto (Hager et al., 2017Hager, Gregory D.; Drobnis, Ann; Fang, Fei; Ghani, Rayid; Greenwald, Amy; Lyons, Terah; Parkes, David C.; Schultz, Jason; Saria, Suchi; Smith, Stephen F. y Tambe, Milind (2017). Artificial intelligence for social good. arXiv, 1901: 05406.; Berendt, 2019Berendt, Bettina (2019). AI for the common good?! Pitfalls, challenges, and ethics pen-testing. Paladyn. Journal of Behavioral Robotics, 10 (1): 44-65. https://doi.org/10.1515/pjbr-2019-0004 ; Floridi et al., 2020Floridi, Luciano; Cowls, Josh; King, Thomas y Taddeo, Mariarosaria (2020). How to design AI for Social Good: Seven essential factors. Science and Engineering Ethics, 26: 1771-1796. https://doi.org/10.1007/s11948-020-00213-5 ). Una clasificación de proyectos AI4SG puede ser agnóstica en cuanto a su temática o contenido y puede centrarse en su impacto (a quiénes afecta). Así tenemos que el uso de la IA para el bien común se puede clasificar en términos de si afecta a agentes (individuos), a la sociedad (grupos o comunidades) o al planeta (ecosistemas).
También puede ser importante para la clasificación de los proyectos de AI4SG identificar los dominios o campos de aplicación: IA para la agricultura, para la conservación de la vida silvestre, para la educación, para los servicios sociales, para la gestión, logística y planificación de infraestructuras urbanas, para la medicina y la salud pública, para la administración pública y el gobierno, para la monitorización del clima, para la industria energética, para el ocio y el entretenimiento, para el transporte, para combatir el fraude en el comercio y en las finanzas, para combatir la desinformación, para la seguridad y privacidad en Internet o para la gestión de epidemias y situaciones de emergencia.
Desde otro punto de vista, también se pueden clasificar los proyectos de AI4SG en términos de las técnicas y algoritmos en uso: sistemas multi-agente, algoritmos evolutivos, aprendizaje profundo (deep learning), aprendizaje por refuerzo, aprendizaje supervisado, aprendizaje no-supervisado, máquinas vectoriales de soporte o redes neuronales artificiales.
A pesar de estos criterios de clasificación de la AI4SG en función de su impacto, de su campo de aplicación (e.g. dominio) o incluso de las técnicas empleadas (e.g. algoritmos), el debate sobre qué queremos decir realmente cuando aplicamos la IA para el bien común está abierto. Sin evaluaciones previas o pruebas piloto es difícil saber si se está ante un proyecto de AI4SG (sobre esto volveré más adelante). Una definición teórica-hipotética, la ofrecen Floridi y colegas cuando dicen que la AI4SG es:
el diseño, desarrollo e implementación de sistemas de IA de manera que i) se eviten, mitiguen o resuelvan los problemas que afectan negativamente a la vida humana y/o al bienestar del mundo natural, y/o ii) permitan desarrollos socialmente preferibles y/o ambientalmente sostenibles (Floridi et al., 2020: 1773Floridi, Luciano; Cowls, Josh; King, Thomas y Taddeo, Mariarosaria (2020). How to design AI for Social Good: Seven essential factors. Science and Engineering Ethics, 26: 1771-1796. https://doi.org/10.1007/s11948-020-00213-5 ).
El problema es que no todo el mundo estaría de acuerdo a la hora de considerar qué es un buen resultado o cómo la aplicación de la IA redunda en el bien común, sin olvidar que es posible diseñar bona fide un modelo o sistema de IA, pero acabar mal, con consecuencias negativas. La principal motivación de toda aplicación de la IA para el bien común es resolver problemas sociales. El desarrollo de un algoritmo en un laboratorio sin posibilidad de aplicarse en el mundo real no es AI4SG. En muchas ocasiones, la carencia de pruebas de concepto o pruebas piloto con aplicación e implementación en el mundo real hacen verdaderamente difícil poder evaluar muchos proyectos de AI4SG. Por ejemplo, algunas ciudades de todo el mundo quieren reducir el comportamiento antisocial y violento. Sus autoridades han confiado en el uso de sistemas de IA que perfilan a la población, es decir, clasifican y predicen el comportamiento antisocial de la gente. No obstante, esto ha derivado en muchas ocasiones en discriminación de ciertos grupos. Los algoritmos diseñados para predecir el comportamiento antisocial se alimentaban con datos no muy robustos de estadísticas de actos ilícitos que conducen a la vigilancia extrema de barrios pobres; y la simple vigilancia masiva de esos barrios conducía a notificar mayor cantidad de infracciones, lo que a su vez servía para seguir alimentando el algoritmo con el consiguiente efecto de la profecía autocumplida: grupos étnicos minoritarios y colectivos estigmatizados son discriminados por prejuicios (Richardson, Schultz y Crawford, 2019Richardson, Rashida; Schultz, Jason y Crawford, Kate (2019). Dirty data, bad predictions: How civil rights violations impact police data, predictive policing systems, and justice. New York University Law Review Online, 94: 15-55. Disponible en https://www.nyulawreview.org/wp-content/uploads/2019/04/NYULawReview-94-Richardson_etal-FIN.pdf ). Es decir, como decía más arriba, las buenas intenciones no son suficientes para calificar un uso de la tecnología de la IA como AI4SG. Deben existir pruebas de concepto y pruebas piloto que testen que la tecnología va a ayudar a conseguir un determinado objetivo y no generará externalidades negativas o efectos perniciosos que previamente no han sido contemplados.
Por otra parte, un análisis político y sociológico del contexto en el que surgen las iniciativas y proyectos de AI4SG podría hacer pensar que es un blanqueamiento ético2El blanqueamiento ético se produce cuando una compañía tecnológica utiliza la ética para escapar de cualquier responsabilidad por sus actos ante la regulación o la legislación existente. El blanqueamiento ético es ofrecer una imagen pública correcta utilizando un lenguaje de valores y de compromiso ético, cuando sus prácticas y sus actos no lo son (Metzinger, 2019). de la industria tecnológica en dos sentidos:
-
Las mismas técnicas que se utilizan para construir un capitalismo de la vigilancia (Zuboff, 2019Zuboff, Shoshana. (2019). The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. London: Profile Books.) y extraer datos personales para su explotación comercial erosionando la privacidad de millones de personas se utilizan para combatir el cambio climático, por ejemplo.
-
Los problemas globales que afectan a la humanidad y al planeta principalmente tienen su origen en un modelo socioeconómico de métodos de producción intensivos y la AI4SG no es más que la solución innovadora de los poderes fácticos del sistema para expiar sus pecados.
Como veremos en la sección sobre las narrativas de la IA, una imagen adecuada de la tecnología puede ayudarnos a entender que la IA tiene usos potencialmente buenos para las personas, para la sociedad o para el planeta. No obstante, aunque la tecnología debe ser parte de la solución a nuestros problemas globales, debemos darnos cuenta de que la tecnología por sí misma no va a hacer el mundo más justo. Son los seres humanos y su uso de la tecnología los que pueden en última instancia resolver los problemas que nos afectan. Suelo pensar de manera optimista con respecto a la tecnología. La tecnología es capaz de mejorarnos y mejorar el mundo que nos rodea, pero ante lo que soy bastante pesimista es ante las estructuras de poder que controlan y dirigen la tecnología.
En este artículo quiero analizar distintos casos de uso y aplicación de la IA y la robótica encaminados a conseguir los 17 Objetivos de Desarrollo Sostenible (ODS) y cómo diversos principios éticos pueden garantizar una aplicación más adecuada. También comentaré el plan de acción de España y la estrategia nacional para cumplir la agenda 2030 y de qué manera incorpora las TIC. En la siguiente sección, Narrativas de la IA, veremos cómo la construcción de narrativas sobre la IA puede ayudar a ofrecer un contexto y un análisis crítico de la aplicación de la tecnología para un determinado ODS. Con la narrativa adecuada sobre la naturaleza y funcionamiento de la tecnología se puede visibilizar a quién y cómo le afecta un determinado uso de la tecnología. Igualmente, una imagen positiva de la tecnología a través de una narrativa adecuada puede ayudar a ver a la tecnología como una oportunidad y no como una amenaza.
2. NARRATIVAS DE LA IA
⌅La cultura popular, incluido el cine, la televisión y los medios de comunicación generalistas, han ofrecido una narrativa o relato de la IA caracterizado por la competición entre las máquinas y los seres humanos. Desde el test de Turing -una prueba para determinar la capacidad de una máquina de simular la inteligencia humana- hasta franquicias cinematográficas como Terminator (Cameron, 1984Cameron, James. (1984). Terminator. Cinema ´84.) han creado asociaciones, ideas, estereotipos, expectativas sobre las amenazas y los peligros de ser capaces de crear máquinas que muestran un comportamiento inteligente. Tanto es así que algunos autores ven a la IA como un riesgo existencial (Bostrom, 2014Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press.).
Mucho antes de que se empezaran a materializar los logros de la robótica y de la IA y que tuvieran un impacto en nuestras vidas, la humanidad ha soñado con la posibilidad de crear vida artificial. El primer robot Talos, los mitos del folclore judío (e.g. Golem), los sirvientes de oro de Hefesto, los autómatas medievales… han imbuido ideas preconcebidas sobre lo que pueden o no pueden hacer las máquinas. Y casi siempre representamos las máquinas como rivales o como una amenaza. En numerosas historias, pensemos en el filme de culto Blade Runner (Scott, 1982Scott, Ridley. (1982). Blade Runner. Warner Bros.), nuestras creaciones se rebelan. De hecho, en la serie de relatos Yo, robot, posiblemente de los más famosos de la ciencia ficción y que han influido en la propia ciencia de la robótica (Asimov, 1950/2019Asimov, Isacc (1950/2019). Yo, Robot. Barcelona: Edhasa. ), los robots son capaces de desempeñar múltiples tareas hasta el punto de suponer un desafío para la humanidad.
En este sentido, importa mucho cómo hablamos de la IA y de la robótica y qué ideas se asocian y reflejan cuando representamos a las máquinas en la cultura popular (Cave, Dihal y Dillon, 2020Cave, Stephen; Dihal, Kanta. y Dillon, Sarah (2020). AI Narratives: A History of Imaginative Thinking about Intelligent Machines. Oxford: Oxford University Press. https://doi.org/10.1093/oso/9780198846666.001.0001 ). Somos una especie social, pero también narrativa. Tenemos un impulso narrativo (Villarroya, 2019Villarroya, Oscar (2019). Somos lo que nos contamos: cómo los relatos construyen el mundo en el que vivimos. Barcelona: Ariel). De hecho, recogiendo una cita de S. J. Gould, Villarroya (2019: 9)Villarroya, Oscar (2019). Somos lo que nos contamos: cómo los relatos construyen el mundo en el que vivimos. Barcelona: Ariel dice que el ser humano en lugar de Homo sapiens debería llamarse Homo narrator o acaso Homo mendax (mentiroso), para resaltar el hecho de que confabulamos contándonos cuentos. Es a través de los relatos y las narrativas como damos forma y organizamos nuestros pensamientos sobre la realidad. Mucho antes de que existieran las palabras y el lenguaje, el ser humano ya empezó a preguntarse: ¿por qué ha pasado esto? Este relato primordial es la estructura básica que ha sido el recipiente de las infinitas variantes de contenido para el esquema básico del relato.
Narrativa y relato podrían parecer lo mismo, pero esto puede llevarnos a una confusión. Por narrativa se entiende una representación de una serie de eventos (Carroll, 2007: 7Carroll, Noël (2007). Narrative closure. Philosophical Studies, 135: 1-15. https://doi.org/10.1007/s11098-007-9097-9 ). Esta representación puede ser oral, escrita o incluso icónica, como ocurre con la imagen en movimiento del cine. Por su parte, los relatos hacen algo más que representar una serie de eventos. Cuentan los acontecimientos de manera que los hacen inteligibles, transmitiendo así no solo información, sino también comprensión.
Los relatos guían nuestra conducta, pero si el relato es disfuncional o falso puede tener consecuencias negativas o fatales. Villarroya (2019: 19)Villarroya, Oscar (2019). Somos lo que nos contamos: cómo los relatos construyen el mundo en el que vivimos. Barcelona: Ariel habla del caso de las brujas de Salem y la histeria colectiva que desencadenó el seguimiento de un relato falso. Al dar sentido a lo que vivimos, los relatos son una adaptación evolutiva que nos permite vivir en sociedad. La realidad es una construcción de nuestro cerebro, en el sentido de que la realidad que percibimos no es un reflejo directo del mundo externo objetivo (Seth, 2019Seth, Anil (2019). The neuroscience of reality. Scientific American. Disponible en https://www.scientificamerican.com/article/the-neuroscience-of-reality/ ), y los relatos agrupan nuestras experiencias para que puedan ser compartidas y así la cooperación con otros sea más fluida. Pero si el relato es maladaptativo, puede encerrarnos en una burbuja narrativa. Si al igual que lo que ocurrió en el pueblo de Salem del estado de Massachusetts en 1692, construimos ahora mismo un relato disfuncional o negativo sobre la IA, este puede influir en el desarrollo y en la aceptación de la tecnología por parte del público.
Las narrativas ficticias (e.g. especulaciones en la cultura popular o ciencia ficción) o no ficticias (e.g. la comunicación científica sobre la IA o la presentación en medios de comunicación) influyen la investigación, desarrollo y regulación de la tecnología de la IA (The Royal Society, 2018The Royal Society (2018). Portrayals and perceptions of AI and why they matter. Disponible en http://lcfi.ac.uk/media/uploads/files/AI_Narratives_Report.pdf [Fecha de consulta: 1 mayo 2020].). No quiero dar la impresión de que las narrativas actualmente hegemónicas sobre la IA sean mutuamente excluyentes. Distintas narrativas pueden coexistir. Por ejemplo, puede ser perfectamente razonable pensar que existe un riesgo existencial en el desarrollo de la IA general, y simultáneamente pensar que hay aplicaciones de IA útiles y beneficiosas para la sociedad en su conjunto. Del mismo modo, es posible pensar en varias narrativas diferentes en coexistencia: la de Terminator, donde la IA se revela contra su creador, la de la IA como arma de las grandes corporaciones tecnológicas para manipular o discriminar al ciudadano, la narrativa tecno-optimista que ciegamente cree que todo avance tecnológico libera al ciudadano, u otras narrativas alternativas de utopías pasadas o futuras. No cabe duda de que diferentes culturas de distintas épocas han imaginado máquinas inteligentes incluso antes de construirlas con distintas concepciones sobre la relación entre máquina y ser humano. Un primer paso para tener una relación de cooperación entre el ser humano y las máquinas (o tecnología) es construir la narrativa adecuada.
En la medida en que contemos relatos que incluyan a todos los actores y agentes de la investigación en IA y no solo a unos pocos, en que busquemos en lo posible la heterogeneidad de voces que rodea al mundo de la IA y en que creemos narrativas fiables y no sensacionalistas, la percepción y las actitudes hacia la IA serán justas y adecuadas. La construcción de narrativas sobre la IA debe implicar a todos los grupos de interés y debe estar motivada por consensos generales donde no solo los investigadores y actores de la IA estén llamados a participar.
2.1. Hacia una IA sostenible y verde
⌅Pagamos un gran precio por nuestra tecnología en términos de impacto medioambiental. Por consiguiente, minimizar o mitigar el impacto medioambiental es un asunto que nos implica a todos y no solo a los expertos en IA. Las actuales arquitecturas de IA han incrementado la computación que se requiere para la investigación en aprendizaje profundo, que se duplica cada pocos meses (Schwartz et al., 2019Schwartz, Roy; Dodge, Jesse; Smith, Noah A. y Etzioni Oren (2019). Green AI. arXiv, 1907: 10597.). Los actuales sistemas de IA requieren mucha cantidad de energía para las operaciones de sus algoritmos y dejan una alta huella de carbono. Por consiguiente, toda IA sostenible debe maximizar la eficiencia y no exclusivamente la funcionalidad.
Para obtener los beneficios de la IA se entrenan modelos que consumen mucha energía y se liberan gases de efecto invernadero que contribuyen al calentamiento global del planeta. La IA tiene una huella de carbono muy alta. El modelo medio de aprendizaje profundo usa combustibles fósiles como fuente de energía y libera 35.000 kilos de CO2.
Pero se puede empezar a construir una narrativa de IA sostenible para el bien común si se hace un uso más eficiente de los recursos disponibles y se ponen en marcha medidas que garanticen la importancia de las métricas de eficiencia y no solo se pongan en valor las métricas relacionadas con los resultados. A pesar del poder transformador y de la aplicación de la IA a múltiples campos (e.g. banca, finanzas, transporte, medicina…) esta tiene un alto coste medioambiental. Para que nos hagamos una idea, el nivel de consumo de energía de un modelo de IA (principalmente aquel que haga uso de aprendizaje profundo) cada vez que se entrena es cinco veces más del ciclo de vida de un automóvil medio, incluida su fabricación (Strubell, Ganesh y McCallum, 2019Strubell, Emma; Ganesh, Ananya y McCallum, Andrew (2019). Energy and policy considerations for deep learning in NLP. arXiv, 1906: 02243v1. Disponible en https://arxiv.org/abs/1906.02243.).
Fomentar una narrativa de IA sostenible significa desarrollar una nueva generación de modelos de IA que realicen operaciones y tareas encaminadas si no a mejorar, por lo menos a cuidar el planeta, las comunidades y las personas. Debemos ser capaces de utilizar todo el potencial de la IA para el bien común, pero sin que suponga un compromiso o un intercambio entre valores sostenibles y el poder transformador de la tecnología. No tendría mucho sentido poner en funcionamiento una iniciativa de AI4SG con una tecnología que tenga un alto impacto medioambiental aunque beneficie a las personas o viceversa.
3. OBJETIVOS DE DESARROLLO SOSTENIBLE
⌅Los ODS tienen como misión crear las condiciones para una sociedad que preserve la salud, el medioambiente, la igualdad, la educación y otros principios y valores (Naciones Unidas, 2015Naciones Unidas (2015). Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible. Disponible en https://www.un.org/ga/search/view_doc.asp?symbol=A/70/L.1&Lang=S [Fecha de consulta: 5 mayo 2020].). La IA y otras tecnologías digitales emergentes pueden ayudar en esta misión.
Como vemos en la Fig. 2, son 17 los ODS. Para cada uno de estos objetivos y sus 169 metas a alcanzar existe o puede desarrollarse, en principio, un proyecto de AI4SG. Me gustaría presentar a continuación una relación de casos y ejemplos de aplicaciones de la IA para cada uno de los ODS y qué principios éticos son los adecuados para servir de guía en su aplicación efectiva. Los ejemplos han sido seleccionados de manera subjetiva de la literatura de investigación siguiendo el criterio de conexión de la IA y de las tecnologías digitales con los ODS. Una aproximación más empírica se puede encontrar en Vinuesa et al. (2020)Vinuesa, Ricardo; Azizpour, Hossein; Leite, Iolanda; Balaam, Madeline; Dignum, Virginia; Domisch, Sami; Felländer, Anna; Langhans, Simone Daniela; Tegmark, Max y Nerini, Francesco Fuso (2020). The role of artificial intelligence in achieving the Sustainable Development Goals. Nature Communications 11: 233. https://doi.org/10.1038/s41467-019-14108-y . Como digo, aquí solo quiero seleccionar una serie de ejemplos dentro de cada ODS donde la IA y otras tecnologías disruptivas pueden contribuir a su consecución. Nótese, también, que en múltiples casos la tecnología que se menciona puede ser considerada digital y no estrictamente como IA. No obstante, la IA es una tecnología que complementa otras tecnologías tradicionalmente consideradas como digitales: conectividad y 5G, big data (macrodatos), cloud computing (computación en la nube), blockchain (tecnología de cadena de bloques), Internet de las cosas… y para los propósitos de este artículo cuando se mencionan tecnologías digitales se puede sobrentender IA, porque se pueden complementar y, por supuesto, interaccionan entre sí. La tecnología digital y la IA tienen una relación simbiótica porque la tecnología digital permite comprimir grandes cantidades de datos en pequeños dispositivos de almacenamiento, adquirir datos, mejorar la potencia de cómputo y comunicación, mientras que la IA permite una analítica inteligente de dichos datos con el objetivo de operar mejor en el mundo. Es por ello por lo que son complementarias. Tanto la tecnología digital como la IA son ambas tecnologías disruptivas con el potencial transformador de la vida y el trabajo. La IA como las tecnologías digitales interaccionan entre sí para intentar resolver los retos que la sociedad y la economía plantean.
1. Pobreza y 2. Hambre cero
⌅Las estadísticas de la pobreza son dramáticas (World Food Programme, 2019World Food Programme (2019). 2019 Hunger Map. Disponible en https://www.wfp.org/publications/2019-hunger-map ). 821 millones de personas luchan por alimentar a sus hijos o por obtener comida. Estos 821 millones de personas representan una de cada nueve personas en un mundo de siete mil millones en total. La pobreza está directamente ligada con la salud. La malnutrición tiene severas consecuencias en el bienestar físico, mental y social de las personas y puede llevar a una situación de estrés e inmunodepresión, causando la vulnerabilidad de la persona para padecer otras enfermedades. A su vez la mala salud puede frenar otros factores como el proceso educativo y la posibilidad de acceder al mercado laboral que de nuevo retroalimenta la trampa de la pobreza impidiendo a las personas encontrar un trabajo con un salario digno, lo cual les llevaría a pasar hambre y a seguir siendo pobres.
La Organización de las Naciones Unidas llama a la pobreza el reto global más grande al que se enfrenta la humanidad. Aunque es verdad que no hay una única solución mágica para un problema complejo, están empezando a emerger soluciones basadas en la tecnología que aprovechan el poder de la IA y sus capacidades para la minería de grandes cantidades de datos (big data) que permitan señalar regiones (o inclusive personas) con necesidades.
La búsqueda de las personas que tienen necesidades básicas que cubrir se realiza a través de fotografías tomadas vía satélite de manera constante que son analizadas por algoritmos de IA. Se ha encontrado un patrón o correlación entre la luz artificial y la situación socioeconómica de una región. Las regiones que brillan en la oscuridad son más ricas (Yeh et al., 2020Yeh, Christopher; Perez, Anthony; Driscoll, Anne; Azzari, George; Tang, Zhongyi; Lobell, David; Ermon, Stefano y Burke, Marshall (2020). Using publicly available satellite imagery and deep learning to understand economic well-being in Africa. Nature Communications, 11: 2583. https://doi.org/10.1038/s41467-020-16185-w ). Esta correlación se encontró utilizando imágenes vía satélite de día y de noche de Uganda, Tanzania, Nigeria, Malaui y Ruanda. Estos países tienen censos de vivienda y unidades de convivencia que se introdujeron como entrada (input) para el algoritmo, que junto a las imágenes permitió predecir con un 81% de fiabilidad la distribución de la pobreza entre los países.
También la IA se aplica a la agricultura dando pie a la agricultura de precisión. Hay robots y maquinaria automatizada que recolectan y siembran, aplicaciones que predicen mejores cultivos, o sistemas de recomendación que sugieren cómo optimizar los cultivos y cómo elegir la idoneidad de la tierra (Vincent et al., 2019Vincent, Durai Raj; Deepa, N; Elavarasan, Dhivya; Srinivasan, Kathiravan; Chauhdary, Sajjad Hussain y Iwendi, Celestine (2019). Sensors driven AI-based agriculture recommendation model for assessing land suitability Sensors, 19: 3667. https://doi.org/10.3390/s19173667 ).
Principio ético: uno de los principios éticos básicos que debe guiar la aplicación de cualquier iniciativa AI4SG para erradicar la pobreza y proveer de buenos alimentos a la población mundial es la equidad y la justicia.
3. Salud y bienestar
⌅La IA también puede mejorar la salud y el bienestar humano. La denominada medicina digital es la aplicación de la tecnología digital, incluida la IA, para la mejora de la investigación y de la práctica biomédica. La revolución computacional con la llegada del computador ha transformado la medicina. Primero con los registros médicos electrónicos (Goodman, 2016Goodman, Kenneth (2016). Ethics, Medicine and Information Technology: Intelligent Machines and the Transformation of Healthcare. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9781139600330 ) y en la actualidad con la medicina de precisión (Topol, 2019Topol, Eric (2019). Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again. New York: Basic Books.).
La IA puede ser utilizada para descubrir nuevos fármacos (Stokes et al., 2020Stokes, Jonathan M.; Yang, Kevin; Swanson, Kyle; Jin, Wengong; Cubillos-Ruiz, Andres; Donghia, Nina M.; MacNair, Craig R; French, Shawn; Carfrae, Lindsey A; Bloom-Ackermann, Zohar; Tran, Victoria M; Chiappino-Pepe, Anush; Badran, Ahmed H; Andrews, Ian W.; Chory, Emma J.; Church, George M.; Brown, Eric D.; Jaakkola, Tommi S.; Barzilay, Regina y Collins, James J. (2020). A deep learning approach to antibiotic discovery. Cell, 180 (4): 688-702. https://doi.org/10.1016/j.cell.2020.01.021 ) y la técnica del aprendizaje profundo puede encontrar nuevos patrones en la información y datos que permiten la intervención precoz y así impedir el desarrollo de enfermedades.
Gracias a la IA, la medicina puede convertirse en una plataforma ubicua de salud pública global y de precisión. Gracias a ciertas tecnologías como el teléfono móvil (smartphone) y su gran capacidad computacional se puede conseguir que la atención sanitaria llegue a todos los lugares del planeta y atienda las necesidades de todas las personas. Con el teléfono móvil el médico nos puede acompañar en todo momento (telemedicina) o incluso el hospital y sus recursos venir con nosotros a todos partes y atendernos desde nuestro bolsillo del pantalón al disponer en nuestros teléfonos móviles de aplicaciones para el control de la presión arterial, registro del sueño, hábitos alimenticios, sensores para medir el índice de glucosa en sangre, cámara para diagnosticar retinopatías y otras muchas dolencias. Durante la situación de la pandemia de la COVID-19 el uso de la tecnología móvil para evitar la propagación del virus ha sido un instrumento clave (Oliver, Matic y Frias Martinez, 2015Oliver, Nuria; Matic, Aleksandar y Frias-Martinez, Enrique (2015). Mobile network data for public health: Opportunities and challenges. Frontiers in Public Health, 3: 189. https://doi.org/10.3389/fpubh.2015.00189 ; Gasser et al., 2020Gasser, Urs; Ienca, Marcello; Scheibner, James; Sleigh, Joanna y Vayena, Effy (2020). Digital tools against COVID-19: Framing the ethical challenges and how to address them. arXiv, 2004: 10236. Disponible en https://arxiv.org/abs/2004.10236v1 )
El desarrollo de proyectos A14SG en la medicina es casi ilimitado y solo la falta de imaginación puede parar la innovación en un área tan importante para las personas como es la de la salud.
Principio ético: como es un ámbito tan importante y sensible para las personas no se debe descuidar el control ético de la aplicación de la IA en la biomedicina. Solo desde una gobernanza efectiva de la aplicación de la IA en la salud se puede hacer frente a los retos éticos (Blasimme y Vayena, 2020Blasimme, Alessandro y Vayena, Effy. (2020). The ethics of AI in biomedical research, patient care and public health. En Markus Dubber, Frank Pasquale y Sunit Das (eds.). The Oxford Handbook of Ethics of AI. Oxford: Oxford University Press. Disponible en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3368756 https://doi.org/10.1093/oxfordhb/9780190067397.013.45 ).
4. Educación de calidad
⌅La IA aplicada a la educación con el objetivo de crear una cultura de calidad pedagógica puede desarrollar instrumentos o sistemas para el aprendizaje personalizados para cada alumno o persona interesada. Ahora que estamos inmersos en la crisis global sanitaria a consecuencia de la COVID-19, el teletrabajo se ha intensificado en múltiples sectores. El desarrollo de interfaces y software que posibilita la comunicación vía video, accesible desde múltiples pantallas, es una verdadera transformación revolucionaria de la educación a distancia. La IA puede transformar y mejorar las reuniones virtuales y hacer de la colaboración en línea más inteligente. Bots y asistentes virtuales pueden crear un calendario y una agenda de reuniones, y planificar un uso del tiempo más eficiente.
La IA puede crear también un sistema de aprendizaje que se adecúe a las necesidades y a circunstancias específicas. Los manuales y textos se podrán sustituir por dispositivos electrónicos como tabletas que cuenten con algoritmos diseñados para responder a las habilidades, velocidad de aprendizaje y bagaje de cada alumno (Minsky, Singh y Sloman, 2004Minsky, Marvin; Singh, Push y Sloman, Aaron (2004). The St. Thomas common sense symposium: designing architectures for human-level intelligence, AI Magazine, 25 (2): 113-125. ) y no cabe duda de que pueden conseguir que el material didáctico sea más interactivo y como resultado más atractivo.
Estos sistemas pueden incorporar arquitecturas de la inteligencia ambiente y ubicua donde hay sensores que pueden obtener información para hacer inferencias sobre el estado emocional, procesar el lenguaje natural, implementar un sistema de reconocimiento del habla y de análisis semántico (Ramadan et al., 2010Ramadan, Rabie; Hagras, Hani; Nawito, Moustafa; El Faham, Amr y Eldesouky, Bahaa (2010). The Intelligent Classroom: Towards an Educational Ambient Intelligence Testbed. Sixth International Conference on Intelligent Environments. Washington: IEEE Computer Society, pp. 344-349. https://doi.org/10.1109/IE.2010.70 ), y así crear la educación del siglo XXI.
Cuando pensamos en la IA aplicada a la educación nos imaginamos robots enseñando. Y esta narrativa de la IA en la educación no está mal encaminada, ni es ciencia ficción. Lo que sucede es que reciben nombres con más glamour como tutores inteligentes, avatares personalizados, asistentes virtuales de enseñanza…
Hay sistemas de decisión algorítmica que pueden asignar curso y nivel al alumnado sobre la base de su perfil educativo y por supuesto gestionar la administración de los propios centros educativos, seleccionando al personal docente.
Principio ético: toda acción en el campo de la educación y decisión para la aplicación de la tecnología en el sector educativo debe responder a la utilidad máxima de los interesados (e.g. los alumnos).
5. Igualdad de género
⌅“La igualdad de género no es solo un derecho humano fundamental, sino el necesario fundamento para un mundo próspero, en paz y sostenible”. Así define la Organización de las Naciones Unidas la igualdad de género en el marco de los ODS. Este quinto objetivo quiere empoderar a las mujeres y a las niñas de todo el mundo. Y el primer paso para empezar es atajar la disparidad en la representación de mujeres en las carreras STEM (acrónimo inglés para Science, Engineering, Technology, Mathematics). Según el informe global sobre la brecha de género del World Economic Forum (2018)World Economic Forum (2018). The Global Gender Gap Report 2018. Disponible en http://www3.weforum.org/docs/WEF_GGGR_2018.pdf [Fecha de consulta: 6 mayo 2020]., entre los investigadores en IA, un 22 % son mujeres frente a un 78 % de hombres. Para ir cerrando esta brecha varias iniciativas se han de poner en marcha. En primer lugar, una política salarial equitativa donde por igual trabajo se perciba igual salario; y en segundo lugar, luchar contra la discriminación.
Una primera tarea para luchar contra la discriminación es ser conscientes de que los propios algoritmos de los sistemas de IA, al aprender de los datos del mundo real, pueden albergar prejuicios y sesgos que discriminen a las mujeres. Los modelos de IA entrenados con datos sesgados repiten los sesgos en sus aplicaciones, por ejemplo, en el uso de sistemas de decisión algorítmica para la selección de personal o a la hora de adjudicar créditos. Otro caso de aplicación de IA que alberga ciertos prejuicios sociales sobre las mujeres son los asistentes virtuales del tipo Alexa, Siri o Cortana, que tienen una voz femenina. La posibilidad de seleccionar la voz en función de las preferencias del usuario es un diseño neutro no discriminatorio.
Un ejemplo de aplicación de una herramienta de IA para la promoción de la igualdad de género es el reciente estudio que han llevado a cabo Amnistía Internacional y una compañía de IA (ElementAI) en el cual, usando técnicas de ciencia de datos y aprendizaje máquina, han medido la violencia y el abuso contra las mujeres en la red social Twitter (Amnisty International, 2018Amnisty International (2018). Toxic Twitter - A Toxic Place for Women. Disponible en https://www.amnesty.org/en/latest/research/2018/03/online-violence-against-women-chapter-1/ [Fecha de consulta: 10 mayo 2020].). Esta herramienta permite predecir el contenido abusivo de nuestros tuits y ayudar a la automoderación de los usuarios en el universo Twitter. Porque el estudio ha encontrado que 7,1 % de los tuits enviados a mujeres en el estudio eran problemáticos. Esto asciende a 1.1 millones de tuits enviados a las 778 mujeres del estudio al año, uno cada treinta segundos. Y las mujeres negras son más susceptibles de recibir contenido abusivo.
Principio ético: el principio ético fundamental que se encuentra detrás de la lucha contra la discriminación de las mujeres es la igualdad.
6. Agua limpia y saneamiento
⌅Cerca de un tercio de la población mundial vive en zonas donde hay escasez de agua (UN-Water SDG 6, 2019United Nations. UN-Water (2019). SDG 6 Public Dialogue Report, Disponible en https://www.unwater.org/publications/sdg-6-public-dialogue-report/ [Fecha de consulta: 12 mayo 2020].). Las razones son multifactoriales. Puede haber una escasez física de agua o puede escasear por razones institucionales y políticas. La principal consecuencia de un fallo institucional que deriva en escasez de agua o saneamiento es la falta de infraestructuras críticas. Se estima que el uso del agua ha crecido el doble que el crecimiento demográfico a nivel global y además en todos los sectores. También se sabe que el calentamiento global no hará más que acrecentar las sequías y el estrés hídrico de múltiples áreas y territorios. Y quizá lo más grave, dejará a millones de personas sin acceso a agua potable y saneamiento.
Como el acceso al agua es un requisito para la vida, proteger la calidad del agua es una obligación de los gobiernos de todo el mundo. Hay sistemas de IA que se pueden aplicar para el control y la prevención de enfermedades como la legionelosis (Sinčak et al., 2014Sinčak, Peter; Ondo, Jaroslav; Kaposztasova, Daniela; Virčikova, Maria; Vranayova, Zuzana y Sabol, Jakub (2014). Artificial Intelligence in public health prevention of legionelosis in drinking water systems. International Journal of Environmental Research and Public Health.11 (8): 8597-8611. https://doi.org/10.3390/ijerph110808597 ), pero quizá lo más significativo de la aplicación de la tecnología al sector es la gestión de los recursos hídricos. Como he señalado más arriba, los cambios demográficos y el calentamiento global están poniendo a prueba a las ciudades y a los territorios a la hora de proveer agua de calidad para todas las personas. La digitalización del sector de la gestión del agua permite a la IA servir de ayuda ante estos retos. A través del concepto de smart cities que vienen a definirse como aquellos «lugares donde la tecnología de la información se combina con la arquitectura, los objetos cotidianos e incluso nuestros cuerpos para solucionar problemas sociales, económicos y medioambientales» (Townsend, 2013: 15Townsend, Anthony (2013). Smart Cities: Big Data, Civic Hackers, and the Quest for a New Utopia. New York: W.W. Norton & Company), se crean infraestructuras críticas para la ciudad, incluida la gestión del agua y del saneamiento, más inteligentes, interconectadas y eficientes.
El desarrollo de mejores técnicas de IA, la mayor capacidad computacional, las nuevas tecnologías de monitorización y los nuevos sensores han revolucionado los métodos de análisis, diseño y gestión de los sistemas de distribución de agua. Hoy se puede decir que la aplicación de la IA en la gestión del agua y el saneamiento puede llegar a ser similar a la de otros servicios de red como la electricidad, el gas o Internet. Así tenemos que la IA puede estudiar, proteger, analizar y mejorar la distribución del agua.
Principio ético: el principio ético fundamental para el acceso a un bien primario y básico como el agua es la justicia y la equidad. Por consiguiente, cualquier proyecto o iniciativa AI4SG deberá guiarse por dicho principio.
7. Energía asequible y no contaminante.
⌅Asegurar el acceso a la energía sostenible, fiable y barata es quizá uno de los ODS más importantes. La descarbonización de la economía es uno de los retos a los que se enfrentan las sociedades y la humanidad en su conjunto. Los combustibles fósiles (petróleo, carbón, gas) son la fuente primaria de energía en nuestras sociedades modernas, pero también la principal causa de emisión de gases de efecto invernadero que provocan el calentamiento del planeta. Mitigar el calentamiento global a través de la gestión de los gases de efecto invernadero se puede conseguir con la ayuda de la tecnología digital.
Sincronizar y orquestar tecnologías tales como big data, aprendizaje máquina, Internet de las cosas (IoT) o los denominados sistemas ciberfísicos incrementa la eficiencia en la provisión de energía y producción industrial que directamente reduce el impacto medioambiental (Inderwildi et al., 2020Inderwildi, Oliver; Zhang, Chuan; Wang, Xiaonan y Kraft, Markus (2020). The impact of intelligent cyber-physical systems on the decarbonization of energy. Energy and Environmental Science,13: 744-771. https://doi.org/10.1039/C9EE01919G ). Estos sistemas ciberfísicos pueden llegar a representar digitalmente el mundo físico y así promover un proceso de optimización mayor en la operación y control de los sistemas de producción industriales de energía. Por otra parte, en relación con el sistema de energía pueden promover la integración de suministros de energía intermitente (renovables) con otros más continuos (nuclear) y ayudar en la identificación y pronóstico de energías renovables.
La IA en el contexto energético también puede potenciar la investigación científica y el desarrollo tecnológico.
Principio ético: un análisis y una evaluación de riesgo continuo (ex-ante y ex-post) junto con un principio de precaución y prudencia moderado ha de ser el principio ético que guie la implementación de cualquier iniciativa AI4SG en materia energética.
8. Trabajo decente y crecimiento económico
⌅El futuro del trabajo y la supuesta amenaza del desempleo tecnológico (automatización de procesos y tareas donde la máquina puede llegar a sustituir a las personas) es una las principales preocupaciones de la incorporación de la IA y de la robótica en el mercado laboral. Para combatir la destrucción de empleo por la potencial automatización de tareas y actividades del mercado laboral, los economistas apelan a una mayor diversificación en las habilidades y a un aprendizaje continuo de por vida. Se da la paradoja de que son las propias TIC y en especial la IA quienes crean entornos de aprendizaje personalizados y adecuados para cada persona en sus etapas educativas y a la vez quienes potencialmente les puede quitar el trabajo.
Por supuesto, hay ocupaciones más susceptibles que otras de automatizarse. Frey y Osborne (2017)Frey Carl y Osborne, Michael (2017). The future of employment: How susceptible are jobs to computerisation? Technological Forecasting and Social Change, 114: 254-280. https://doi.org/10.1016/j.techfore.2016.08.019 han estimado que el 40% de los trabajos en Estados Unidos serán automatizados, mientras que otro estudio de la OECD ofrece una estimación alternativa más moderada con solo el 9% de las ocupaciones en riesgo de automatización (Arntz, Gregory y Zierahn, 2016Arntz, Melanie; Gregory, Terry y Zierahn, Ulrich (2016). The Risk of Automation for Jobs in OECD Countries: A comparative analysis. OECD Social, Employment, and Migration Working Papers, 189. Disponible en: https://www.oecd-ilibrary.org/docserver/5jlz9h56dvq7-en.pdf?expires=1638189285&id=id&accname=guest&checksum=16A33D9F0800C19683560A2E5A2FA9EC ). Pero no cabe duda de que, dado el avance y el desarrollo de la IA y de la robótica, los trabajos más mecánicos y rutinarios como, por ejemplo, algunos dentro del sector de los servicios o del transporte, pero también en las oficinas, tienen un mayor riesgo de automatizarse. Aquellas tareas y actividades laborales donde exista un alto componente de interacción social con otras personas y se requiera de habilidades como la empatía o cognición social seguirán estando protegidas, por el momento, de ser automatizadas.
Como comentaba, existe una paradoja evidente cuando se habla del futuro del trabajo y la IA. Porque la misma IA permite una mayor oportunidad de diversificación en la adquisición de habilidades, pero al mismo tiempo puede desplazar fuera del mercado laboral a las personas. Los conocidos como MOOCS (cursos en línea dirigidos a un número ilimitado de participantes) están operados por algoritmos y software que adapta de manera personalizada los materiales, evalúa y permite el aprendizaje, pero al mismo tiempo pueden dejar sin empleo a muchos docentes.
No obstante, hay muchas complementariedades entre la automatización y el trabajo. La automatización puede sustituirnos en ciertas tareas, pero también incrementa la productividad y los dividendos, y como resultado aumenta la demanda de trabajo (Autor, 2015Autor, David (2015), Why are there still so many jobs? The history and future of workplace automation. Journal of Economic Perspectives, 29: 3-30. https://doi.org/10.1257/jep.29.3.3 ). Es posible que la IA y la tendencia a la automatización hagan honor al clásico concepto schumpeteriano de «destrucción creativa», y los potenciales beneficios de aplicar la IA a la creación de un trabajo digno y el crecimiento económico sean todavía impredecibles, aunque puede que beneficiosos.
Principio ético: este es un caso donde no hay un principio ético prima facie, sino que en función del contexto se aplicará aquel más adecuado (justicia, igualdad de acceso y oportunidades, equidad…).
9. Industria, innovación e infraestructuras
⌅Este objetivo se define como la construcción de infraestructuras resilientes y la promoción de una industrialización sostenible e inclusiva que impulse la innovación. Para ello hay que aumentar la eficiencia en la utilización de los recursos, y el uso de una tecnología respetuosa con el medio ambiente e inclusiva es imprescindible. La IA se encuentra en una posición aventajada a este respecto. La IA promete transformar sectores industriales facilitando la innovación en la salud, en el transporte, en los servicios red y en la administración pública. La digitalización de la industria y la llamada industria 4.0 (Schwab, 2017Schwab, Klaus (2017). The Fourth Industrial Revolution. London: Penguin.) pueden fusionar el mundo físico, digital y biológico, y conseguir procesos de manufactura que incorporen la impresión 4D, Internet de las cosas, sensores y big data que catalicen una innovación exponencial sin precedentes en la historia de la humanidad.
Otra vertiente de este objetivo es impulsar la innovación científica y actualizar las capacidades tecnológicas de todos los sectores industriales, en particular de las regiones y territorios de países en vías en desarrollo. Mejorar las infraestructuras obsoletas permitirá la movilidad de millones de personas allí donde puedan buscar un proyecto de vida mejor y acceder a servicios, incluidos los financieros, para integrarse en la economía global. Los agricultores aislados y mal comunicados podrán acceder al mercado y vender sus productos
Principio ético: todos los códigos deontológicos profesionales de disciplinas como la ingeniería deberán ser observados y seguidos.
10. Reducción de las desigualdades
⌅La narrativa construida acerca de la IA es que se trata de una tecnología que puede discriminar y que está llena de sesgos y prejuicios. La verdad es que también puede ayudar a evitar la discriminación y a reducir las desigualdades. Cathy O´Neil (2016)O´Neil, Cathy (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown Publishing Group. reveló los potenciales usos abusivos de los algoritmos en múltiples contextos en que se delega la toma de decisiones a sistemas automatizados. Los modelos del aprendizaje máquina si son entrenados con datos corruptos, llenos de sesgos, pueden amplificar los datos corruptos. La expresión inglesa garbage in, garbage out es muy explícita a este respecto. Si un modelo de IA lo entrenas con basura, solo sacará basura. Y tenemos varios antecedentes en el uso de algoritmos que han discriminado y causado daño (Monasterio Astobiza, 2017Monasterio Astobiza, Aníbal. (2017). Ética algorítmica: Implicaciones éticas de una sociedad cada vez más gobernada por algoritmos. Dilemata: Revista Internacional de Éticas Aplicadas, 24: 185-217.).
Sin embargo, hay muchas estrategias que se pueden poner en marcha para reducir las desigualdades en el seno de la tecnología de la IA para que a su vez la IA misma pueda ayudar a reducir las desigualdades. En primer lugar, los programadores y desarrolladores deben ser heterogéneos, es decir, deben provenir de todas las capas de la sociedad, de las minorías, de los grupos vulnerables o de los colectivos poco representados y, por supuesto, con una presencia paritaria de mujeres. Esto se puede conseguir favoreciendo la presencia de todas estas personas en la selección del personal, en el acceso a las carreras universitarias y en otras esferas de la sociedad como la política, la cultura y los negocios.
En segundo lugar, de la misma forma que los sesgos de la sociedad pueden estar reflejados en los datos que entrenan los modelos de IA, o los mismos programadores introducir sus propios sesgos en los algoritmos que tratarán los datos, también se puede no codificar o programar sesgos a través de un esfuerzo consciente. Pero quizá la manera más efectiva de eliminar potenciales sesgos en los datos que entrenan los modelos de IA que serán utilizados o implementados en contextos con un fuerte impacto para las personas sea diseñar instrumentos de auditoría para los algoritmos.
Principio ético: el principio ético rector en la implementación de la IA para este objetivo es el de la igualdad y la evitación de disparidades asimétricas que discriminen a las personas.
11. Ciudades y comunidades sostenibles
⌅En la actualidad más de la mitad de la población mundial vive en las ciudades y se espera que para el año 2050 cerca de siete de cada diez personas vivan en la ciudad (UN, 2018United Nations. Department of Economic and Social Affairs (2018). World Urbanization Prospects 2018. Disponible en https://population.un.org/wup/. [Fecha de consulta: 10 mayo 2020]. https://doi.org/10.18356/02486bd4-en ). Las ciudades son la solución a muchos de las dificultades a las que nos enfrentamos, a pesar de que es en ellas donde también se dan muchos de nuestros grandes problemas como la polución, epidemias, criminalidad… (Glaeser, 2012Glaeser, Edward (2012). Triumph of the City: How Our Greatest Invention Makes Us Richer, Smarter, Greener, Healthier, and Happier. London: Penguin. https://doi.org/10.17323/1726-3247-2013-4-75-94 )
Una ciudad sostenible inteligente es aquel lugar que usa la tecnología digital para mejorar la vida de la gente. Y la IA, de nuevo, puede ayudar bastante a crear ciudades y comunidades sostenibles. Con la ayuda de una infraestructura digital que se distribuya por la ciudad, de modo semejante a como lo hace el sistema nervioso de un organismo vivo por el cuerpo, se pueden monitorizar y controlar los niveles de polución de los espacios urbanos, se pueden medir otros factores sensibles para el bienestar como la contaminación acústica o lumínica, se puede mejorar la forma en la que los ciudadanos se comunican con las administraciones (smart governance), la forma en la que la gente se mueve por la ciudad (smart mobility), se puede mejorar la economía (smart economy).
Pero hay una diferencia crucial entre el concepto de ciudad inteligente y el de ciudad sostenible. El marco de una ciudad sostenible sitúa en el centro la protección y el cuidado del medioambiente mientras que la ciudad inteligente simplemente busca optimizar los recursos disponibles de la vida urbana (sistemas de alumbrado, de alcantarillado, de transporte…). No obstante, se pueden hibridar ambos conceptos y crear la idea de ciudades inteligentes sostenibles donde la optimización de los recursos urbanos se hace con el objetivo último de alcanzar la meta de desarrollar ciudades y comunidades sostenibles: hacer accesible una vivienda digna a todos los ciudadanos, mejorar el transporte urbano y la movilidad, y mejorar los espacios verdes y azules dentro de la ciudad.
Principio ético: de nuevo, como en otros muchos casos de aplicación de iniciativas de AI4SG, no hay un solo principio ético que guíe la correcta aplicación de la tecnología digital. El desarrollo de ciudades y comunidades sostenibles conlleva un equilibrio reflexivo entre distintas prerrogativas éticas.
12. Producción y consumo responsables
⌅Los sistemas de observación de la tierra vía satélite, los algoritmos que detectan zonas de cultivo viables y la aplicación de la robótica a través del concepto de agricultura de precisión son algunas de las oportunidades que nos ofrece la IA para mejorar la producción de alimentos y alcanzar un consumo responsable (Alreshid, 2019Alreshid, Eissa (2019). Smart sustainable agriculture (SSA) solution underpinned by Internet of Things (IoT) and Artificial Intelligence (AI). International Journal of Advanced Computer Science and Applications, 10 (5): 93-102. https://doi.org/10.14569/IJACSA.2019.0100513 ).
En primer lugar, se ha de poder minimizar el impacto medioambiental de la cadena global de suministros. Se debe reducir la huella de carbono de los procesos de producción e invertir en fuentes de energía alternativas a las basadas en los combustibles fósiles. Por supuesto, se ha de invertir en las energías renovables porque son limpias en su ciclo de generación de electricidad (no así en su producción o fabricación), pero también en la nuclear porque es igualmente limpia durante la generación de electricidad y, aunque sus residuos plantean riesgos, su gestión y almacenaje son seguros. Además, la energía nuclear suministra electricidad de manera continua a diferencia de la intermitencia de las renovables.
También se debe reducir la pérdida de alimentos (tirar comida a la basura). Un estudio llevado a cabo por la Asociación Holandesa de Venta al por Menor de Alimentos (CBL), la Universidad e Investigación de Wageningen (WUR) y el Ministerio de Agricultura, Naturaleza y Calidad Alimentaria, en el marco de la organización benéfica nacional Food Waste Free United (Samen Tegen Voedselverspilling) ha mostrado que alrededor de un 98% de los alimentos ofrecidos en los supermercados holandeses se vende. Pero un 1,7% (en kilogramos) no llega al consumidor y se desperdicia como basura (Soethoudt y Vollebregt y van der Burgh, 2019Soethoudt, Han; Vollebregt, Martijntje y van der Burgh, Marianne (2019). Monitor Voedselverspilling: Update 2009-2017: Omvang in kilogrammen in Nederland. Wageningen: Wageningen Food & Biobased Research. Disponible en https://www.wur.nl/nl/show/Monitor-Voedselverspilling-Update-2009-2017.htm [Fecha de consulta: 7 mayo 2020]. https://doi.org/10.18174/522604 ). El objetivo ideal es que todos los alimentos que se generan sean finalmente consumidos. Esto solo es posible si se incluyen herramientas de planificación, optimización y eficiencia donde la IA y otras tecnologías digitales pueden aportar un gran valor añadido. La gestión de otros tipos de basura o residuos es también otra meta a cumplir dentro de este objetivo. Y de nuevo, la IA puede revolucionar la gestión de residuos orgánicos y químicos. Producimos 1.3 billones (americanos) de residuos al día y la escala de la gestión es compleja. La IA puede ayudar en la clasificación de los residuos y crear un ciclo de reciclaje inteligente desde el primer paso: cubos de basura inteligentes que seleccionen y clasifiquen; posteriormente, camiones de basura inteligentes equipados con sensores para transportar eficientemente los residuos a su destino final, para en último lugar crear una verdadera economía circular de los residuos donde el máximo valor de cada recurso se extraiga con el mínimo impacto medioambiental.
Principio ético: llevar a cabo un equilibrio reflexivo entre distintas prerrogativas éticas, pero lo principal es aplicar valores éticos como la justicia y la solidaridad para crear sistemas de alimentación más resilientes.
13. Acción por el clima
⌅Para conseguir una mayor capacidad de resiliencia y adaptabilidad a situaciones de amenaza climática, la IA puede desarrollar un sistema de puntuaciones para territorios y ciudades y así ayudar a estas últimas a prepararse ante posibles desastres naturales como un aumento del nivel del mar, lluvias torrenciales o incendios. De hecho, la ONU tiene un programa que utiliza herramientas tecnológicas para hacer las ciudades más resilientes, permitiéndoles priorizar necesidades y monitorizar sistemas y servicios red, y de esta forma hacer progresos e identificar debilidades.
La IA también puede modelizar el uso global de la tierra, los asentamientos humanos, sus ciclos e interacciones, y permitir el avance en el entendimiento de procesos de antropización y los cambios humanos inducidos en el entorno (Strano et al., 2020Strano, Emanuele; Simini, Filippo; de Nadai, Marco; Esch, Thomas y Marconcini, Mattia (2020). Precise mapping, spatial structure and classification of all the human settlements on Earth. arXiv, 2006: 06584. Disponible en https://arxiv.org/abs/2006.06584.).
Principio ético: equilibrio reflexivo entre distintas prerrogativas éticas.
14. Vida submarina
⌅Los océanos cubren el 70% de la superficie terrestre y tienen una importancia crítica en la regulación del clima y en el mantenimiento y supervivencia de las sociedades humanas (recursos marinos). A pesar de la importancia de los océanos para los seres humanos todavía desconocemos las dinámicas oceánicas que nos permitan predecir y monitorizar catástrofes, cambios globales, mejora y sostenibilidad de la pesquería, producción de energía o prevención de actividades ilegales.
La tecnología digital dirigida por IA puede crear los marcos de vigilancia y monitorización para modelizar la dinámica compleja de los océanos. Se puede crear un sistema o plataforma de monitoreo y registro que represente un sistema dinámico geofísico como los océanos. Con imaginería vía satélite se pueden tomar imágenes de los cambios de los océanos en tiempo real y observar la evolución de los flujos migratorios de animales marinos, corrientes oceánicas, la salud de los ecosistemas marinos o medir las temperaturas de los océanos (Fablet et al., 2017Fablet, Ronan; Huynh, Viet, Phi y Lguensat, Redouane (2017). Data-driven Models for the Spatio-Temporal Interpolation of satellite-derived SST Fields. IEEE Transactions on Computational Imaging, 3: 647-657. https://doi.org/10.1109/TCI.2017.2749184 ).
La conservación de los océanos, como objetivo de desarrollo sostenible, quiere reducir la polución marina de todo tipo. También gestionar de manera sostenible y proteger los ecosistemas marinos y costeros, y minimizar la acidificación de los océanos y promover la colaboración científica para entender mejor las dinámicas complejas de los océanos. Por supuesto, también se quieren regular de manera efectiva las actividades pesqueras, prevenir la pesca furtiva o ilegal y hacer informes científicos sobre planes de gestión de los bancos de pesca. El big data y el aprendizaje máquina puede estructurar la información de que disponemos sobre los océanos y permitir a investigadores y a organizaciones disponer de mejores datos para tomar mejores decisiones.
Principio ético: la justicia intergeneracional es un principio fundamental como guía en este objetivo de desarrollo sostenible porque es un deber moral gestionar los ecosistemas marinos de manera sostenible y legarlos a las futuras generaciones para su disfrute.
15. Vida de ecosistemas terrestres
⌅La conservación y el uso sostenible de la tierra, en particular de los bosques y de los ecosistemas de agua dulce continental, los esfuerzos por combatir la desertificación, por conservar los ecosistemas de montaña y por tomar medidas para luchar contra la caza furtiva e ilegal de animales silvestres o en peligro de extinción son algunas de las metas dentro de este objetivo.
De nuevo, la IA puede ayudar a conseguir las metas de este objetivo. Puede luchar contra la caza furtiva mediante el desarrollo de algoritmos, el despliegue de drones o vehículos aéreos no tripulados que identifiquen zonas calientes de caza furtiva. Por ejemplo, Milind Tambe y colaboradores (Xu et al., 2020Xu, Lily; Gholami, Shahrzad; McCarthy, Sara; Dilkina, Bistra; Plumptre, Andrew; Tambe, Milind; Singh, Rohit; Nsubuga, Mustapha; Mabonga, Joshua; Driciru, Margaret; Wanyama, Fred; Rwetsiba, Aggrey; Okello, Tom y Enyel, Eric (2020). Stay ahead of poachers: Illegal wildlife poaching prediction and patrol planning under uncertainty with field test evaluations. IEEE International Conference on Data Engineering 1898-1901. https://doi.org/10.1109/ICDE48307.2020.00198 ) describen el uso de la teoría de juegos, visión computacional e IA para combatir la caza furtiva, además de implementar algoritmos para informar sobre los horarios para patrullar de los guardaparques a nivel internacional para prevenir la caza furtiva.
Principio ético: valores como la solidaridad y la protección de la vida animal y los ecosistemas son los principios éticos más importantes.
16. Paz, justicia e instituciones sólidas
⌅Desde el marco teórico de la elección racional y el enfoque de «instituciones como reglas», una institución se define como: «un sistema de factores sociales que de manera conjunta generan una regularidad en la conducta» (Greif 2006: 30Greif, Avner (2006). Institutions and the Path to the Modern Economy: Lessons from Medieval Trade. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511791307 ). La economía, la sociología, el derecho, las humanidades y otras muchas áreas concuerdan en afirmar que sin instituciones no hay progreso ni desarrollo humano, y que las instituciones deficitarias dan lugar a crisis de estado, colapso estatal o estados fallidos (Acemoglu y Robinson, 2014Acemoglu, Daron y Robinson, James (2014). Por qué fracasan los países. Barcelona: Ediciones Deusto.).
La IA y en particular los sistemas multiagente pueden crear entornos virtuales (instituciones virtuales) que permitan modelizar sobre la base de una serie de protocolos y restricciones el comportamiento de los agentes y cómo este se ve influido por las instituciones (Arcos et al., 2005Arcos, Josep; Esteva, Marc; Noriega, Pablo; Rodriguez-Aguilar, Juan y Sierra, Carles (2005). Engineering open environments with electronic institutions. Engineering Applications of Artificial Intelligence 18: 191-204. https://doi.org/10.1016/j.engappai.2004.11.019 ). En definitiva, las distintas técnicas de IA pueden crear «instituciones electrónicas» que son análogos computacionales de las instituciones y organizaciones humanas, para así entender el rol de las personas o de los sistemas sociotécnicos (entornos de coexistencia entre máquinas y seres humanos) en la organización social.
Modelizar las instituciones y el comportamiento humano puede servir para observar y entender cuándo se cumplen las reglas, cuándo no, y qué incentivos promueven las instituciones.
Principio ético: de nuevo, debe hacerse un análisis de riesgos para valorar las consecuencias no intencionadas de aplicar soluciones digitales y algorítmicas para la organización social.
17. Alianzas para lograr los objetivos
⌅Los países desarrollados y no desarrollados deben encontrar el modo para el cumplimiento de todos los ODS creando alianzas entre sí. Crear una gobernanza global de la IA puede ayudar a la consecución de los ODS. Porque solo trabajando juntos desde una estrategia geopolítica multilateral se podrá conseguir la agenda 2030. Las alianzas, los consensos, el capital y la voluntad política internacional para cumplir la agenda 2030 solo se pueden conseguir penalizando las narrativas unilaterales de la tecnología, y en concreto de la IA, y promoviendo la cooperación y la persuasión racional. Quizá uno pudiera pensar que la IA per se no puede contribuir a lograr esta meta que en última instancia está en la base de todos los ODS. Pero para contribuir a tejer alianzas internacionales la IA también pude ayudar. La IA aplicada a la administración pública (Monasterio Astobiza, 2019Monasterio Astobiza, Aníbal (2019). The Automated State: AI applied to government. En Claes Granmar, Katarina Fast Lappalainen y Crhistine Storr (eds.). AI and Fundamental Rights. Estocolmo. JURE AB.; Ramió, 2019Ramió, Carles (2019). Inteligencia Artificial y Administración Pública. Madrd: Catarata) o la democracia aumentada (Calvo, 2019Calvo, Patrici (2019). Democracia algorítmica: consideraciones éticas sobre la dataficación de la esfera pública. Revista del CLAD Reforma y Democracia, 74. Disponible en: https://www.redalyc.org/articulo.oa?id=357560862001 ) son ejemplos de formas donde la tecnología puede mejorar nuestra racionalidad institucional para intentar integrar la pluralidad de preferencias. En este sentido, para lograr los objetivos de la agenda 2030, es más urgente que nunca una consciencia global que deje de lado nuestras identidades excluyentes. Según indica Amartya Sen (2021: 123)Sen, Amartya (2021). Home in The World: A Memoir. Allen Lane., «la reducción del ser humano a una sola identidad puede servir para incitar la violencia». Si dejamos de lado nuestros particularismos y entendemos que hay problemas globales (e.g. cambio climático por acción antrópica, entre otros muchos) que nos conciernen a todos, habrá esperanza para el mundo.
Otro problema que quizá subyace a muchas de las aplicaciones de la IA para abordar la mayoría de los ODS es el outsourcing cognitivo o deslocalización cognitiva. Este fenómeno económico que implica capital humano y desarrollo de políticas industriales contribuye a la pérdida de conocimiento y de habilidades por parte de los usuarios, haciendo que disminuya su control sobre el conocimiento del entorno y haciéndolos vulnerables a externalidades negativas. Las relaciones de dependencia de los países del sur global3A efectos de este artículo, el sur global engloba a los países en desarrollo de África, América Latina y Asia, incluyendo Oriente Medio. Sur global es un término que sustituye a tercer mundo y países en desarrollo en muchos debates académicos, aunque no está exento de controversia. La expresión sur global trasciende las fronteras y abarca países que comparten un pasado colonial o mantienen poblaciones oprimidas y privadas de derechos incluso en Occidente o en zonas desarrolladas (véase, de Sousa Santos, 2016). con respecto a los países del norte global, normalmente estos últimos con mayor desarrollo en investigación, innovación y con un tejido productivo e industrial más robusto, generan asimetrías, vulnerabilidades y situaciones donde se detiene el proceso de crecimiento de países que importan tecnología. Este tipo de críticas basadas en este fenómeno son aplicables a otros ejemplos que presentan exactamente el mismo problema.
Principio ético: para establecer una alianza global que permita la consecución de los ODS de manera uniforme, principios éticos fundamentales son: la solidaridad, la confianza y la justicia.
4. ESPAÑA, DIGITALIZACIÓN Y LA AGENDA 2030 PARA EL DESARROLLO SOSTENIBLE
⌅La agenda 2030 para el desarrollo sostenible es un plan de acción por el planeta, para las personas y para la prosperidad (Naciones Unidas, 2015Naciones Unidas (2015). Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible. Disponible en https://www.un.org/ga/search/view_doc.asp?symbol=A/70/L.1&Lang=S [Fecha de consulta: 5 mayo 2020].).
Como hemos visto más arriba, el plan consiste en 17 objetivos y 169 metas de alcance y ambición universal y se compromete a no dejar a nadie atrás. La agenda 2030 para el desarrollo sostenible se construye sobre la base de los Objetivos de Desarrollo del Milenio (Naciones Unidas, 2000Naciones Unidas (2000). Declaración del Milenio. Disponible en https://www.un.org/spanish/milenio/ares552.pdf [Fecha de consulta: 5 mayo 2020].) y completa aquellos que no se pudieron lograr entonces. Los objetivos y metas de la agenda 2030 se enmarcan en cinco áreas críticas para el futuro de la humanidad y el planeta:
-
Personas: determinación para acabar con la pobreza y el hambre en todas sus formas y dimensiones y asegurar que todos los seres humanos puedan desarrollar todo su potencial con dignidad en un entorno saludable.
-
Planeta: determinación para proteger al planeta de su degradación a través de un consumo, producción y gestión de recursos sostenible, y de la movilización y acción contra el cambio climático para permitir la satisfacción de las necesidades de las presentes y futuras generaciones.
-
Prosperidad: determinación para asegurar que todos los seres humanos puedan disfrutar de una vida plena y que el progreso económico, social y tecnológico se desarrolle en armonía con el planeta.
-
Paz: determinación para promover la paz y las sociedades justas e inclusivas sin miedo a la violencia. Porque no hay sostenibilidad sin paz, ni paz sin sostenibilidad.
-
Partenariado: solidaridad global para el desarrollo sostenible.
La agenda 2030 para el desarrollo sostenible busca alcanzar los ODS que los 193 países de las Naciones Unidas se comprometieron a cumplir y hacer cumplir movilizando los recursos y políticas públicas. El 18 de julio de 2018 se presentó ante el Foro Político de Alto Nivel de la ONU en Nueva York el plan de acción de España para el cumplimiento de los ODS. Tras un retraso en la elaboración del plan con la formación del primer gobierno de coalición, se han ido dando pasos importantes en la adopción de la agenda 2030. Se ha recuperado la sanidad universal y se ha proyectado la transición ecológica con medidas concretas como la ley de cambio climático y transición energética, que fija como fecha para alcanzar la neutralidad climática el año 2050. Distintos agentes y grupos de interés exigen al gobierno liderazgo y altura de miras para ir desarrollando la ambiciosa agenda 2030. Sobre todo, se pide responsabilidad institucional para llevar a cabo las medidas necesarias de transformación con la colaboración de organizaciones y movimientos sociales, del sector privado, y de las universidades y centros de investigación. Si el gobierno de España hace corresponsables a toda la ciudadanía de la necesidad de los ODS para crear un mundo más sostenible, como dice Gonzalo Fanjul, tendremos la sociedad que todos soñamos: «mujeres que vuelven sin miedo a sus casas, ciudades respirables, niños libres del estigma de la pobreza, trabajos dignos» (Fanjul, 3 marzo 2020Fanjul, Gonzalo (3 marzo 2020). La Secretaria de Estado para la Agenda 2030 tiene un plan. No debería tardar en llevarlo a cabo. Notas sobre un encuentro del sector de la cooperación con Ione Belarra. El País. Disponible en https://elpais.com/elpais/2020/03/06/3500_millones/1583494177_216677.html.).
Todos los grupos de interés están de acuerdo en que el sector industrial de nuestro país debe potenciar la sostenibilidad a través de la digitalización porque solo así se podrá implementar una economía circular para aprovechar de manera racional y eficiente todos los recursos en toda la cadena de valor de la producción.
El acceso a las infraestructuras de las TIC se mide a través del indicador Índice de Desarrollo de las Tecnologías de la Información y las Comunicaciones, elaborado por la ONU (International Telecommunication Union, 2019International Telecommunication Union, ITU, (2019). Measuring Digital Development: Facts and Figures 2019. Disponible en [https://itu.foleon.com/itu/measuring-digital-development/home/]), y según Pérez Martinez y Hernandez-Gil (2020)Pérez Martínez, Jorge y Hernandez-Gil José (2020). Una mirada crítica sobre los Objetivos de Desarrollo Sostenible. The Conversation. Disponible en https://theconversation.com/una-mirada-critica-sobre-los-objetivos-de-desarrollo-sostenible-138430 parece existir una correlación positiva entre el índice agregado del cumplimiento de los 17 ODS (la media aritmética) y el índice de digitalización (el acceso a las TIC medido por el Índice de Desarrollo de las Tecnologías de la Información y las Comunicaciones).
Otra gráfica extraída de Pérez Martinez y Hernandez-Gil (2020)Pérez Martínez, Jorge y Hernandez-Gil José (2020). Una mirada crítica sobre los Objetivos de Desarrollo Sostenible. The Conversation. Disponible en https://theconversation.com/una-mirada-critica-sobre-los-objetivos-de-desarrollo-sostenible-138430 , permite visualizar muy claramente la contribución positiva y/o negativa de la digitalización en los ODS. Véase, la Fig. 5.
Pero ¿cómo está España en el proceso de transformación digital de la economía como palanca de crecimiento e innovación y todo ello alineado con la agenda 2030?
El 11 de junio de 2020 la Comisión Europea publicó el Índice de Economía y Sociedad Digital (DESI, 2020DESI (2020). The Digital Economy and Society Index (DESI). Disponible en https://ec.europa.eu/digital-single-market/en/desi. [Fecha de consulta: 16 mayo 2020].), que busca comparar la evolución digital de los países en la Unión Europea. Este índice realiza un seguimiento en cuatro indicadores: a) conectividad, b) habilidades digitales y capital humano, c) uso de Internet, d) integración de las tecnologías digitales y e) servicios digitales públicos.
Finlandia, Suecia, Dinamarca y Países Bajos son líderes en el rendimiento digital global a nivel europeo. En los últimos cincos años el país que mayor progreso ha alcanzado ha sido Irlanda seguido por los Países Bajos, Malta y España. España se sitúa en la undécima posición global a nivel europeo, mejora en los cuatro primeros indicadores más arriba mencionados y se mantiene constante en el quinto indicador. En términos globales (a nivel europeo), España se encuentra en segunda posición en servicios públicos digitales y se mantiene en quinta posición en conectividad.
En uso de Internet, España sube dos posiciones, en habilidades digitales o capital humano sube una posición y sube otra posición en integración de tecnologías digitales.
En el contexto de la recuperación de Europa tras la crisis sanitaria global de la pandemia COVID-19, y en la reconstrucción económica a la que ha de hacer frente España, las tecnologías digitales deben jugar un rol clave.
El gobierno de España con tal fin ha convocado a un grupo de expertos formado por juristas, representantes de usuarios e internautas, profesores y catedráticos de derechos digitales, consultores tecnológicos y especialistas en ética aplicada para asesorar en la elaboración de una carta de derechos digitales que proteja del impacto de las tecnologías digitales e IA a los ciudadanos. El documento final de la carta de derechos digitales también contará con la contribución de la ciudadanía a través de un proceso participativo abierto de consulta.
Como se ve, todos los actores y grupos de interés de la agenda digital consideran que avanzar en el proceso de digitalización es una vía para superar la crisis de la COVID-19 (Buckee et al. 2020Buckee, Caroline; Balsari, Satchit; Chan, Jennifer; Crosas, Mercé; Dominici, Francesca; Gasser, Urs; Grad, Yonatan; Grenfell, Bryan; Halloran, M Elizabeth; Kraemer, Moritz; Lipsitch, Mar; Metcalf, Jessica C.; Meyers, Lauren; Perkins, Alex T.; Santillana, Mauricio; Scarpino, Samuel; Viboud, Cecile; Wesolowski Ami y Schroueder Andrew (2020). Aggregated mobility data could help fight Covid-19. Science, 368 (6487): 145-146. https://doi.org/10.1126/science.abb8021 ; Gasser et al. 2020Gasser, Urs; Ienca, Marcello; Scheibner, James; Sleigh, Joanna y Vayena, Effy (2020). Digital tools against COVID-19: Framing the ethical challenges and how to address them. arXiv, 2004: 10236. Disponible en https://arxiv.org/abs/2004.10236v1 ) y crear un país sostenible que cumpla con los ODS. En este sentido, es coherente decir que España hace los deberes en materia de la agenda 2030 con la digitalización como palanca de innovación y desarrollo y buscando construir un futuro en la era digital inclusivo y justo aunque, como toda tarea humana, sea perfectible y debamos como sociedad exigir la responsabilidad de rendir cuentas a nuestros gobernantes para crear un mundo sostenible para todos.
5. DISCUSIONES
⌅En este artículo he comentado distintos casos de aplicación de la IA, tecnología digital y la robótica encaminados a conseguir los 17 ODS y qué principios éticos deben guiar su aplicación para que estas tecnologías disruptivas ayuden a conseguir la ambiciosa agenda 2030. También he comentado el plan de acción de España y la estrategia nacional para cumplir la agenda 2030 y de qué manera incorpora las TIC y otras tecnologías digitales. La IA frente a narrativas distópicas que la describen como una amenaza o un riesgo también puede contribuir a la mejora del bienestar de las personas, crear sociedades más prosperas y salvar el planeta. Los 17 ejemplos de uso de la IA para conseguir los ODS que he comentado y la idea de construir una narrativa positiva de la tecnología pueden contribuir a afianzar la imagen de esta última como oportunidad en lugar de como amenaza y como problema. La colaboración público-privada y las alianzas industria-academia-gobierno (así cómo los planes para compartir datos, porque los datos son la divisa común con la que operan los sistemas de IA (Montes et al., 2021Montes, Rosana; Melero, Francisco; Palomares, Iván; Alonso, Sergio; Chiachío, Juan; Chiachío, Manuel; Molina, Daniel; Martínez-Cámara, Eugenio; Tabik, Siham y Herrera, Francisco (2021). Inteligencia Artificial y Tecnologías Digitales para los ODS. Madrid: Real Academia de Ingeniería. Disponible en https://issuu.com/raing/docs/ia_y_tecnolog_as_digitales_para_los_ods ) se vuelven más que necesarios para afrontar proyectos de AI4SG que pretendan resolver problemas sociales y abordar los ODS. Por supuesto, la ética es una muy buena herramienta para determinar el buen desarrollo de proyectos de AI4SG encaminados a conseguir los ODS (Monasterio Astobiza et al., 2021Monasterio Astobiza, Aníbal; Toboso, Mario; Aparicio, Manuel y López, Daniel (2021). AI Ethics for Sustainable Development Goals. IEEE Technology and Society Magazine, 40 (2): 66-71. https://doi.org/10.1109/MTS.2021.3056294 ) y por esta razón tras comentar casos de aplicación de la IA para la consecución de los 17 ODS he mencionado algunos principios éticos que pueden constituir una guía para una correcta implementación. Mi objetivo en estas páginas ha sido señalar cómo ciertas narrativas sobre la IA generan desconfianza y la desconfianza en la IA puede frenar la potencialidad para resolver retos globales con esta tecnología. Por consiguiente, la tecnología digital y la IA también se pueden aplicar para la solución de grandes cuestiones de la humanidad, como los 17 objetivos de Desarrollo Sostenible y sus 169 metas de la agenda 2030.