<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD with OASIS Tables with MathML3 v1.1 20151215//EN" "JATS-journalpublishing-oasis-article1-mathml3.dtd">
<article article-type="research-article" dtd-version="1.1" xml:lang="es" xmlns:ali="http://www.niso.org/schemas/ali/1.0/" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
	<front>
		<journal-meta>
			<journal-id journal-id-type="publisher-id">ARBOR</journal-id>
			<journal-title-group>
				<journal-title>ARBOR Ciencia, Pensamiento y Cultura</journal-title>
				<abbrev-journal-title abbrev-type="publisher">Arbor</abbrev-journal-title>
			</journal-title-group>
			<issn publication-format="print">0210-1963</issn>
			<issn publication-format="electronic">1988-303X</issn>
			<issn-l>0210-1963</issn-l>
			<publisher>
				<publisher-name>Consejo Superior de Investigaciones Cient&#xed;ficas</publisher-name>
			</publisher>
		</journal-meta>
		<article-meta>
			<article-id pub-id-type="publisher-id">arbor.2021.802002</article-id>
			<article-id pub-id-type="doi">10.3989/arbor.2021.802002</article-id>
			<article-categories>
				<subj-group subj-group-type="heading">
					<subject>Art&#xed;culos</subject>
				</subj-group>
			</article-categories>
			<title-group>
				<article-title>C&#xf3;mo vivir con robots: sentir, pensar y actuar</article-title>
				<trans-title-group xml:lang="en">
					<trans-title>How to live with robots: feeling, thinking, and acting</trans-title>
				</trans-title-group>
			</title-group>
			<contrib-group>
				<contrib contrib-type="author" corresp="yes">
					<contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-2652-5959</contrib-id>
					<name>
						<surname>L&#xf3;pez Castro</surname>
						<given-names>Daniel</given-names>
					</name>
					<email xlink:href="daniel.lopez@csic.es">daniel.lopez@csic.es</email>
					<aff id="aff1"><institution>Consejo Superior de Investigaciones Cient&#xed;ficas</institution></aff>
				</contrib>
			</contrib-group>
			<pub-date pub-type="epub">
				<day>20</day>
				<month>01</month>
				<year>2022</year>
			</pub-date>
			<pub-date pub-type="collection">
				<month>12</month>
				<year>2021</year>
			</pub-date>
			<volume>197</volume>
			<issue>802</issue>
			<elocation-id>a624</elocation-id>
			<history>
				<date date-type="received">
					<day>01</day>
					<month>03</month>
					<year>2021</year>
				</date>
				<date date-type="accepted">
					<day>21</day>
					<month>10</month>
					<year>2021</year>
				</date>
				<date date-type="pub">
					<day>03</day>
					<month>02</month>
					<year>2022</year>
				</date>
			</history>
			<permissions>
				<copyright-statement>&#xa9; 2021 CSIC</copyright-statement>
				<copyright-year>2021</copyright-year>
				<license license-type="open-access" xlink:href="https://creativecommons.org/licenses/by/4.0/">
					<license-p>Este es un art&#xed;culo de acceso abierto distribuido bajo los t&#xe9;rminos de la licencia de uso y distribuci&#xf3;n Creative Commons Reconocimiento 4.0 Internacional (CC BY 4.0).</license-p>
				</license>
			</permissions>
			<self-uri xlink:href="http://arbor.revistas.csic.es/index.php/arbor/article/view/XXXX/XXXX"/>
			<abstract>
				<title>Resumen</title>
				<p>De forma progresiva y paulatina, pero aparentemente inevitable, el desarrollo de la rob&#xf3;tica avanza y se integra cada vez m&#xe1;s en nuestras vidas. A diferencia del enfoque industrial, concebido para entornos cerrados y predecibles, la rob&#xf3;tica interactiva opera en entornos abiertos, complejos y ca&#xf3;ticos en los que el ser humano pasa a estar en el centro del dise&#xf1;o. Esta transici&#xf3;n, de lo industrial a lo personal, pero tambi&#xe9;n a lo social, ampl&#xed;a el alcance de la investigaci&#xf3;n tradicional a m&#xfa;ltiples disciplinas y trae consigo nuevos desaf&#xed;os tanto &#xe9;ticos como tecnocient&#xed;ficos. Lo que se pretende en este art&#xed;culo es, precisamente, realizar una cartograf&#xed;a de los mismos a partir de un di&#xe1;logo con sus protagonistas. Para este prop&#xf3;sito, a nivel conceptual, partiremos de una met&#xe1;fora caracter&#xed;stica a la hora de plantear dimensiones b&#xe1;sicas de un robot, esto es, asumir que, al igual que nosotros, estos sienten, piensan y act&#xfa;an. As&#xed;, desde una perspectiva multidisciplinar, trazaremos una narrativa que muestra las posibilidades y las limitaciones de este enfoque a la vez que ilustra sus implicaciones.</p>
			</abstract>
			<trans-abstract xml:lang="en">
				<title>Abstract</title>
				<p>In a gradual and progressive but seemingly inevitable way, the development of robotics is progressing and becoming more and more integrated into our lives. Unlike the industrial approach, conceived for closed and predictable environments, interactive robotics operates in open, complex, and chaotic environments in which the human being is at the centre of the design. This transition, from the industrial to the personal, but also to the social, expands the scope of traditional research to multiple disciplines and brings with it new ethical and technoscientific challenges. The aim of this article is precisely to map these challenges based on a dialogue with the main actors. For this purpose, on a conceptual level, we will start from a common metaphor when considering the basic dimensions of a robot, i.e., assuming that, like us, they feel, think, and act. Thus, from a multidisciplinary perspective, we will outline a narrative that shows the possibilities and limitations of this approach while illustrating its implications.</p>
			</trans-abstract>
			<kwd-group>
				<kwd>Rob&#xf3;tica</kwd>
				<kwd>rob&#xf3;tica interactiva</kwd>
				<kwd>inteligencia artificial</kwd>
				<kwd>&#xe9;tica</kwd>
				<kwd>robo&#xe9;tica</kwd>
			</kwd-group>
			<kwd-group xml:lang="en">
				<kwd>Robotics</kwd>
				<kwd>interactive robotics</kwd>
				<kwd>Artificial Intelligence</kwd>
				<kwd>ethics</kwd>
				<kwd>roboethics</kwd>
			</kwd-group>
			<funding-group id="fw-01">
				<award-group id="aw1">
					<funding-source>H2020</funding-source>
					<award-id>780073</award-id>
				</award-group>
				<award-group id="aw2">
					<funding-source>H2020</funding-source>
					<award-id>779982</award-id>
				</award-group>
				<award-group id="aw3">
					<funding-source>Ministerio de Ciencia e Innovaci&#xf3;n</funding-source>
					<award-id>RTI2018-098882-B-I00</award-id>
				</award-group>
				<funding-statement>La elaboraci&#xf3;n de este art&#xed;culo se inscribe en el proyecto de investigaci&#xf3;n INBOTS CSA: Inclusive Robotics for a Better Society (H2020, ref. 780073), y es resultado del documental Los robots salen de las f&#xe1;bricas, disponible en https://youtu.be/h0QjNC8XQ1U. Agradezco la confianza depositada por el Consorcio del proyecto en general y del Instituto Cajal del CSIC en particular para su coordinaci&#xf3;n, direcci&#xf3;n y producci&#xf3;n. Por otro lado, quiero expresar la mayor gratitud a las voces que han regalado su tiempo para participar desinteresadamente en su realizaci&#xf3;n. Durante su elaboraci&#xf3;n he contado tambi&#xe9;n con el apoyo de los proyectos EXTEND: Bidirectional Hyper-Connected Neural System (H2020, ref. 779982) y FILOEXROBOT: Filosof&#xed;a experimental y nuevas tecnolog&#xed;as: las consecuencias sociales, &#xe9;ticas y normativas de la rob&#xf3;tica y las tecnolog&#xed;as de mejora humana (Ministerio de Ciencia e Innovaci&#xf3;n, ref. RTI2018-098882-B-I00). Finalmente agradezco las pertinentes y atentas sugerencias de los evaluadores y del equipo editorial. </funding-statement>
			</funding-group>
			<counts>
				<fig-count count="0"/>
				<table-count count="0"/>
				<equation-count count="0"/>
				<ref-count count="37"/>
				<page-count count="12"/>
			</counts>
		</article-meta>
	</front>
	<body>
		<sec id="sec1">
			<label>1.</label>
			<title>Consideraciones metodol&#xf3;gicas previas</title>
			<sec id="sec1.1">
				<label>1.1.</label>
				<title>Materiales</title>
				<p>Este art&#xed;culo pretende dibujar una cartograf&#xed;a de los principales retos &#xe9;ticos y tecnocient&#xed;ficos de la rob&#xf3;tica interactiva. A diferencia de los enfoques tradicionales, en este caso, no haremos uso de referencias bibliogr&#xe1;ficas. En su lugar, la fuente principal del an&#xe1;lisis girar&#xe1; en torno al documental <italic>Los robots salen de las f&#xe1;bricas</italic> que coordin&#xe9; en el marco del proyecto europeo Horizonte 2020 <italic>Inbots CSA</italic>
					<xref ref-type="fn" rid="fn1">
						<sup>1</sup>
					</xref>
					<italic>.</italic> Publicado en la web el 8 de abril de 2020, rodado entre el 27 de septiembre de 2019 y el 12 de enero de 2020, este documental se elabor&#xf3; a partir de 38 entrevistas en profundidad a expertas y expertos de primera l&#xed;nea en la disciplina. Focalizado en la transici&#xf3;n desde la rob&#xf3;tica industrial a la rob&#xf3;tica interactiva, donde la comunicaci&#xf3;n humano-robot se vuelve central, el documental incluye reflexiones procedentes tanto del &#xe1;mbito tecnocient&#xed;fico como de las ciencias sociales y de las humanidades.</p>
				<p>Adem&#xe1;s de aludir a frases elegidas durante la elaboraci&#xf3;n del gui&#xf3;n del documental, utilizaremos dos fuentes adicionales. En primer lugar, se incluir&#xe1;n testimonios no editados en el montaje final del documental, que aparecer&#xe1;n indicados diferenciadamente. En segundo lugar, aprovechando que un montaje reducido del mismo fue utilizado para poner a dialogar a nueve de sus protagonistas junto a integrantes del Instituto de Filosof&#xed;a del CSIC, se incluir&#xe1;n menciones a las conversaciones que tuvieron lugar en este evento: tres sesiones de un docuf&#xf3;rum celebradas en el marco de la Und&#xe9;cima Noche Europea de los Investigadores de Madrid el 27 y 28 de noviembre de 2020<xref ref-type="fn" rid="fn2">
						<sup>2</sup>
					</xref>. Por &#xfa;ltimo, se referenciar&#xe1;n materiales citados en los testimonios e hiperenlaces a p&#xe1;ginas web siempre y cuando esto aporte mayor claridad expositiva y una trazabilidad de las ideas que se expresan. En s&#xed;ntesis, lo que se pretende es presentar una visi&#xf3;n y una comprensi&#xf3;n ampliada del documental, en la que tanto el trabajo previo como sus resultados posteriores pasan a un primer plano.</p>
			</sec>
			<sec id="sec1.2">
				<label>1.2.</label>
				<title>Metodolog&#xed;a referencial</title>
				<p>Dada la tipolog&#xed;a de los materiales descritos, la exposici&#xf3;n que aqu&#xed; nos ocupa amerita un m&#xe9;todo referencial espec&#xed;fico. En tanto que nos basamos en testimonios de especialistas, quiz&#xe1; desconocidos para algunos, cada primera cita ir&#xe1; acompa&#xf1;ada de una breve nota a pie que lo situar&#xe1; brevemente. La &#xab;bibliograf&#xed;a&#xbb; estar&#xe1; constituida principalmente por cuatro materiales audiovisuales: el documental y las tres sesiones posteriores del docuf&#xf3;rum, ya mencionadas. En analog&#xed;a con las fuentes tradicionales, consideraremos estos materiales audiovisuales como libros, con su correspondiente fecha de edici&#xf3;n, y a las voces citadas como cap&#xed;tulos de los mismos. As&#xed; las referencias extra&#xed;das del material audiovisual ser&#xe1;n se&#xf1;aladas de forma diferenciada y asociadas a su fecha de grabaci&#xf3;n. Las referencias a materiales externos ser&#xe1;n recogidas en notas a pie. </p>
			</sec>
			<sec id="sec1.3">
				<label>1.3.</label>
				<title>Metodolog&#xed;a conceptual</title>
				<p>Tanto el prop&#xf3;sito general de este art&#xed;culo como la diversidad de perfiles entrevistados han supuesto un considerable desaf&#xed;o a la hora de generar la narrativa del mismo. Para afrontarlo, se ha decidido emplear una aproximaci&#xf3;n metaf&#xf3;rica caracter&#xed;stica, sobre todo, de la divulgaci&#xf3;n en rob&#xf3;tica. De acuerdo con Raja Chatila<xref ref-type="fn" rid="fn3">
						<sup>3</sup>
					</xref> (<xref ref-type="bibr" rid="B9">2020</xref>), un robot puede ser entendido como una m&#xe1;quina que act&#xfa;a en el entorno. Para ello, necesita percibir y construir representaciones del mismo. Recientemente y con especial &#xe9;nfasis en la rob&#xf3;tica interactiva, a estas tres dimensiones b&#xe1;sicas del robot se les deben a&#xf1;adir dos dimensiones adicionales, a saber, la comunicaci&#xf3;n entendida como interacci&#xf3;n entre agentes<xref ref-type="fn" rid="fn4">
						<sup>4</sup>
					</xref> y el aprendizaje requerido para optimizar tanto las representaciones del mundo como el rendimiento de la acci&#xf3;n en un contexto de toma de decisiones (<xref ref-type="bibr" rid="B8">Chatila, 2019</xref>). Visto de esta forma, las similitudes con un modelo mecanicista del ser humano parecen evidentes. Precisamente, esta visi&#xf3;n de los seres humanos, ya sea como mera inspiraci&#xf3;n o como problem&#xe1;tica aspiraci&#xf3;n, estar&#xe1; presente en muchos de los modelos conceptuales de las perspectivas tecnocient&#xed;ficas sobre la rob&#xf3;tica. As&#xed;, podemos decir que un robot es similar a un ser humano en tanto que ambos <italic>sienten, piensan</italic> y <italic>act&#xfa;an,</italic> conceptos que funcionar&#xe1;n como campos sem&#xe1;nticos que dar&#xe1;n nombre a los principales apartados de este art&#xed;culo. Como veremos en la introducci&#xf3;n, dentro de cada uno de ellos y de forma transversal, otras dimensiones pasar&#xe1;n a cobrar relevancia. Por un lado, como protagonistas con capacidad de agencia, nos encontraremos con personas, robots, algoritmos, inteligencias artificiales, sistemas y sociedades. Por otro lado, la &#xe9;tica, en tanto que eje discursivo del enfoque europeo de investigaci&#xf3;n y desarrollo de estas tecnolog&#xed;as, estar&#xe1; siempre presente. De esta forma, dibujaremos una narrativa que entrelaza y contrapone diversos conceptos que guardan cierto parecido de familia (<italic>sentir</italic>, sensores, emociones, percepciones, imaginarios colectivos; <italic>pensar</italic>, procesar, datos, inteligencia, computaci&#xf3;n, deliberar, aprender, explicar; <italic>actuar</italic>, agencia, regulaci&#xf3;n o intervenci&#xf3;n). </p>
				<p>Esta asunci&#xf3;n, si bien generar&#xe1; ciertas tensiones, tambi&#xe9;n nos permitir&#xe1; mostrar las posibilidades y limitaciones de los discursos que se hibridan en la rob&#xf3;tica interactiva, concepto que dar&#xe1; nombre al &#xfa;ltimo apartado del art&#xed;culo, en el cual, a modo de conclusi&#xf3;n, se sintetizan los desaf&#xed;os m&#xe1;s relevantes reflejados a lo largo de la investigaci&#xf3;n.</p>
			</sec>
		</sec>
		<sec id="sec2" sec-type="intro">
			<label>2.</label>
			<title>Introducci&#xf3;n</title>
			<p>En este apartado se presentan los componentes m&#xe1;s relevantes del objeto de estudio. Empezamos por el t&#xed;tulo del documental: <italic>Los robots salen de las f&#xe1;bricas</italic>. Pensar la rob&#xf3;tica interactiva es pensar en un salir de las f&#xe1;bricas que opera en un doble sentido. Por un lado, podemos pensar en su incorporaci&#xf3;n en la vida social, progresiva y paulatina pero, a su vez, aparentemente inevitable. Por otro lado, se encierra en ella la clave de lo que aqu&#xed; nos ocupa, ese paso desde la rob&#xf3;tica industrial, donde los robots operan, tradicionalmente enjaulados, en f&#xe1;bricas entendidas como sistemas cerrados y predecibles, hacia la rob&#xf3;tica interactiva. Tal y como ilustra Francesco Ferro<xref ref-type="fn" rid="fn5">
					<sup>5</sup>
				</xref> (<xref ref-type="bibr" rid="B13">2020</xref>), los brazos rob&#xf3;ticos de toda la vida operaban enjaulados porque eran peligrosos. Por ejemplo, si pasaba alguien y se interpon&#xed;a en su camino, el robot segu&#xed;a intentando cumplir su objetivo a menos que fuera desconectado. Sin embargo, un brazo rob&#xf3;tico cooperativo o colaborativo<xref ref-type="fn" rid="fn6">
					<sup>6</sup>
				</xref>, paradigma de la rob&#xf3;tica interactiva, es capaz de percibir el entorno y reaccionar en consecuencia para evitar un perjuicio. Esta transici&#xf3;n implica un salto a otro mundo, el nuestro, complejo, ca&#xf3;tico, impredecible, pone al factor humano en el centro y ampl&#xed;a el alcance de la investigaci&#xf3;n desde los sensores, la cognici&#xf3;n y los actuadores, a su impacto sist&#xe9;mico centrado en la interacci&#xf3;n (<xref ref-type="bibr" rid="B1">Abbink, 2020</xref>)<xref ref-type="fn" rid="fn7">
					<sup>7</sup>
				</xref>.</p>
			<p>El robot interactivo debe entonces tener la capacidad de interpretar los gestos, las expresiones faciales de la emoci&#xf3;n, en definitiva, la conducta no verbal (<xref ref-type="bibr" rid="B21">Monasterio, 2020a</xref>)<xref ref-type="fn" rid="fn8">
					<sup>8</sup>
				</xref>. Adem&#xe1;s, el factor humano incorpora el error, mientras que &#xab;(...) a los robots ahora se les obliga a ser precisos, exactos. Necesitamos robots que para interactuar con personas sean capaces de trabajar con ese error&#xbb; (<xref ref-type="bibr" rid="B16">Lanillos, 2020a</xref>)<xref ref-type="fn" rid="fn9">
					<sup>9</sup>
				</xref>. Si en 2005 tener un robot era sobre todo mec&#xe1;nica, motores, electr&#xf3;nica, en definitiva, la entidad mecatr&#xf3;nica, </p>
			<disp-quote>
				<p>&#xab;ahora el robot es el software del robot (...). Si bien en todo esto hay t&#xe9;cnicas de rob&#xf3;tica de toda la vida, tambi&#xe9;n hay mucho de inteligencia artificial, que ser&#xed;a m&#xe1;s bien c&#xf3;mo ayudar al robot a hacerse un modelo de la realidad cuando es dif&#xed;cil de modelizar&#xbb; (<xref ref-type="bibr" rid="B29">Sall&#xe9;, 2020</xref>)<xref ref-type="fn" rid="fn10">
						<sup>10</sup>
					</xref>. </p>
			</disp-quote>
			<p>En este sentido, nos encontramos con una relaci&#xf3;n o, si se quiere, una evoluci&#xf3;n desde la electr&#xf3;nica digital, la cibern&#xe9;tica<xref ref-type="fn" rid="fn11">
					<sup>11</sup>
				</xref>, la autom&#xe1;tica, la rob&#xf3;tica hasta la inteligencia artificial. Esta &#xfa;ltima, tras haber pasado periodos de escasa financiaci&#xf3;n debido a que no se cumpl&#xed;an las expectativas generadas, se encuentra ahora en una fase &#xe1;lgida, la del aprendizaje profundo o <italic>deep learning</italic> que consiste en el an&#xe1;lisis, con ordenadores con gran capacidad de c&#xf3;mputo, de extensas bases de datos en b&#xfa;squeda de patrones (<xref ref-type="bibr" rid="B18">L&#xf3;pez de M&#xe1;ntaras, 2019</xref>)<xref ref-type="fn" rid="fn12">
					<sup>12</sup>
				</xref>. As&#xed;, tanto la inteligencia artificial como los datos han pasado a ser parte indisoluble de los desarrollos en rob&#xf3;tica interactiva. Pero, entonces, &#xbf;qu&#xe9; es un robot?</p>
			<disp-quote>
				<p>&#xab;Es un sistema bastante complejo. Lo que lo diferencia de una mera inteligencia artificial es que tiene un chasis, tiene un cuerpo. No es un pensamiento que se queda en una nube, sino que hay una acci&#xf3;n f&#xed;sica que se ve. Esta es la definici&#xf3;n del robot, mecanismo que yo toco, que hace algo que yo puedo tocar. Que est&#xe1; dotado de una inteligencia artificial concreta que lo hace aut&#xf3;nomo. Si no, ser&#xed;a un mero aut&#xf3;mata. Requiere de su chasis y de su inteligencia&#xbb; (<xref ref-type="bibr" rid="B23">Monje, 2020</xref>)<xref ref-type="fn" rid="fn13">
						<sup>13</sup>
					</xref>.</p>
			</disp-quote>
			<p>La raz&#xf3;n por la cual hablamos tanto de rob&#xf3;tica e inteligencia artificial en la actualidad es porque estas tecnolog&#xed;as est&#xe1;n avanzando a gran velocidad y haci&#xe9;ndose cada vez m&#xe1;s eficientes en automatizar tareas que los humanos solemos hacer (<xref ref-type="bibr" rid="B9">Chatila, 2020</xref>). Cuanto mayor es este avance, m&#xe1;s importante es pensar qu&#xe9; queremos hacer con la tecnolog&#xed;a y con los problemas que plantea en relaci&#xf3;n a la privacidad, la responsabilidad, la p&#xe9;rdida de empleos, e incluso preguntarnos sobre el significado del trabajo y el de nuestras propias vidas (<xref ref-type="bibr" rid="B10">Coeckelbergh, 2020</xref>)<xref ref-type="fn" rid="fn14">
					<sup>14</sup>
				</xref>. Es aqu&#xed; donde narrativamente se plantea un modelo europeo de investigaci&#xf3;n, como oposici&#xf3;n al modelo chino y al modelo estadounidense. Para <xref ref-type="bibr" rid="B20">Emmanuel Macron (2019)</xref>
				<xref ref-type="fn" rid="fn15">
					<sup>15</sup>
				</xref> el modelo chino es cada vez m&#xe1;s eficiente, gracias a una fuerte inversi&#xf3;n estatal, pero con elecciones &#xe9;ticas subyacentes incompatibles con las sociedades occidentales. Por otro lado, el modelo estadounidense, liderado por el mercado y muy efectivo pero basado en el mantra de la innovaci&#xf3;n, es incapaz de abordar incentivos no econ&#xf3;micos y da lugar a monopolios de facto que generan desigualdades y destruyen el contrato social. Frente a estos enfoques, Europa plantea un modelo situado entre la innovaci&#xf3;n, una regulaci&#xf3;n basada en la evidencia y los derechos humanos; en definitiva, esta tercera v&#xed;a europea, ser&#xed;a la &#xfa;nica aproximaci&#xf3;n democr&#xe1;ticamente sostenible en el largo plazo. </p>
			<p>No es casual que dos de las mayores redes europeas de investigaci&#xf3;n en inteligencia artificial tengan como elemento central de su estudio el factor humano: <italic>Humane AI</italic>
				<xref ref-type="fn" rid="fn16">
					<sup>16</sup>
				</xref> y <italic>Trustworthy AI</italic>
				<xref ref-type="fn" rid="fn17">
					<sup>17</sup>
				</xref>, y sit&#xfa;en la cuesti&#xf3;n &#xe9;tica de manera muy clara en la agenda de los pr&#xf3;ximos a&#xf1;os (<xref ref-type="bibr" rid="B30">Sierra, 2020a</xref>). </p>
			<p>Dicho esto, la cuesti&#xf3;n sobre c&#xf3;mo se deber&#xed;a abordar la cuesti&#xf3;n &#xe9;tica en la investigaci&#xf3;n implica tambi&#xe9;n ciertas pol&#xe9;micas. Por un lado, las loas a la interdisciplinariedad son habituales en pr&#xe1;cticamente todas las voces consultadas, pero no ocurre lo mismo cuando se les pregunta por la efectividad. Por otro lado, se presenta el peligro de</p>
			<disp-quote>
				<p>&#xab;simplify, oversimplify... to flatten what ethics means. Ethics has to remain a question and the temptation, as soon as you move to law, but even more when you move to computer science, is to turn ethics into an answer [simplificar demasiado el significado de la &#xe9;tica. La &#xe9;tica tiene que seguir siendo una pregunta, pero la tentaci&#xf3;n, en cuanto te mueves al derecho y m&#xe1;s a&#xfa;n cuando pasas a la inform&#xe1;tica, es convertir a la &#xe9;tica en una respuesta]&#xbb; (<xref ref-type="bibr" rid="B12">Delacroix, 2020</xref>)<xref ref-type="fn" rid="fn18">
						<sup>18</sup>
					</xref>.</p>
			</disp-quote>
			<p>En s&#xed;ntesis, lo que se pretende mostrar, es que son m&#xfa;ltiples los factores que conforman la panor&#xe1;mica general de la rob&#xf3;tica interactiva. Por un lado, no podemos pensarla sin la inteligencia artificial y sin los datos que la alimentan. Por otro, la reflexi&#xf3;n inter o multidisciplinar, vertebrada por una cuesti&#xf3;n &#xe9;tica, resulta inseparable de la exposici&#xf3;n. El dilema est&#xe1; entre definir un marco muy concreto de reflexi&#xf3;n, con las particularidades de la rob&#xf3;tica de interacci&#xf3;n en entornos espec&#xed;ficos<xref ref-type="fn" rid="fn19">
					<sup>19</sup>
				</xref>, o ampliar la discusi&#xf3;n en aras de no perder de vista el panorama general<xref ref-type="fn" rid="fn20">
					<sup>20</sup>
				</xref>. Para la cuesti&#xf3;n que aqu&#xed; nos ocupa, hemos optado por la segunda. </p>
		</sec>
		<sec id="sec3">
			<label>3.</label>
			<title>Sentir</title>
			<p>La pregunta con la que decidimos comenzar cada entrevista hac&#xed;a referencia a c&#xf3;mo hab&#xed;an llegado a trabajar en el campo de la rob&#xf3;tica. Dado el enfoque del documento y la riqueza en la variedad de respuestas, este puede ser un buen punto para introducir un componente emocional latente, precisamente, en el recuerdo del comienzo de sus trayectorias profesionales<xref ref-type="fn" rid="fn21">
					<sup>21</sup>
				</xref>. <xref ref-type="bibr" rid="B19">L&#xf3;pez de M&#xe1;ntaras (2020a)</xref>, por ejemplo, cuenta el impacto que le supuso ver en directo la llegada de Neil Armstrong a la luna y descubrir, seg&#xfa;n le cont&#xf3; su profesor de f&#xed;sica, que todo fue gracias a la electr&#xf3;nica. As&#xed;, se decant&#xf3; por dicha ingenier&#xed;a; luego lleg&#xf3; a la autom&#xe1;tica y despu&#xe9;s, el paso a la rob&#xf3;tica result&#xf3; natural. <xref ref-type="bibr" rid="B24">Concha Monje (2020b)</xref> reivindica la experiencia tan enriquecedora que implica una ciencia tan multidisciplinar como lo es la rob&#xf3;tica; pone como ejemplo el cambio paradigm&#xe1;tico que implica el paso desde los metales a la rob&#xf3;tica blanda. <xref ref-type="bibr" rid="B17">Pablo Lanillos (2020b)</xref> entiende la rob&#xf3;tica como una disciplina que puede ayudar a comprendernos mejor a nosotros mismos, saber c&#xf3;mo funcionamos. En este sentido, recuerda dos experiencias significativas: la impresi&#xf3;n que le gener&#xf3; ver los laboratorios que ten&#xed;an montados en el Massachusetts Institute of Technology (MIT) cuando estuvo de estancia en el centro; y la experiencia &#xab;cuasi religiosa&#xbb; vivida en un curso en M&#xfa;nich sobre el cerebro, al ser consciente de &#xab;cu&#xe1;n lejos estamos de entender c&#xf3;mo funciona el cerebro humano y de tener realmente m&#xe1;quinas inteligentes&#xbb; (<xref ref-type="bibr" rid="B17">Lanillos, 2020b</xref>).</p>
			<p>Por otro lado, <xref ref-type="bibr" rid="B6">Andoni Alonso (2020)</xref>
				<xref ref-type="fn" rid="fn22">
					<sup>22</sup>
				</xref> menciona que, si bien lleg&#xf3; a la filosof&#xed;a a trav&#xe9;s de Wittgenstein y fascinado por la cuesti&#xf3;n del lenguaje, cuando comenz&#xf3; su tesis a principios de los a&#xf1;os 90, ya se hablaba de internet, de realidad virtual, se extend&#xed;an las TICs y aparec&#xed;an los primeros navegadores. En ese momento lo que m&#xe1;s le marc&#xf3; fue el <italic>Software Libre</italic>, del que era entusiasta y activista, pues ve&#xed;a en &#xe9;l una posibilidad de reforma social a trav&#xe9;s de la tecnolog&#xed;a. Sin embargo, considera que este ha sido devorado por las grandes tecnol&#xf3;gicas y, en tanto que la tecnolog&#xed;a es una forma m&#xe1;s de cultura, aboga en la actualidad por la necesidad de una verdadera cr&#xed;tica de la tecnolog&#xed;a. Finalmente, <xref ref-type="bibr" rid="B37">Remedios Zafra (2020)</xref>
				<xref ref-type="fn" rid="fn23">
					<sup>23</sup>
				</xref> habla de su ambivalente relaci&#xf3;n personal y profesional con la tecnolog&#xed;a. Por un lado, hace referencia a aquellos peque&#xf1;os robots de su d&#xed;a a d&#xed;a que le ayudan a suplir mermas en los sentidos. Si bien su formaci&#xf3;n en antropolog&#xed;a, arte y filosof&#xed;a se orienta al estudio cr&#xed;tico de la cultura contempor&#xe1;nea, nos comenta que en la adolescencia su formaci&#xf3;n estuvo muy orientada a lo cient&#xed;fico, llegando incluso a empezar la ingenier&#xed;a de telecomunicaciones, y que se siente identificada con muchas de las referencias que se hacen en el documental con perspectiva de g&#xe9;nero. En este sentido, comenta que en el a&#xf1;o 1991 de doscientos alumnos solo dos mujeres cursaban dicha ingenier&#xed;a. Por eso se pregunta por ese componente inefable que crea expectativas y que tiene que ver con las decisiones calladas de las mujeres que los distintos imaginarios han orientado desde ni&#xf1;as. </p>
			<p>Precisamente, tanto los imaginarios como las expectativas juegan un papel importante en la percepci&#xf3;n p&#xfa;blica de lo que es la rob&#xf3;tica. Por ejemplo, <xref ref-type="bibr" rid="B26">Arantxa Renter&#xed;a (2020)</xref> apunta a c&#xf3;mo las campa&#xf1;as de publicidad distorsionan nuestras percepciones acerca de la misma. Poniendo como ejemplo al robot Da Vinci, comenta que mucha gente cree que es este el que opera, cuando realmente no es m&#xe1;s que una m&#xe1;quina teleoperada que se vende como tal. En este sentido, la ciencia ficci&#xf3;n tambi&#xe9;n ha jugado un papel relevante. <xref ref-type="bibr" rid="B2">Guillem Aleny&#xe0; (2019)</xref>
				<xref ref-type="fn" rid="fn24">
					<sup>24</sup>
				</xref> afirma que, si bien esta ha generado una serie de esperanzas o expectativas que la t&#xe9;cnica no ha podido cumplir, tambi&#xe9;n ha sido un punto de inspiraci&#xf3;n, una forma de volcar inquietudes y anhelos. Tanto es as&#xed; que Carme Torras<xref ref-type="fn" rid="fn25">
					<sup>25</sup>
				</xref> utiliza la ciencia ficci&#xf3;n<xref ref-type="fn" rid="fn26">
					<sup>26</sup>
				</xref> en la ense&#xf1;anza para &#xab;ejemplificar situaciones que pongan de manifiesto estos dilemas &#xe9;ticos que surgen, o estos riesgos en los que puede desembocar la tecnolog&#xed;a&#xbb; (<xref ref-type="bibr" rid="B33">Carme Torras, 2019</xref>). Tal y como se&#xf1;ala, ante la ausencia de formaci&#xf3;n human&#xed;stica en las ingenier&#xed;as, es m&#xe1;s f&#xe1;cil introducir reflexiones &#xe9;ticas a trav&#xe9;s de relatos que a trav&#xe9;s de textos m&#xe1;s abstractos. Tomando como ejemplo las <italic>Tres Leyes de la Rob&#xf3;tica</italic> de Isaac Asimov incluidas en el relato corto titulado <italic>Runaround</italic> publicado en 1942, <xref ref-type="bibr" rid="B27">Sabine Roeser (2019)</xref>
				<xref ref-type="fn" rid="fn27">
					<sup>27</sup>
				</xref> comenta que, si bien estas todav&#xed;a no pueden aplicarse en un laboratorio, s&#xed; permiten adelantarnos al suceso. As&#xed;, las artes resultan imprescindibles para la reflexi&#xf3;n en tanto que permiten pensar y sentir escenarios futuros que los cient&#xed;ficos todav&#xed;a no pueden imaginar. En este sentido, afirma que, a pesar de que el rol de las emociones se asocia tradicionalmente a lo irracional o subjetivo, por el contrario, estas tienen un aspecto cognitivo fundamental para la racionalidad pr&#xe1;ctica y la toma de decisiones &#xe9;ticas. En la misma l&#xed;nea, <xref ref-type="bibr" rid="B36">Astrid Wagner (2020)</xref>
				<xref ref-type="fn" rid="fn28">
					<sup>28</sup>
				</xref> menciona las limitaciones de los planteamientos dualistas que olvidan el v&#xed;nculo existente entre mente y cuerpo o emoci&#xf3;n y cognici&#xf3;n. No podemos entender a un robot como un agente moral si no tiene emociones, si no puede empatizar, si no puede ponerse en el lugar del otro. </p>
			<p>Respecto a la conceptualizaci&#xf3;n de la emoci&#xf3;n, Jordi Vallverd&#xfa;<xref ref-type="fn" rid="fn29">
					<sup>29</sup>
				</xref> explica que esta es</p>
			<disp-quote>
				<p>&#xab;un sistema neuroqu&#xed;mico que sirve para dar sentido y etiquetar sucesos. Tambi&#xe9;n es un tipo de disposici&#xf3;n estructural del cuerpo hacia ciertas relaciones con el mundo. (...) Las emociones lo que hacen es una estructura de apertura hacia el mundo para interactuar&#xbb; (<xref ref-type="bibr" rid="B35">Vallverd&#xfa;, 2020</xref>). </p>
			</disp-quote>
			<p>Si bien todav&#xed;a se sigue jugando a nivel ingenieril o comercial con esta idea, lo que hay son sistemas que reaccionan a nuestras expresiones faciales, como ya hac&#xed;a en los a&#xf1;os noventa el robot Kismet desarrollado en el MIT. Sin embargo, &#xab;el robot no siente, sentir es un proceso qu&#xed;mico mucho m&#xe1;s complejo&#xbb; (<xref ref-type="bibr" rid="B35">Vallverd&#xfa;, 2020</xref>). Ahora bien, dada la sofisticaci&#xf3;n lograda en los &#xfa;ltimos a&#xf1;os, no se puede despreciar su capacidad de simularlas. Como comenta Andrea Bertolini<xref ref-type="fn" rid="fn30">
					<sup>30</sup>
				</xref>, las m&#xe1;quinas</p>
			<disp-quote>
				<p>&#xab;can pretend to be intelligent, pretend to have feelings, emotions and even pretend to develop an emotional attachment to human beings. On the other hand, humans are very prone to humanizing objects they interact with on a daily basis [pueden parecer inteligentes, aparentar tener sentimientos, fingir un apego emocional con los seres humanos. Por otro lado, somos muy propensos a humanizar los objetos con los que interactuamos en el d&#xed;a a d&#xed;a]&#xbb; (<xref ref-type="bibr" rid="B7">Bertolini, 2020</xref>). </p>
			</disp-quote>
			<p>Precisamente, esto se debe a que para que haya una interacci&#xf3;n real entre un humano y un robot, es necesario que este entienda lo que le estamos pidiendo; es decir, debe ser capaz de interpretar el lenguaje, los gestos, el habla (<xref ref-type="bibr" rid="B9">Chatila, 2020</xref>), las expresiones faciales de la emoci&#xf3;n, los afectos e incluso c&#xf3;mo estos elementos se manifiestan por la proxemia (<xref ref-type="bibr" rid="B22">Monasterio, 2020</xref>). M&#xe1;s a&#xfa;n, volviendo a la &#xe9;tica en los sistemas artificiales, se necesita que &#xab;los robots respeten los valores que los humanos compartimos en un cierto contexto, para lo cual es muy importante el elemento de la emoci&#xf3;n en tanto que puede alterar dichos valores&#xbb; (<xref ref-type="bibr" rid="B30">Sierra, 2020a</xref>). As&#xed;, se plantea un debate entre valores, normas y emociones, al que los ingenieros est&#xe1;n intentando dar forma; pero para ello necesitan de la ayuda de la filosof&#xed;a y del derecho.</p>
			<p>En este punto, la respuesta a la pregunta de c&#xf3;mo articular una rob&#xf3;tica interactiva &#xe9;tica comienza por la percepci&#xf3;n, a trav&#xe9;s de sensores, de esta multiplicidad de factores. Al introducir su tema de investigaci&#xf3;n, Pablo Lanillos se&#xf1;ala que la retina humana cuenta con 96 millones de fotorreceptores mientras que la punta del dedo con tres mil receptores t&#xe1;ctiles, para que nos hagamos una idea de &#xab;la cantidad de datos que utilizamos para saber d&#xf3;nde estamos en el mundo y c&#xf3;mo realizar una acci&#xf3;n&#xbb; (<xref ref-type="bibr" rid="B16">Lanillos, 2020a</xref>). Tal y como contin&#xfa;a, dado que ahora estamos en un momento en el que los algoritmos nos permiten integrar este tipo de datos en los robots, a nivel de raciocinio e interacci&#xf3;n, podemos comenzar a pensar en que estos hagan cosas parecidas a las que hacemos los humanos.</p>
		</sec>
		<sec id="sec4">
			<label>4.</label>
			<title>Pensar</title>
			<p>Cuando pasamos de los datos a la racionalidad, nos encontramos con una problem&#xe1;tica identificada en muchas de las entrevistas. Como comenta <xref ref-type="bibr" rid="B3">Guillem Aleny&#xe0; (2020a)</xref>, la tecnolog&#xed;a actual, ya no es tanto de ingenieros en tanto que construcci&#xf3;n de reglas y conocimiento, sino que se ha pasado a una forma de hacer en la que se recogen una gran cantidad de datos y se pretende encontrar patrones entre ellos. Estos datos pueden estar sesgados, por lo que ya no solo es una cuesti&#xf3;n de dise&#xf1;ar sin sesgos, sino tambi&#xe9;n de actuar como detectives buscando ese sesgo en los datos. <xref ref-type="bibr" rid="B18">L&#xf3;pez de M&#xe1;ntaras (2019)</xref> ilustra este paso con la transici&#xf3;n desde los sistemas expertos, en los que la inteligencia artificial se basaba, sobre todo, en representar conocimientos y hacer inferencias a partir de los mismos. Hemos pasado de una inteligencia artificial que pon&#xed;a el conocimiento en el centro, a una inteligencia artificial basada en datos. Sin embargo, remarca que el dato es anterior al conocimiento, el cual debemos interpretar y entender para llegar a &#xe9;l. Ahora, analizamos con t&#xe9;cnicas estad&#xed;sticas muy sofisticadas dichos datos para detectar patrones. Si bien se han logrado resultados muy relevantes a partir del <italic>deep learning,</italic> le preocupa que la sem&#xe1;ntica haya pasado a un segundo plano. En esta misma l&#xed;nea, Carme Torras afirma que</p>
			<disp-quote>
				<p>&#xab;los algoritmos de <italic>deep learning</italic> para ciertas cosas perceptivas funcionan muy bien porque, con much&#xed;simos datos, se puede obtener asociaci&#xf3;n r&#xe1;pidamente. Pero hay que ligarlos a sistemas de razonamiento m&#xe1;s simb&#xf3;lico para poder explicar por qu&#xe9; toma determinadas decisiones o incluso ir un poco m&#xe1;s all&#xe1;, encadenar distintos procedimientos para conseguir realizar una tarea m&#xe1;s complicada&#xbb; (<xref ref-type="bibr" rid="B34">Torras, 2020</xref>).</p>
			</disp-quote>
			<p>Volviendo a los robots, estos constan de lo f&#xed;sico, los sensores, los actuadores, el chasis, pero tambi&#xe9;n de una inteligencia artificial que es la que les permite afrontar situaciones imprevistas, para las que no fueron programados pero que les permiten generalizar los datos y la informaci&#xf3;n recabada por los sensores para tomar una decisi&#xf3;n (<xref ref-type="bibr" rid="B4">Aleny&#xe0;, 2020b</xref>). Ahora bien, la inteligencia artificial dominante en la actualidad, basada en la identificaci&#xf3;n de patrones a partir de datos, no sirve demasiado para la visi&#xf3;n general, pues &#xab;necesitamos robots que sepan explicar por qu&#xe9; toman decisiones&#xbb; (<xref ref-type="bibr" rid="B4">Aleny&#xe0;, 2020b</xref>). <xref ref-type="bibr" rid="B9">Raja Chatila (2020)</xref> explica que este proceso de aprendizaje a partir de miles de millones de par&#xe1;metros suele ser una caja negra por dise&#xf1;o. Si bien obtenemos una respuesta a partir de la optimizaci&#xf3;n del objetivo y del proceso indicado, no sabemos por qu&#xe9; nos ha dado ese resultado. Por lo tanto, si queremos continuar con el desarrollo de este tipo de sistemas, si queremos usarlos, debemos ser capaces de confiar en ellos. As&#xed;, el tema de la total explicabilidad se ha convertido en uno de los m&#xe1;s importantes de la inteligencia artificial y, en consecuencia, de la rob&#xf3;tica interactiva. Si bien el primer paso ser&#xed;a saber ese porqu&#xe9;, la explicaci&#xf3;n a su vez tiene que ser en t&#xe9;rminos comprensibles para nosotros, no puede ser un pedazo de c&#xf3;digo o una matriz enorme de n&#xfa;meros (<xref ref-type="bibr" rid="B18">L&#xf3;pez de M&#xe1;ntaras, 2019</xref>). Tiene que ser &#xab;capaz de construir un <italic>storytelling</italic>, una historia que permita que un humano entienda por qu&#xe9; este patr&#xf3;n es tal cosa&#xbb; (<xref ref-type="bibr" rid="B31">Sierra, 2020b</xref>). </p>
			<p>Volvamos, entonces, al concepto de inteligencia que subyace a los sistemas rob&#xf3;ticos. De acuerdo con Carles Sierra:</p>
			<disp-quote>
				<p>&#xab;El mundo de la inteligencia se ha singularizado en diferentes capacidades de los humanos. Razonar, aprender, interpretar, entender... Hay muchas capacidades en nuestras inteligencias que han derivado en &#xe1;reas espec&#xed;ficas o nichos donde los investigadores han intentado reproducir en m&#xe1;quinas esas mismas capacidades. No hacerlas de la misma manera, sino resolver los problemas a los que se enfrentan los humanos con esas capacidades&#xbb; (<xref ref-type="bibr" rid="B31">Sierra, 2020b</xref>). </p>
			</disp-quote>
			<p>As&#xed;, <xref ref-type="bibr" rid="B32">Mario Toboso (2020)</xref>
				<xref ref-type="fn" rid="fn31">
					<sup>31</sup>
				</xref> plantea que las investigaciones y el desarrollo de la inteligencia artificial se han orientado principalmente en una direcci&#xf3;n, del humano al robot: c&#xf3;mo transmitir cualidades humanas a &#xe1;mbitos artificiales. Pero, &#xbf;en qu&#xe9; sentido la rob&#xf3;tica y la inteligencia artificial nos pueden ense&#xf1;ar cosas sobre nuestra forma de razonar, de aprender, de percibir o de tomar decisiones? Respecto a esta cuesti&#xf3;n, <xref ref-type="bibr" rid="B19">L&#xf3;pez de M&#xe1;ntaras (2020a)</xref> comenta que esta aproximaci&#xf3;n bidireccional m&#xe1;s cognitivista, si bien estuvo muy activa entre los a&#xf1;os 60 y 80 del siglo XX a trav&#xe9;s de una discusi&#xf3;n multidisciplinar sobre arquitecturas cognitivas en las que tanto la filosof&#xed;a, como la antropolog&#xed;a y la psicolog&#xed;a estaban presentes, en la actualidad se ha ido difuminando y pasando a un segundo plano. De ah&#xed;, que L&#xf3;pez de M&#xe1;ntaras mantenga una posici&#xf3;n cr&#xed;tica hacia esta inteligencia artificial basada en datos cuando esta solo se basa en una l&#xf3;gica matem&#xe1;tica en la que no se tienen en cuenta otras cuestiones, como el cuerpo. </p>
			<p>Un agente artificial necesita de un cuerpo, pues no basta con descripciones abstractas y codificadas del entorno, ni con billones de datos, pues,</p>
			<disp-quote>
				<p>&#xab;En ausencia de un cuerpo, ni las representaciones abstractas de la inteligencia artificial simb&#xf3;lica ni el estado interno de la red neuronal profunda pueden tener ning&#xfa;n contenido sem&#xe1;ntico en absoluto. (...) Yo estoy de acuerdo con Dreyfus, el famoso fil&#xf3;sofo de California, Berkeley, que fue uno de los primeros en abogar por asociar la inteligencia a un cuerpo capaz de interactuar con el mundo. La idea es que la inteligencia de los seres vivos deriva del hecho de estar situados en un ambiente con el que puedan interaccionar, socializando con otros seres vivos. La dimensi&#xf3;n social es absolutamente fundamental. No vamos a poder ir a una inteligencia artificial de verdad, porque lo que tenemos ahora no es inteligente en absoluto, si no pasamos por un cuerpo, por el contenido sem&#xe1;ntico de las interacciones y la interpretaci&#xf3;n de lo que est&#xe1; pasando, sino tambi&#xe9;n por avances en sistemas multiagente que van a permitir esta dimensi&#xf3;n social de la inteligencia&#xbb; (L&#xf3;pez de M&#xe1;ntaras, 2020b).</p>
			</disp-quote>
			<p>Como comenta <xref ref-type="bibr" rid="B30">Carles Sierra (2020)</xref>, &#xab;la inteligencia artificial ser&#xe1; colectiva o no ser&#xe1;&#xbb;. Por lo tanto, la cuesti&#xf3;n adquiere una dimensi&#xf3;n a&#xfa;n mayor, que nos invita a pensar no solo en lo individual, sino tambi&#xe9;n en lo social. Si bien se han ilustrado las limitaciones, eso no significa que no hayamos empezado a delegar ya decisiones en este tipo de sistemas. <xref ref-type="bibr" rid="B3">Guillem Aleny&#xe0; (2020a)</xref> lo expresa de la siguiente manera: &#xab;pusimos los m&#xf3;viles en las manos de nuestros hijos, cerramos los ojos y dijimos espero que todo vaya bien&#xbb;. El peligro, tal y como nos comenta <xref ref-type="bibr" rid="B11">Sylvie Delacroix (2019)</xref>, es que asumamos que estos sistemas estar&#xe1;n mucho mejor informados que nosotros, que tomar&#xe1;n mejores decisiones, m&#xe1;s racionales, menos sesgadas, y vivamos una suerte de delegaci&#xf3;n de la responsabilidad normativa que nos pueda hacer menos capaces de conectar con el mundo en vez de mejorar nuestra vida. </p>
			<p>As&#xed;, se introduce una componente social o, si se quiere, sist&#xe9;mica sobre la tecnolog&#xed;a y la deliberaci&#xf3;n p&#xfa;blica acerca de la misma. Como explica Mark Coeckelbergh, si bien hay muchos nexos entre las cuestiones tecnol&#xf3;gicas y sociales, es necesario reivindicar y pensar ese v&#xed;nculo entre la tecnolog&#xed;a y la pol&#xed;tica, el tipo de necesidades y soluciones que se est&#xe1;n creando, e incluso el problema de &#xab;la idea de que toda esta tecnolog&#xed;a es una soluci&#xf3;n en s&#xed; misma&#xbb; (<xref ref-type="bibr" rid="B10">Coeckelbergh, 2020</xref>). Es aqu&#xed; donde entra la problem&#xe1;tica idea de la innovaci&#xf3;n, que desde hace tiempo ha sustituido &#xab;la idea ilustrada de progreso, de que avanzaremos a una sociedad equilibrada, libre, justa&#xbb; (<xref ref-type="bibr" rid="B5">Alonso, 2019</xref>). En esta misma l&#xed;nea, Langdom Winner (2019) comenta que, especialmente en nuestra &#xe9;poca, la innovaci&#xf3;n funciona como un mito o un colorido ritual que asume que esta es buena en s&#xed; misma. As&#xed;, a pesar de que la innovaci&#xf3;n es una creaci&#xf3;n destructiva, &#xab;nos centramos solo en la primera parte, en la creaci&#xf3;n, y la destrucci&#xf3;n nos parece estupenda y maravillosa&#xbb; (<xref ref-type="bibr" rid="B5">Alonso, 2019</xref>), dejando en un segundo plano las consecuencias de las disrupciones que provoca. Por ello Langdom Winner (2019) aboga por recuperar ese esp&#xed;ritu activista presente en los estudios sobre Ciencia, Tecnolog&#xed;a y Sociedad (CTS), que no se dedicaba solo a producir teor&#xed;as, conceptos y marcos, sino que se preocupaba sobre todo por articular esta dimensi&#xf3;n dentro de las democracias modernas. Partiendo de la base de que sabemos que estas tecnolog&#xed;as modifican la composici&#xf3;n y el funcionamiento de nuestras sociedades, necesitamos incorporar procesos democr&#xe1;ticos de participaci&#xf3;n, voto e investigaci&#xf3;n para tomar decisiones p&#xfa;blicas inteligentes en lo que respecta a su desarrollo e implantaci&#xf3;n. </p>
		</sec>
		<sec id="sec5">
			<label>5.</label>
			<title>Actuar</title>
			<p>Como respuesta al escenario previamente descrito, Amparo Grau considera que es muy relevante la labor que realiza la Comisi&#xf3;n Europea &#xab;impulsando proyectos en toda Europa para que los investigadores reflexionen sobre c&#xf3;mo, de manera transversal, podemos regular los avances tecnol&#xf3;gicos en beneficio de la sociedad&#xbb; (<xref ref-type="bibr" rid="B14">Grau, 2020a</xref>). En este sentido, remarca la importancia del paradigma de investigaci&#xf3;n e innovaci&#xf3;n socialmente responsable<xref ref-type="fn" rid="fn32">
					<sup>32</sup>
				</xref> que caracteriza la l&#xed;nea europea y, adem&#xe1;s, la necesidad de reforzar la comunicaci&#xf3;n y el entendimiento entre las diferentes partes implicadas para que la retroalimentaci&#xf3;n sea capaz de llegar al mismo proceso de dise&#xf1;o y producci&#xf3;n (Grau, 2019). As&#xed;, el enfoque &#xe9;tico -y el propio papel, por ejemplo, de la filosof&#xed;a-, deber&#xed;a consistir en superar la visi&#xf3;n cr&#xed;tica a posteriori y tratar de introducir esta forma de razonamiento desde los desarrollos iniciales (<xref ref-type="bibr" rid="B28">Roeser, 2020</xref>). Por lo tanto, a la hora de pensar en cualquier tipo de intervenci&#xf3;n, no solo hay que buscar en el sistema legal, sino tambi&#xe9;n tener en cuenta las complejas consideraciones &#xe9;tico-jur&#xed;dicas y entender el propio desarrollo de la tecnolog&#xed;a, de forma que &#xab;un enfoque multidisciplinar es el &#xfa;nico enfoque posible&#xbb; (<xref ref-type="bibr" rid="B7">Bertolini, 2020</xref>).</p>
			<p>Todos los discursos comparten esta convicci&#xf3;n respecto a la necesidad de una aproximaci&#xf3;n plural, sin embargo, los testimonios apuntan tambi&#xe9;n a que todav&#xed;a hay mucho trabajo que hacer para que esta sea efectiva. Si bien la rob&#xf3;tica en s&#xed; misma es una disciplina multidisciplinar donde matem&#xe1;ticos, f&#xed;sicos, ingenieros electr&#xf3;nicos y programadores trabajan en equipo, las diferencias metodol&#xf3;gicas con respecto a las ciencias sociales y las humanidades plantean mayores dificultades. Por un lado, nos encontramos con una formaci&#xf3;n absolutamente t&#xe9;cnica y especializada en las disciplinas t&#xe9;cnicas (<xref ref-type="bibr" rid="B34">Torras, 2020a</xref>) y, por otro, con una falta de familiaridad con la l&#xf3;gica tecnocient&#xed;fica por parte de las humanidades y las ciencias sociales (Mayer, 2020), que suelen mantener cierta distancia y limitarse a describir, mientras que lo necesario es hacer un esfuerzo por colaborar, lo cual no implica renunciar a una perspectiva cr&#xed;tica (<xref ref-type="bibr" rid="B25">&#xd6;stlund, 2020</xref>). <xref ref-type="bibr" rid="B6">Andoni Alonso (2020)</xref> plantea el mismo tema de otra forma, al cuestionar el motivo que ha llevado a que la &#xe9;tica pueda ser concebida como algo sectorial dentro de un grupo de investigaci&#xf3;n. Como comenta &#xab;yo no tengo ni idea de mecatr&#xf3;nica, pero si pensamos que alguien en esta sala no tiene idea de lo que es lo bueno y lo malo, pensar&#xed;amos que es un psic&#xf3;pata&#xbb; (<xref ref-type="bibr" rid="B6">Alonso, 2020</xref>). As&#xed;, apunta al problema de la superespecializaci&#xf3;n. Si bien Guillem Aleny&#xe0; comparte esta preocupaci&#xf3;n, haciendo referencia incluso a las dificultades de muchos de sus estudiantes para poner sobre papel dos ideas con cierta coherencia, ve necesaria y beneficiosa la colaboraci&#xf3;n entre disciplinas ante la amplitud de los problemas y la complejidad de la ciencia que tenemos hoy en d&#xed;a (<xref ref-type="bibr" rid="B3">Aleny&#xe0;, 2020</xref>). </p>
			<p>Como condici&#xf3;n necesaria de este trabajo multidisciplinar, Andrea Bertolini reivindica la necesidad de desarrollar un lenguaje com&#xfa;n; y lo ilustra a trav&#xe9;s del concepto de autonom&#xed;a: </p>
			<disp-quote>
				<p>&#xab;(...) cuando un ingeniero habla de autonom&#xed;a, se refiere principalmente a la automatizaci&#xf3;n. Cuando un fil&#xf3;sofo habla de autonom&#xed;a, esta palabra tiene un significado muy diferente que tiene que ver con la libertad de autodeterminaci&#xf3;n. Cuando un abogado habla de autonom&#xed;a y de la capacidad de suscribir un contrato, tambi&#xe9;n puede referirse a algo completamente diferente pues, incluso una persona jur&#xed;dica que no sea una persona f&#xed;sica puede firmar leg&#xed;timamente un contrato, y decir que una entidad legal es una persona jur&#xed;dica no implica reconocerla como un ser vivo. Por lo tanto, si un abogado, un ingeniero y un fil&#xf3;sofo que no tienen conocimientos sobre el &#xe1;rea de cada uno hablan entre ellos, puede haber muchos malentendidos y las conclusiones a las que lleguen pueden ser absoluta y radicalmente incorrectas&#xbb; (<xref ref-type="bibr" rid="B7">Bertolini, 2020</xref>).</p>
			</disp-quote>
			<p>Hasta ahora, en este apartado dedicado a la acci&#xf3;n, se han presentado cuestiones fundamentales relativas, primero, a la importancia de la gobernanza, esto es, a qui&#xe9;n se deber&#xed;a implicar en la toma de decisiones y, segundo, a las condiciones de posibilidad de una comunicaci&#xf3;n efectiva entre disciplinas. </p>
			<p>Es el momento de introducir la perspectiva agencial de las propias tecnolog&#xed;as pues, precisamente, refleja bien esta cuesti&#xf3;n de la autonom&#xed;a. De acuerdo con Mavi S&#xe1;nchez-Vives (2020)<xref ref-type="fn" rid="fn33">
					<sup>33</sup>
				</xref> &#xab;la agencia es la sensaci&#xf3;n de control de que uno es el due&#xf1;o de una acci&#xf3;n&#xbb;. Tambi&#xe9;n se puede entender como la capacidad de reconocer nuestro efecto en el mundo, una capacidad que los robots todav&#xed;a no tienen (<xref ref-type="bibr" rid="B16">Lanillos, 2020a</xref>). Si bien, como comenta <xref ref-type="bibr" rid="B1">David Abbink (2020)</xref>, podemos afirmar que los robots no tienen moralidad ni conciencia de s&#xed; mismos, s&#xed; que tienen comportamiento, es decir, <italic>act&#xfa;an</italic>, realizan una acci&#xf3;n en el mundo que hay que coordinar debido a su impacto sist&#xe9;mico. Esto, como veremos a continuaci&#xf3;n, plantea un reto fundamental a la hora de conceptuar &#xe9;ticamente el proceso de toma de decisiones.</p>
			<p>De acuerdo con Amparo Grau, cuando se vislumbran los riesgos y las oportunidades de lo que se ha venido llamando cuarta revoluci&#xf3;n industrial, nos encontramos ante el reto de incentivar una innovaci&#xf3;n responsable y regular all&#xed; donde sea necesario; a veces contamos con normas pensadas en otros contextos hist&#xf3;ricos que se ven constantemente superadas (<xref ref-type="bibr" rid="B15">Grau, 2020b</xref>). En este sentido, apunta que</p>
			<disp-quote>
				<p>&#xab;el Derecho se tiene que adaptar a microdirectivas y a no a leyes generales, lo cual est&#xe1; suponiendo cambios en la fisonom&#xed;a del propio Derecho: no es que el Derecho se adapte a regular una situaci&#xf3;n externa, es que el propio Derecho est&#xe1; cambiando&#xbb; (<xref ref-type="bibr" rid="B15">Grau, 2020b</xref>). </p>
			</disp-quote>
			<p>As&#xed;, llegamos a la cuesti&#xf3;n de si el Derecho deber&#xed;a estar inserto en el c&#xf3;digo de las propias m&#xe1;quinas. C&#xf3;mo implementar normas que influyan en la manera en la que los sistemas sociot&#xe9;cnicos funcionen, empieza a ser relevante en el mundo de la inteligencia artificial, y es precisamente una de las l&#xed;neas de trabajo de <xref ref-type="bibr" rid="B31">Carles Sierra (2020b)</xref>. Esto, que tiene su origen en los intentos de formalizar anal&#xed;ticamente la l&#xf3;gica jur&#xed;dica de los sistemas legales, en la actualidad se est&#xe1; planteando junto con la necesidad de alinear los valores que gu&#xed;an la acci&#xf3;n, por ejemplo, de los robots, con los valores de las sociedades en los que estos tienen que interactuar. Este es uno de los mayores retos t&#xe9;cnicos y &#xe9;ticos de la implantaci&#xf3;n de la rob&#xf3;tica interactiva. Como afirma <xref ref-type="bibr" rid="B11">Sylvie Delacroix (2019)</xref>, a menos que nos tomemos en serio la cuesti&#xf3;n de c&#xf3;mo los humanos cambiamos de posici&#xf3;n respecto de lo que est&#xe1; bien y lo que est&#xe1; mal, no podremos tomar decisiones mediadas por sistemas artificiales que se mantengan acompasadas con nuestras preferencias &#xe9;ticas. Es m&#xe1;s, argumenta que si bien es necesaria una respuesta oficial a la pregunta &#xe9;tica, como podr&#xed;an ser las normas jur&#xed;dicas, el peligro ser&#xed;a, precisamente, convertir a la &#xe9;tica en una respuesta fija implementada en un c&#xf3;digo (<xref ref-type="bibr" rid="B12">Delacroix, 2020</xref>). </p>
			<p>
				<xref ref-type="bibr" rid="B31">Carles Sierra (2020b)</xref> considera que el enfoque consecuencialista es el m&#xe1;s apropiado para pensar en la toma de decisiones &#xe9;ticas en inteligencia artificial, pues el sistema debe ser capaz de saber si las consecuencias de la acci&#xf3;n realizada son compatibles con los valores y consensos sociales de la comunidad. En este sentido, Carles Sierra aboga por una aproximaci&#xf3;n no universal y basada en comunidades o grupos, donde las normas, los valores y, en consecuencia, la interpretaci&#xf3;n de las emociones de las personas que integran dichas comunidades, pasan a ser una condici&#xf3;n de posibilidad de su propio dise&#xf1;o.</p>
		</sec>
		<sec id="sec6" sec-type="conclusions">
			<label>6.</label>
			<title>Rob&#xf3;tica interactiva, una conclusi&#xf3;n</title>
			<p>Hasta aqu&#xed; una cartograf&#xed;a de los principales retos &#xe9;ticos y tecnocient&#xed;ficos que rodean a la rob&#xf3;tica interactiva a trav&#xe9;s de las voces reunidas en el documental <italic>Los robots salen de las f&#xe1;bricas</italic>. Con este material he descrito el salto cualitativo que implica la transici&#xf3;n desde la rob&#xf3;tica industrial, basada en sistemas cerrados y predecibles, hacia la rob&#xf3;tica interactiva, que opera en entornos abiertos, complejos e impredecibles y donde el componente humano pasa a situarse en el centro del dise&#xf1;o. De esta forma la inteligencia artificial, basada en datos, se convierte en un elemento habitual en tanto que se precisan modelos din&#xe1;micos de la realidad. El r&#xe1;pido avance de estas tecnolog&#xed;as y su incorporaci&#xf3;n inevitable, progresiva y paulatina a la vida social, despierta una serie de interrogantes de gran calado. Ya hemos visto que, al menos narrativamente, China parte de un modelo impulsado por el Estado y dirigido al control social; Estados Unidos de un modelo impulsado por el mercado y orientado a la b&#xfa;squeda de beneficio; y que Europa toma una tercera v&#xed;a que pone a la &#xe9;tica y al ser humano en el centro como &#xfa;nica alternativa democr&#xe1;ticamente sostenible a largo plazo. Por ello, una primera conclusi&#xf3;n podr&#xed;a ser que el panorama general que rodea la rob&#xf3;tica interactiva es amplio, multidisciplinar y pol&#xed;tico. Para cartografiarlo, se ha hecho uso de una met&#xe1;fora muy utilizada en la divulgaci&#xf3;n en rob&#xf3;tica, que equipara al ser humano con el robot en tanto que ambos sienten, piensan y act&#xfa;an. </p>
			<p>En cuanto al <italic>sentir</italic>, y partiendo de la motivaci&#xf3;n que ha llevado a algunos a trabajar cuestiones relacionadas con la rob&#xf3;tica, se ha mostrado la problem&#xe1;tica que plantean las expectativas y los imaginarios creados en torno a esta tecnolog&#xed;a. Por un lado, las campa&#xf1;as publicitarias y comunicativas distorsionan nuestras percepciones. Por otro, si bien la ciencia ficci&#xf3;n ha podido crear un exceso de expectativas, tambi&#xe9;n resulta de suma utilidad tanto para volcar inquietudes y anhelos como para introducir reflexiones &#xe9;ticas. En t&#xe9;rminos epist&#xe9;micos, es importante superar el enfoque dualista entre emoci&#xf3;n y cognici&#xf3;n. Si bien parece claro que un robot no puede sentir, su capacidad de simular sentimientos y de identificarlos e interpretarlos a trav&#xe9;s de sensores, explica que pueda tener lugar una interacci&#xf3;n efectiva.</p>
			<p>Con respecto al <italic>pensar</italic>, hemos visto c&#xf3;mo la inteligencia artificial basada en datos, dominante en la actualidad, ha dejado en un segundo plano las cuestiones m&#xe1;s relacionadas con el conocimiento. Esto, en el caso de la interacci&#xf3;n humano-m&#xe1;quina, supone un problema, dado que para que esta sea efectiva es preciso que el robot sea capaz de dar una explicaci&#xf3;n comprensible para el humano de por qu&#xe9; ha tomado una decisi&#xf3;n; y esto no siempre es posible. As&#xed;, la total explicabilidad se convierte en uno de los retos m&#xe1;s acuciantes. En lo que respecta a la posibilidad de crear inteligencia, es necesario superar el dualismo entre mente y cuerpo y avanzar en la dimensi&#xf3;n social del conocimiento. Finalmente, se ha reabierto una deliberaci&#xf3;n p&#xfa;blica en relaci&#xf3;n al desarrollo e implantaci&#xf3;n de estas tecnolog&#xed;as. En tanto que se parte de la base de que transforman la composici&#xf3;n y el funcionamiento de la sociedad, se aboga por la incorporaci&#xf3;n de nuevas dimensiones democr&#xe1;ticas.</p>
			<p>Por &#xfa;ltimo, en lo relativo a la <italic>acci&#xf3;n</italic>, la intervenci&#xf3;n legislativa y el paradigma europeo de investigaci&#xf3;n e innovaci&#xf3;n responsable son hasta ahora las v&#xed;as para superar las externalidades negativas de la creaci&#xf3;n destructiva que pueda generar la rob&#xf3;tica interactiva. Aqu&#xed;, el enfoque multidisciplinar no s&#xf3;lo es una posibilidad, sino que es la &#xfa;nica respuesta posible. Sin embargo, hemos visto como las experiencias de los investigadores apuntan a que a&#xfa;n hay mucho trabajo que hacer para que esto sea realmente efectivo. Si bien el trabajo plural es consustancial a la investigaci&#xf3;n en rob&#xf3;tica dentro del paradigma tecnocient&#xed;fico, las distancias metodol&#xf3;gicas, teleol&#xf3;gicas e incluso comunicativas con respecto a las ciencias sociales y a las humanidades son considerables, y se ven agravadas por la tendencia creciente a una especializaci&#xf3;n cada vez mayor de las disciplinas. Adem&#xe1;s, resulta preciso introducir la perspectiva agencial de las propias tecnolog&#xed;as. Si bien los sistemas artificiales no tienen moralidad ni conciencia de s&#xed; mismos, su capacidad de actuar en el mundo es cada vez mayor. Para ello, es necesario coordinar y modular el impacto sist&#xe9;mico de su implantaci&#xf3;n mediante la codificaci&#xf3;n de normas y valores, lo que va a ser uno de los retos m&#xe1;s desafiantes de la rob&#xf3;tica interactiva.</p>
		</sec>
	</body>
	<back>
		<ack>
			<title>Agradecimientos</title>
			<p>La elaboraci&#xf3;n de este art&#xed;culo se inscribe en el proyecto de investigaci&#xf3;n INBOTS CSA: <italic>Inclusive Robotics for a Better Society</italic> (H2020, ref. 780073), y es resultado del documental <italic>Los robots salen de las f&#xe1;bricas</italic>, disponible en <ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>. Agradezco la confianza depositada por el Consorcio del proyecto en general y del Instituto Cajal del CSIC en particular para su coordinaci&#xf3;n, direcci&#xf3;n y producci&#xf3;n. Por otro lado, quiero expresar la mayor gratitud a las voces que han regalado su tiempo para participar desinteresadamente en su realizaci&#xf3;n. Durante su elaboraci&#xf3;n he contado tambi&#xe9;n con el apoyo de los proyectos EXTEND: <italic>Bidirectional Hyper-Connected Neural System</italic> (H2020, ref. 779982) y FILOEXROBOT: <italic>Filosof&#xed;a experimental y nuevas tecnolog&#xed;as: las consecuencias sociales, &#xe9;ticas y normativas de la rob&#xf3;tica y las tecnolog&#xed;as de mejora humana</italic> (Ministerio de Ciencia e Innovaci&#xf3;n, ref. RTI2018-098882-B-I00). Finalmente agradezco las pertinentes y atentas sugerencias de los evaluadores y del equipo editorial. </p>
		</ack>
		<fn-group>
			<title>Notas</title>
			<fn fn-type="other" id="fn1">
				<label>
					<sup>1</sup>
				</label>
				<p>M&#xe1;s informaci&#xf3;n sobre el proyecto en <ext-link ext-link-type="uri" xlink:href="http://inbots.eu/">http://inbots.eu/</ext-link>
				</p>
			</fn>
			<fn fn-type="other" id="fn2">
				<label>
					<sup>2</sup>
				</label>
				<p>M&#xe1;s informaci&#xf3;n sobre las jornadas en <ext-link ext-link-type="uri" xlink:href="https://www.madrimasd.org/lanochedelosinvestigadores/">https://www.madrimasd.org/lanochedelosinvestigadores/</ext-link>
				</p>
			</fn>
			<fn fn-type="other" id="fn3">
				<label>
					<sup>3</sup>
				</label>
				<p>Raja Chatila es Profesor Em&#xe9;rito en Inteligencia Artificial, Rob&#xf3;tica y &#xc9;tica en la Universidad de La Sorbona (Par&#xed;s, Francia). Durante la entrevista, era miembro del Grupo de Expertos de Alto Nivel en Inteligencia Artificial de la Comisi&#xf3;n Europea (HLEG-AI). </p>
			</fn>
			<fn fn-type="other" id="fn4">
				<label>
					<sup>4</sup>
				</label>
				<p>Estos pueden ser operadores, usuarios e incluso otras m&#xe1;quinas.</p>
			</fn>
			<fn fn-type="other" id="fn5">
				<label>
					<sup>5</sup>
				</label>
				<p>Francesco Ferro es CEO y cofundador de Pal Robotics (Barcelona, Espa&#xf1;a) y uno de los miembros de la junta directiva de euRobotics. </p>
			</fn>
			<fn fn-type="other" id="fn6">
				<label>
					<sup>6</sup>
				</label>
				<p>Dentro del discurso generalizado sobre la innovaci&#xf3;n en rob&#xf3;tica, es habitual escuchar referencias al adjetivo cooperativo (o colaborativo) para hablar de rob&#xf3;tica interactiva. En lo que respecta a los robots comerciales disponibles en la actualidad, este adjetivo, por ahora, significa poco m&#xe1;s que evitar colisiones. Sin embargo, como veremos, esto no implica que no se aspire a construir las condiciones de posibilidad de una cooperaci&#xf3;n m&#xe1;s significativa.</p>
			</fn>
			<fn fn-type="other" id="fn7">
				<label>
					<sup>7</sup>
				</label>
				<p>David Abbink es Profesor Titular en Interacci&#xf3;n Humano-Robot en el departamento de Rob&#xf3;tica Cognitiva de la la Universidad Tecnol&#xf3;gica de Delft (Holanda). </p>
			</fn>
			<fn fn-type="other" id="fn8">
				<label>
					<sup>8</sup>
				</label>
				<p>An&#xed;bal Monasterio Astobiza es Doctor en Ciencias Cognitivas y miembro cofundador del Laboratorio de Investigaci&#xf3;n e Intervenci&#xf3;n en Filosof&#xed;a y &#xc9;tica - Li&#xb2;Fe (Espa&#xf1;a).</p>
			</fn>
			<fn fn-type="other" id="fn9">
				<label>
					<sup>9</sup>
				</label>
				<p>Pablo Lanillos es Profesor en el Instituto dedicado a Cerebro, Cognici&#xf3;n y Comportamiento en la Universidad de Radboud (Holanda). </p>
			</fn>
			<fn fn-type="other" id="fn10">
				<label>
					<sup>10</sup>
				</label>
				<p>Damien Sall&#xe9; es Coordinador de Rob&#xf3;tica y Automatizaci&#xf3;n en Tecnalia (San Sebasti&#xe1;n, Espa&#xf1;a). </p>
			</fn>
			<fn fn-type="other" id="fn11">
				<label>
					<sup>11</sup>
				</label>
				<p>Aunque queda fuera del alcance de esta investigaci&#xf3;n, parece que la falta de sinton&#xed;a entre John McCarthy y Norbert Wiener, pudo estar detr&#xe1;s de que el primero acu&#xf1;ase el t&#xe9;rmino Inteligencia Artificial (<xref ref-type="bibr" rid="B18">L&#xf3;pez de M&#xe1;ntaras, 2019</xref>).</p>
			</fn>
			<fn fn-type="other" id="fn12">
				<label>
					<sup>12</sup>
				</label>
				<p>Ram&#xf3;n L&#xf3;pez de M&#xe1;ntaras es Profesor de Investigaci&#xf3;n en el Instituto de Investigaci&#xf3;n en Inteligencia Artificial del Consejo Superior de Investigaciones Cient&#xed;ficas (Barcelona, Espa&#xf1;a). Fue promotor de la &#xab;Declaraci&#xf3;n de Barcelona para un Desarrollo y Uso Apropiados de la Inteligencia Artificial en Europa&#xbb;. </p>
			</fn>
			<fn fn-type="other" id="fn13">
				<label>
					<sup>13</sup>
				</label>
				<p>Concha Monje es Profesora Titular de Rob&#xf3;tica y Control de Sistema en RoboticsLab de la Universidad Carlos III de Madrid (Espa&#xf1;a). </p>
			</fn>
			<fn fn-type="other" id="fn14">
				<label>
					<sup>14</sup>
				</label>
				<p>Marc Coeckelbergh es Profesor de Filosof&#xed;a, Medios y Tecnolog&#xed;a en el Departamento de Filosof&#xed;a de la Universidad de Viena (Austria). Forma parte del Grupo de Expertos de Alto Nivel en Inteligencia Artificial para la Comisi&#xf3;n Europea (HLEG-AI).</p>
			</fn>
			<fn fn-type="other" id="fn15">
				<label>
					<sup>15</sup>
				</label>
				<p>Emmanuel Macron es Presidente de la Rep&#xfa;blica Francesa. Si bien no tuvimos la oportunidad de hablar directamente con &#xe9;l, le escuchamos durante la conferencia de clausura del Global Forum on Artificial Intelligence for Humanity (GFAIH), donde realizamos otras entrevistas. Disponible en <ext-link ext-link-type="uri" xlink:href="https://youtu.be/ftI7LByZIeI">https://youtu.be/ftI7LByZIeI</ext-link>. </p>
			</fn>
			<fn fn-type="other" id="fn16">
				<label>
					<sup>16</sup>
				</label>
				<p>Human-Centered Artificial Intelligence [Inteligencia Artificial Centrada en lo Humano]. M&#xe1;s informaci&#xf3;n sobre la red en <ext-link ext-link-type="uri" xlink:href="https://www.humane-ai.eu/">https://www.humane-ai.eu/</ext-link>
				</p>
			</fn>
			<fn fn-type="other" id="fn17">
				<label>
					<sup>17</sup>
				</label>
				<p>Foundations of Trustworthy AI - Integrating Reasoning, Learning and Optimization [Fundamentos de una IA Confiable - Integrando Razonamiento, Aprendizaje y Optimizaci&#xf3;n]. M&#xe1;s informaci&#xf3;n en <ext-link ext-link-type="uri" xlink:href="https://cordis.europa.eu/project/id/952215">https://cordis.europa.eu/project/id/952215</ext-link>.</p>
			</fn>
			<fn fn-type="other" id="fn18">
				<label>
					<sup>18</sup>
				</label>
				<p>Sylvie Delacroix es Profesora de Derecho y &#xc9;tica en la Universidad de Birmingham (Reino Unido). </p>
			</fn>
			<fn fn-type="other" id="fn19">
				<label>
					<sup>19</sup>
				</label>
				<p>Por ejemplo, el cuidado, la asistencia, la educaci&#xf3;n, etc.</p>
			</fn>
			<fn fn-type="other" id="fn20">
				<label>
					<sup>20</sup>
				</label>
				<p>Para m&#xe1;s detalles sobre esta cuesti&#xf3;n, ver el debate planteado en la tercera sesi&#xf3;n de la Noche Europea de los Investigadores: <ext-link ext-link-type="uri" xlink:href="https://youtu.be/00cKofLyhRY">https://youtu.be/00cKofLyhRY</ext-link>
				</p>
			</fn>
			<fn fn-type="other" id="fn21">
				<label>
					<sup>21</sup>
				</label>
				<p>Aunque esta pregunta fue realizada tambi&#xe9;n en las entrevistas para el documental, dado que esta parte no lleg&#xf3; a formar parte del montaje final, primamos los comentarios realizados en la Noche Europea de los Investigadores.</p>
			</fn>
			<fn fn-type="other" id="fn22">
				<label>
					<sup>22</sup>
				</label>
				<p>Andoni Alonso es Catedr&#xe1;tico de Filosof&#xed;a de la Tecnolog&#xed;a en la Facultad de Trabajo Social de la Universidad Complutense de Madrid (Espa&#xf1;a).</p>
			</fn>
			<fn fn-type="other" id="fn23">
				<label>
					<sup>23</sup>
				</label>
				<p>Remedios Zafra es Cient&#xed;fica Titular en el Instituto de Filosof&#xed;a del Consejo Superior de Investigaciones Cient&#xed;ficas (Madrid, Espa&#xf1;a).</p>
			</fn>
			<fn fn-type="other" id="fn24">
				<label>
					<sup>24</sup>
				</label>
				<p>Guillem Aleny&#xe0; es Cient&#xed;fico Titular y Director del Instituto de Rob&#xf3;tica e Inform&#xe1;tica Industrial del Consejo Superior de Investigaciones Cient&#xed;ficas (Barcelona, Espa&#xf1;a).</p>
			</fn>
			<fn fn-type="other" id="fn25">
				<label>
					<sup>25</sup>
				</label>
				<p>Carme Torras es Profesora de Investigaci&#xf3;n del Instituto de Rob&#xf3;tica e Inform&#xe1;tica Industrial del Consejo Superior de Investigaciones Cient&#xed;ficas (Barcelona, Espa&#xf1;a).</p>
			</fn>
			<fn fn-type="other" id="fn26">
				<label>
					<sup>26</sup>
				</label>
				<p>Por ejemplo, su novela La mutaci&#xf3;n sentimental ha sido publicada en MIT Press [The Vestigial Heart] junto a materiales did&#xe1;cticos. </p>
			</fn>
			<fn fn-type="other" id="fn27">
				<label>
					<sup>27</sup>
				</label>
				<p>Sabine Roeser es Profesora de &#xc9;tica y Directora del Departamento de Valores, Tecnolog&#xed;a e Innovaci&#xf3;n en la Universidad Tecnol&#xf3;gica de Delft (Holanda). </p>
			</fn>
			<fn fn-type="other" id="fn28">
				<label>
					<sup>28</sup>
				</label>
				<p>Astrid Wagner es Cient&#xed;fica Titular en el Instituto de Filosof&#xed;a del Consejo Superior de Investigaciones Cient&#xed;ficas (Madrid, Espa&#xf1;a).</p>
			</fn>
			<fn fn-type="other" id="fn29">
				<label>
					<sup>29</sup>
				</label>
				<p>Jordi Vallverd&#xfa; es Profesor Titular de Filosof&#xed;a e Historia de la Ciencia y de la Computaci&#xf3;n en la Universidad Aut&#xf3;noma de Barcelona (Espa&#xf1;a). </p>
			</fn>
			<fn fn-type="other" id="fn30">
				<label>
					<sup>30</sup>
				</label>
				<p>Andrea Bertolini es Profesor en la Universidad de Pisa (Italia) y Director del Centro Europeo de Excelencia en la Regulaci&#xf3;n de la Rob&#xf3;tica y la IA (EURA).</p>
			</fn>
			<fn fn-type="other" id="fn31">
				<label>
					<sup>31</sup>
				</label>
				<p>Mario Toboso es Cient&#xed;fico T&#xed;tular en el Instituto de Filosof&#xed;a del Consejo Superior de Investigaciones Cient&#xed;ficas (Madrid, Espa&#xf1;a). </p>
			</fn>
			<fn fn-type="other" id="fn32">
				<label>
					<sup>32</sup>
				</label>
				<p>Para m&#xe1;s informaci&#xf3;n sobre este paradigma, ver <ext-link ext-link-type="uri" xlink:href="https://rri-tools.eu/">https://rri-tools.eu/</ext-link>
				</p>
			</fn>
			<fn fn-type="other" id="fn33">
				<label>
					<sup>33</sup>
				</label>
				<p>Mavi S&#xe1;nchez-Vives es Profesora de Investigaci&#xf3;n ICREA en Neurociencias en el Instituto de Investigaciones Biom&#xe9;dicas August Pi i Sunyer (Barcelona, Espa&#xf1;a).</p>
			</fn>
		</fn-group>
		<ref-list>
			<title>Referencias/Voces</title>
			<ref id="B1">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Abbink</surname>
							<given-names>David</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B2">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Aleny&#xe0;</surname>
							<given-names>Guillem</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 22 de octubre</source>
					<publisher-loc>Barcelona, Espa&#xf1;a</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B3">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Aleny&#xe0;</surname>
							<given-names>Guillem</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Aus&#xed;n</surname>
							<given-names>Txetxu</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Tercera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/00cKofLyhRY">https://youtu.be/00cKofLyhRY</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B4">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Aleny&#xe0;</surname>
							<given-names>Guillem</given-names>
						</string-name>
					</person-group>
					<year>2020b</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B5">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Alonso</surname>
							<given-names>Andoni</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 7 de octubre</source>
					<publisher-loc>Madrid, Espa&#xf1;a</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B6">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Alonso</surname>
							<given-names>Andoni</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Aus&#xed;n</surname>
							<given-names>Txetxu</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Tercera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/00cKofLyhRY">https://youtu.be/00cKofLyhRY</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B7">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Bertolini</surname>
							<given-names>Andrea</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B8">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Chatila</surname>
							<given-names>Raja</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 29 de octubre</source>
					<publisher-loc>Par&#xed;s, Francia</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B9">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Chatila</surname>
							<given-names>Raja</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B10">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Coeckelbergh</surname>
							<given-names>Mark</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B11">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Delacroix</surname>
							<given-names>Sylvie</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 30 de octubre</source>
					<publisher-loc>Par&#xed;s, Francia</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B12">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Delacroix</surname>
							<given-names>Sylvie</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B13">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Ferro</surname>
							<given-names>Francesco</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B14">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Grau</surname>
							<given-names>Amparo</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B15">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Grau</surname>
							<given-names>Amparo</given-names>
						</string-name>
					</person-group>
					<year>2020b</year>
					<source>Entrevista personal realizada el 17 de enero</source>
					<publisher-loc>Madrid, Espa&#xf1;a</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B16">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Lanillos</surname>
							<given-names>Pablo</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B17">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Lanillos</surname>
							<given-names>Pabl.</given-names>
						</string-name>
					</person-group>
					<year>2020b</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Toboso</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Primera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/6A28YP76HLA">https://youtu.be/6A28YP76HLA</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B18">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>L&#xf3;pez de M&#xe1;ntaras</surname>
							<given-names>Ram&#xf3;n</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 22 de octubre</source>
					<publisher-loc>Barcelona, Espa&#xf1;a</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B19">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>L&#xf3;pez de M&#xe1;ntaras</surname>
							<given-names>Ram&#xf3;n</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Toboso</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Primera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/6A28YP76HLA">https://youtu.be/6A28YP76HLA</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B20">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Macron</surname>
							<given-names>Emmanuel</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Cl&#xf4;ture du Global Forum on Artificial Intelligence for Humanity - GFAIH</source>
					<comment>Conferencia de clausura del Foro Global de Inteligencia Artificial para la Humanidad</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/ftI7LByZIeI">https://youtu.be/ftI7LByZIeI</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B21">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Monasterio Astobiza</surname>
							<given-names>An&#xed;bal</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B22">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Monasterio Astobiza</surname>
							<given-names>An&#xed;bal</given-names>
						</string-name>
					</person-group>
					<year>2020b</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Segunda sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/Q3Ehhrrhbc8">https://youtu.be/Q3Ehhrrhbc8</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B23">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Monje</surname>
							<given-names>Concha</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B24">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Monje</surname>
							<given-names>Concha</given-names>
						</string-name>
					</person-group>
					<year>2020b</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Toboso</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Primera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/6A28YP76HLA">https://youtu.be/6A28YP76HLA</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B25">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>&#xd6;stlund</surname>
							<given-names>Britt</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B26">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Renter&#xed;a</surname>
							<given-names>Arantxa</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Aus&#xed;n</surname>
							<given-names>Txetxu</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Tercera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/00cKofLyhRY">https://youtu.be/00cKofLyhRY</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B27">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Roeser</surname>
							<given-names>Sabine</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 4 de noviembre</source>
					<publisher-loc>Delft, Holanda</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B28">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Roeser</surname>
							<given-names>Sabine</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B29">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Sall&#xe9;</surname>
							<given-names>Damien</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B30">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Sierra</surname>
							<given-names>Carles</given-names>
						</string-name>
					</person-group>
					<year>2020a</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Segunda sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/Q3Ehhrrhbc8">https://youtu.be/Q3Ehhrrhbc8</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B31">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Sierra</surname>
							<given-names>Carles</given-names>
						</string-name>
					</person-group>
					<year>2020b</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B32">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Toboso</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Toboso</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<conf-name>Primera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</conf-name>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/6A28YP76HLA">https://youtu.be/6A28YP76HLA</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B33">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Torras</surname>
							<given-names>Carme</given-names>
						</string-name>
					</person-group>
					<year>2019</year>
					<source>Entrevista personal realizada el 22 de octubre</source>
					<publisher-loc>Barcelona, Espa&#xf1;a</publisher-loc>
				</mixed-citation>
			</ref>
			<ref id="B34">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Torras</surname>
							<given-names>Carme</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B35">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Vallverd&#xfa;</surname>
							<given-names>Jordi</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="director">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
						<string-name>
							<surname>Garc&#xed;a</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Los robots salen de las f&#xe1;bricas</source>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/h0QjNC8XQ1U">https://youtu.be/h0QjNC8XQ1U</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B36">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Wagner</surname>
							<given-names>Astrid</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>L&#xf3;pez</surname>
							<given-names>Daniel</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Segunda sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/Q3Ehhrrhbc8">https://youtu.be/Q3Ehhrrhbc8</ext-link>
				</mixed-citation>
			</ref>
			<ref id="B37">
				<mixed-citation publication-type="other">
					<person-group person-group-type="author">
						<string-name>
							<surname>Zafra</surname>
							<given-names>Remedios</given-names>
						</string-name>
					</person-group>
					<year>2020</year>
					<person-group person-group-type="compiler">
						<string-name>
							<surname>Toboso</surname>
							<given-names>Mario</given-names>
						</string-name>
					</person-group>
					<source>Convivir con robots</source>
					<comment>Primera sesi&#xf3;n de la Und&#xe9;cima Edici&#xf3;n de la Noche Europea de los Investigadores de Madrid</comment>
					<ext-link ext-link-type="uri" xlink:href="https://youtu.be/6A28YP76HLA">https://youtu.be/6A28YP76HLA</ext-link>
				</mixed-citation>
			</ref>
		</ref-list>
	</back>
</article>