Els ‘deadbots’, els robots que es fan passar pels morts. On és el límit ètic?

Els sistemes d’aprenentatge automàtic són com més va més presents en la nostra vida quotidiana i desafien els nostres valors morals i socials i les regles que els regeixen. Actualment, els assistents virtuals amenacen la privadesa de casa; els recomanadors de notícies configuren la manera com entenem el món; els sistemes de predicció de riscs indiquen als treballadors socials quins infants han de protegir d’abusos; mentre que les eines de contractació basades en dades també classifiquen les possibilitats d’aconseguir una feina. Tanmateix, l’ètica de l’aprenentatge automàtic continua essent borrosa per a molts.

Cercant articles sobre la qüestió per als joves enginyers que assistien al curs d’ètica i tecnologia de la informació i les comunicacions a la Universitat Catòlica de Lovaina, Bèlgica, em va cridar especialment l’atenció el cas de Joshua Barbeau, un home de trenta-tres anys que feia servir un lloc web anomenat Project December per crear un robot de conversa –un chatbot– que simulés una conversa amb la seva promesa morta, Jessica.

Robots de conversa que imiten persones mortes

Coneguda com a deadbot, aquesta mena de chatbot va permetre a Barbeau d’intercanviar missatges de text amb una Jessica artificial. Malgrat la naturalesa èticament controvertida del cas, poques vegades vaig trobar materials que anessin més enllà del mer aspecte factual i analitzessin el cas a partir d’una lent normativa explícita: per què seria correcte o incorrecte, èticament desitjable o reprovable, de desenvolupar un deadbot?

Abans d’abordar aquestes qüestions, posem les coses en context: Project December va ser creat pel desenvolupador de jocs Jason Rohrer per permetre a la gent d’individualitzar els chatbots amb la personalitat amb què volguessin interactuar, sempre que ho paguessin. El projecte es va construir a partir d’una API de GPT-3, un model de llenguatge de generació de text de l’empresa de recerca en intel·ligència artificial OpenAI. El cas de Barbeau va obrir una fractura entre Rohrer i OpenAI, perquè les directrius de la companyia prohibeixen explícitament que el GPT-3 s’utilitzi amb finalitats sexuals, amoroses, autolesionants o per a l’assetjament escolar.

Després d’haver qualificat la posició d’OpenAI d’hipermoralista i argumentat que gent com Barbeau eren “adults amb el consentiment”, Rohrer va tancar la versió GPT-3 del Project December. Tot i que tots tenim intuïcions sobre si és correcte o incorrecte de desenvolupar un robot d’aprenentatge automàtic que simula un mort, explicar-ne les implicacions no és pas una tasca fàcil. Per això és important d’abordar pas a pas les qüestions ètiques que desperta el cas.

N’hi ha prou amb el consentiment de Barbeau per a desenvolupar el deadbot de Jessica?

Atès que Jessica era una persona real (encara que morta), sembla que no n’hi ha prou amb Barbeau consentint la creació d’un deadbot que la imiti. Fins i tot quan moren, les persones no són simples coses amb les quals els altres poden fer allò que volen. És per això que les nostres societats consideren incorrecte profanar o ser irrespectuós amb la memòria dels difunts. En unes altres paraules, tenim certes obligacions morals envers els morts, en la mesura que la mort no implica necessàriament que les persones deixin d’existir d’una manera moralment significativa.

Així mateix, el debat és obert sobre si hem de protegir els drets fonamentals dels difunts (per exemple, la privadesa i les dades personals). El desenvolupament d’un robot mort que repliqui la personalitat d’algú requereix grans quantitats d’informació personal, com ara dades de xarxes socials (vegeu què proposen Microsoft i Eternime) que han demostrat revelar trets molt sensibles.

Si estem d’acord que no és ètic de fer servir les dades de ningú sense el seu consentiment mentre estan vius, per què hauria de ser ètic emprar-les després de mort? Sobre això, a l’hora de desenvolupar un deadbot, sembla raonable de demanar el consentiment d’aquella persona la personalitat de la qual es reflecteix, en aquest cas, Jessica.

Quan la persona imitada dóna la seva aprovació

Així, la segona pregunta és: n’hi hauria prou amb el consentiment de Jessica per considerar ètica la creació del seu deadbot? I si fos degradant per a la seva memòria?

Els límits del consentiment són, de fet, una qüestió controvertida. Preneu com a exemple paradigmàtic el “caníbal de Rotenburg”, que va ser condemnat a cadena perpètua malgrat que la seva víctima havia acceptat de ser devorada. Sobre això, s’ha argumentat que no és ètic consentir coses que poden ser perjudicials per a nosaltres mateixos, sigui físicament (vendre’s òrgans vitals) o abstracta (alienar-se els drets).

En quins termes concrets alguna cosa podria ser perjudicial per als morts és un afer especialment complex que no analitzaré completament. Però val a dir que encara que els morts no puguin ser perjudicats o ofesos de la mateixa manera que els vius, no vol dir que siguin invulnerables a les males accions ni que siguin ètiques. Els morts poden patir danys a l’honor, reputació o dignitat (per exemple, campanyes pòstumes de difamació), i la falta de respecte als morts també perjudica el seu entorn. A més, comportar-se malament amb els difunts ens porta a una societat més injusta i menys respectuosa amb la dignitat de la gent en general.

Finalment, atesa la mal·leabilitat i impredictibilitat dels sistemes d’aprenentatge automàtic, hi ha el risc que el consentiment prestat per la persona imitada (en vida) no signifiqui gaire més que un xec en blanc sobre els seus possibles camins.

Tenint en compte tot això, sembla raonable concloure que si el desenvolupament o l’ús del deadbot no es correspon amb el que ha acceptat la persona imitada, el seu consentiment s’ha de considerar invàlid. A més, si perjudica clarament i intencionadament la seva dignitat, ni tan sols el consentiment hauria de ser prou per a considerar-ho ètic.

Qui n’assumeix la responsabilitat?

Una tercera qüestió és si els sistemes d’intel·ligència artificial haurien d’aspirar a imitar qualsevol mena de comportament humà (independentment de si és possible). Ha estat una preocupació que venia de lluny en el camp de la IA i va estretament lligada a la disputa entre Rohrer i OpenAI. Hem de desenvolupar sistemes artificials capaços, per exemple, de tenir cura dels altres o de prendre decisions polítiques? Sembla que hi ha alguna cosa en aquestes habilitats que fa que els humans siguin diferents dels altres animals i de les màquines. Per tant, és important de tenir en compte que la instrumentalització de la IA amb finalitats tecno-solucionistes, com ara substituir els éssers estimats, pot conduir a una devaluació d’allò que ens fa ser éssers humans.

La quarta qüestió ètica és qui és responsable dels resultats d’un deadbot, especialment en el cas dels efectes nocius. Imagineu-vos que el de Jessica va aprendre autònomament a actuar d’una manera que va degradar la seva memòria o va danyar de manera irreversible la salut mental de Barbeau. Qui n’assumiria la responsabilitat? Els experts en IA contesten aquesta pregunta amb dues possibles respostes: en primer lloc, que la responsabilitat recau en els implicats en el disseny i desenvolupament del sistema, sempre que l’hagin desenvolupat d’acord amb els seus interessos i visions del món particulars; en segon lloc, que els sistemes d’aprenentatge automàtic depenen del context, de manera que les responsabilitats morals dels seus resultats s’han de distribuir entre tots els agents que hi interactuen.

Em situo més a prop de la primera posició. En aquest cas, com que hi ha una cocreació explícita del deadbot que implica OpenAI, Jason Rohrer i Joshua Barbeau, considero lògic analitzar el nivell de responsabilitat de cadascú.

Primer de tot, seria difícil de fer responsable a OpenAI després d’haver prohibit explícitament l’ús del seu sistema amb finalitats sexuals, amoroses, autolesionants o d’assetjament escolar. Sembla raonable atribuir un nivell important de responsabilitat moral a Rohrer perquè: (a) va dissenyar explícitament el sistema que va permetre de crear el deadbot; (b) el va crear sense preveure mesures per evitar possibles resultats adversos; (c) era conscient que no complia amb les directrius d’OpenAI; i (d) se’n va beneficiar. I com que Barbeau va personalitzar el deadbot basant-se en característiques particulars de Jessica, sembla legítim fer-lo coresponsable en cas que degradés la seva memòria.

Ètic, sota certes condicions

Per tant, tornant a la primera pregunta general sobre si és ètic de desenvolupar un deadbot d’aprenentatge automàtic, podríem donar una resposta afirmativa amb la condició que:

• Tant la persona imitada com la que la personalitza i hi interactua hagin donat el seu lliure consentiment per a una descripció tan detallada com sigui possible del disseny, desenvolupament i usos del sistema.
• Siguin prohibits els desenvolupaments i usos que no s’adhereixin a allò que va consentir la persona imitada o que atemptin contra la seva dignitat.
• Les persones implicades en el seu desenvolupament i els que se’n beneficien assumeixin la responsabilitat dels possibles resultats negatius. Tant de manera retroactiva, per explicar els esdeveniments que han passat, com de manera prospectiva, per prevenir activament que passin en el futur.

Aquest cas exemplifica per què l’ètica de l’aprenentatge automàtic és important. També il·lustra per què és essencial obrir un debat públic que pugui informar més bé als ciutadans i ajudar-nos a desenvolupar mesures polítiques per fer que els sistemes d’intel·ligència artificial siguin més oberts, socialment justs i que compleixin els drets fonamentals.

Sara Suárez-Gonzalo és investigadora postdoctoral de la UOC. Aquest article ha estat publicat originalment a The Conversation.