11.02.2023 - 21:40
El 26 de gener, els seguidors de Brandon Ewing, més conegut pel pseudònim Atrioc, van notar una cosa inusual en el directe que l’influenciador havia emès a Twitch: unes imatges de caràcter aparentment pornogràfic de Pokimane i QTCinderella, dues influenciadores més de la plataforma amb qui Ewing havia col·laborat i que coneixia personalment.
Ni l’una ni l’altra no han publicat mai cap imatge de caràcter sexual a les xarxes. Les fotografies –que van aparèixer al monitor d’Ewing pocs segons– no eren genuïnes: havien estat creades amb imatges de totes dues publicades a les xarxes. És el darrer escàndol en una llarga línia de casos d’allò que s’ha convingut a anomenar pornografia deepfake: la superposició de contingut pornogràfic existent amb fotografies de caràcter no pornogràfic de la víctima per crear una falsa aparença de genuïnitat que els avenços en intel·ligència artificial fan com més va més difícil de detectar.
Els deepfakes, una ocurrència amb un rerefons fosc
A les acaballes del 2017, un fenomen audiovisual pioner va irrompre amb força a la plataforma Reddit: els anomenats deepfakes (de l’anglès deep, profund, i fake, fals), uns vídeos que jugaven a manipular la veu i la cara de personatges famosos, amb un grau de realisme extrem, per fer-los dir coses que no havien dit o bé fer-los fer coses que no havien fet. En qüestió de dies, les xarxes van quedar negades de vídeos de la cara de l’actor Nicolas Cage superposada sobre tota mena de personatges mítics de la història del cinema, d’Indiana Jones a James Bond, i de clips en què Barack Obama advertia dels perills de creure tot allò que un veu a internet i tot seguit titllava Trump “d’idiota total i absolut”.
Per més innocents i banals que en poguessin haver estat els primers exemples, internet va trigar ben poc a posar la tecnologia deepfake al servei de propòsits més foscs. Alguns analistes van alertar durant les primeres iteracions del fenomen que els deepfakes podrien tenir efectes molt nocius d’un punt de vista polític, atès que oferien la possibilitat de manipular les declaracions d’adversaris polítics per compartir-les a les xarxes amb finalitats desinformatives, però el primer gran maldecap d’aquesta tecnologia va arribar d’un àmbit completament diferent: la pornografia.
De la mateixa manera que era possible de superposar la cara de Nicolas Cage sobre la d’uns altres actors, alguns usuaris no van trigar a arribar a la conclusió que també seria possible de fer aparèixer el rostre de celebritats, com ara la cantant Rihanna i l’actriu Gal Gadot, en vídeos pornogràfics existents. L’únic que calia eren fotografies de la víctima –un material fàcil d’aconseguir en el cas d’una actriu de fama mundial com Gadot– i el vídeo en què es volgués incrustar la cara.
Una tecnologia que no para d’avançar
La manipulació d’imatges amb finalitat sexuals no és pas nova. Antigament, aquest procés tan sols era accessible per a un grup selecte d’usuaris amb prou temps i coneixements tècnics per a crear-ne, i, fos com fos, els resultats solien ser poc convincents. Ara, en canvi, els deepfakes són a l’abast de qualsevol internauta, fins i tot dels més inexperts en matèria de manipulació d’imatges.
Els avenços en aquesta tecnologia n’han fet els vídeos com més va més realistes, fins a l’extrem de fer-los pràcticament indistingibles d’un vídeo no manipulat i, a més, n’han simplificat dràsticament la producció.
Perquè us feu una idea de com ha estat de meteòric aquest progrés: l’agost del 2018, el portal especialitzat en tecnologia Motherboard va vaticinar que la tecnologia deepfake es podria automatitzar en qüestió d’un any. Setmanes més tard, al mes de setembre, va aparèixer el primer programari de deepfakes automàtic en codi obert.
Les dones, les víctimes principals de la tecnologia deepfake
El fenomen no va trigar a agafar volada, i al llarg dels primers nou mesos del 2019 el nombre de deepfakes a les xarxes es va doblar, fins a gairebé 15.000 vídeos, segons una anàlisi de la companyia de ciberseguretat Deeptrace –una xifra que no ha parat de créixer. La reducció de les barreres d’entrada als deepfakes ha convertit aquesta mena de vídeos, originalment confinats als racons més recòndits d’internet, en una més de les desenes d’ocurrències que inunden diàriament les xarxes.
Tanmateix, l’inconvenient no és tant la proliferació de deepfakes com el caràcter d’aquests vídeos, com més va més pornogràfic: entre un 90% i un 95%, segons dades de Sensity AI. Pràcticament totes aquestes persones són dones, de les quals una majoria aclaparadora (un 90%) no ha consentit d’aparèixer en aquesta mena de vídeos. La companyia va estimar a final del 2019 que almenys 100.000 dones, incloent-hi milers de menors, podrien haver estat víctimes de la tecnologia deepfake, una xifra que ha anat augmentant d’aleshores ençà.
A banda del canvi quantitatiu també n’hi ha un de qualitatiu; si bé als primers deepfakes pornogràfics hi apareixien principalment celebritats i personalitats mediàtiques, els vídeos d’avui tenen unes víctimes molt diferents: gent corrent amb un perfil públic a les xarxes –o, si més no, amb algunes fotografies publicades.
La irrupció de la intel·ligència artificial ha propiciat aquesta transformació, amb l’aparició de centenars de plataformes que, a canvi d’una tarifa, ofereixen als internautes de convertir pràcticament qualsevol dona en la protagonista d’un vídeo de caràcter eròtic amb tan sols unes quantes fotografies i encara menys clics.
El nínxol de mercat és tan gran que darrerament han aparegut aplicacions de pagament específicament dedicades a aquest propòsit, com ara DeepNude –amb un funcionament semblant al servei que l’influenciador Atrioc va confessar haver fet servir per obtenir les imatges de Pokimane i QTCinderella–, o bé desenes de bots de Telegram que es vanten d’haver despullat les fotografies de milions de dones.
Els deepfakes no solament amenacen les famoses
Sigui qui en sigui la víctima, no hi ha dubte que veure’s en un vídeo pornogràfic sense haver-hi consentit, per més falses que en siguin les imatges, pot tenir conseqüències psicològiques profundes. Ara, en el cas dels famosos, l’estatus mediàtic sovint concedeix una primera capa de protecció psicològica: és evident que algú com ara l’actriu Emma Watson, un blanc habitual d’aquesta mena de continguts, no ha enregistrat cap vídeo pornogràfic, i, en tot cas, el vídeo no arribarà mai a una audiència prou gran per a desencadenar un problema de relacions públiques.
En el cas de la gent sense notorietat pública, l’àmplia majoria de víctimes d’aquests vídeos, el problema va molt més enllà de la psicologia personal: sovint, aquesta mena de vídeos són produïts no tant per satisfer els desitjos sexuals d’un usuari en concret sinó per atemorir o, fins i tot, amenaçar les víctimes.
És el cas de dones com ara Rana Ayyub, una periodista d’investigació índia que, l’any 2018, va ser subjecte d’una campanya d’odi i difamació a Twitter després d’haver qüestionat públicament els actes que el partit de govern del país, el BJP, havia organitzat en defensa dels acusats d’una violació grupal, i posterior assassinat, d’una menor al Caixmir.
La polèmica va començar amb la circulació d’un seguit de piulets falsos a nom seu en què, suposadament, Ayyub –de fe musulmana– deia que odiava l’Índia i que estava a favor dels abusadors de menors, sempre que violessin “en nom de l’Islam”. Però els missatges clarament havien estat manipulats i la periodista no en va fer gaire cabal.
Ara, poc després, Ayyub va obrir el WhatsApp i hi va trobar una cosa molt més preocupant: un vídeo pornogràfic en què la seva cara apareixia superposada sobre el cos d’una actriu. Les xarxes n’anaven plenes, i els perfils de la periodista a Twitter i Facebook aviat van ser negats per un torrent de missatges lascius sobre el vídeo.
Ayyub era plenament conscient que les imatges eren falses, com també en devia ser la major part d’usuaris que van veure el vídeo. Però ni tan sols aquesta certesa la va preparar per a l’impacte psicològic de veure’s a si mateixa en un vídeo pornogràfic compartit desenes de milers de vegades a les xarxes, fins al punt d’haver de ser hospitalitzada arran de l’estrès que la situació li va causar.
Les xarxes a poc a poc van anar oblidant les imatges, però Ayyub no les ha pogudes deixar enrere. “D’ençà del dia que el vídeo fou publicat, no he estat la mateixa persona. Abans solia ser molt loquaç i ara veig que sóc molt més cautelosa a l’hora de publicar a les xarxes. M’he autocensurat força per necessitat”, va escriure en un assaig publicat mesos després del cas.
La llei i les grans plataformes, poc preparades per l’amenaça dels deepfakes
Unes quantes grans plataformes han promès de lluitar contra la proliferació de la pornografia deepfake als seus servidors, amb resultats poc convincents. Github, el servidor que acollia DeepNude, el 2019 va esborrar-ne el codi de la seva pàgina, tot i que continua circulant en alguns repositoris de codi obert.
Un any abans, el 2018, el portal pornogràfic PornHub havia promès d’esborrar qualsevol vídeo deepfake que aparegués a la seva web, i Google havia jurat d’eliminar els continguts sintètics de caràcter pornogràfic dels seus resultats de cerca. Però és dubtós fins a quin punt aquestes mesures han resultat estat: una simple cerca amb el terme deepfake a Google mostra centenars de portals especialitzats, mentre que PornHub, segons que explicà Atrioc mateix, continua fent publicitat d’aquesta mena de pàgines.
Els marcs legals vigents tampoc no semblen gaire més ben preparats per a fer front a l’amenaça de la pornografia deepfake. Tot sovint, els creadors o distribuïdors d’aquesta pornografia tan sols poden ser perseguits per les seves accions en contexts legals molt específics. Per exemple, una víctima pot demanar la retirada d’aquests continguts si les fotografies en què es basen són protegides per drets d’autor, o bé si pot demostrar que les imatges han estat creades o distribuïdes amb la intenció d’amenaçar-la o intimidar-la. Tanmateix, aquests supòsits no solament són difícils de demostrar, sinó que a més no cobreixen a la major part dels casos de deepfakes, creats per a ús personal i a partir d’imatges sense drets d’autor.
La directiva europea sobre la violència de gènere, proposada l’any passat i encara en procés de tramitació, sí que preveu de criminalitzar la distribució d’imatges de caràcter sexuals obtingudes sense consentiment, incloent-hi explícitament els casos de pornografia deepfake. Ara, el redactat de la proposta sembla excloure les imatges sexuals en què no apareguin nus íntegres i qualsevol imatge de nuesa que no sigui explícitament sexual. Alhora, estipula que el contingut en qüestió “s’ha de fer arribar a una multitud d’usuaris”, tot i que sovint el sol fet que les imatges arribin a un grup reduït d’usuaris que coneguin personalment la víctima pot causar-li conseqüències psicològiques greus.
