30.12.2024 - 21:40
|
Actualització: 31.12.2024 - 07:37
The Washington Post · Elizabeth Dwoskin
La tardor del 2023, en resposta a l’atac d’Hamàs de poques setmanes abans, Israel va començar a bombardar Gaza amb l’ajut d’una base de dades minuciosament recopilada al llarg dels anys, en què es detallaven les direccions dels habitatges, els túnels i més infrastructures crítiques per a la milícia.
Les forces israelianes van arribar ben de pressa al final de la llista. Per mantenir el ritme vertiginós de la guerra, les Forces de Defensa d’Israel (FDI) van recórrer a una elaborada eina d’intel·ligència artificial (IA) anomenada Habsora –”l’Evangeli”–, capaç de generar centenars de nous objectius a gran velocitat.
L’ús de la intel·ligència artificial va permetre a Israel de continuar la campanya militar sense interrupcions, segons que expliquen dues persones familiaritzades amb l’operació. És un exemple de com el programa per a expandir l’ús de la IA en les operacions d’intel·ligència de les FDI, que es remunta més d’una dècada enrere, ha contribuït a la violència d’Israel a Gaza.
Les FDI ja havien informat de l’existència d’aquests programes, que formen part de la iniciativa més avançada d’IA militar per a ser desplegada en el camp de batalla, segons alguns experts. En aquesta investigació, The Washington Post revela detalls inèdits del funcionament intern del programa, i també de la història secreta del seu desenvolupament.
La recerca també revela un debat aferrissat al si dels graons més alts de les forces armades israelianes, que començà anys abans del 7 d’octubre, sobre la qualitat de la intel·ligència obtinguda per la IA, i també si les recomanacions del sistema se sotmetien a un escrutini prou rigorós abans de passar a l’acció. Alguns crítics interns asseguren que l’ús de la IA no ha fet sinó accelerat la xifra de morts a Gaza. El conflicte ja ha llevat unes 45.000 vides, de les quals més de la meitat eren dones i nens, segons el Ministeri de Sanitat de Gaza. Les FDI asseguren que el ministeri està controlat per Hamàs i que les seves dades “estan plenes d’incoherències i conclusions errònies”.
Persones familiaritzades amb les pràctiques de les FDI, incloent-hi soldats que han servit a Gaza, expliquen que l’exèrcit israelià ha ampliat significativament la xifra de baixes civils que considera acceptable en les seves operacions militars. Alguns argumenten que aquest canvi ha estat possible gràcies a l’automatització, que ha facilitat la generació d’objectius a un ritme que fins fa poc es considerava impossible.
Aquest article es basa en entrevistes amb més d’una dotzena de persones familiaritzades amb els sistemes d’IA de les FDI, moltes de les quals parlen amb la condició d’anonimat, i també en documents militars confidencials obtinguts per The Washington Post.
“Això que passa a Gaza és el precursor d’un canvi molt més profund en la forma en què es concep i es lliura la guerra”, diu Steven Feldstein, un investigador del Carnegie Endowment que estudia l’ús d’intel·ligència artificial en la guerra. Feldstein explica que les FDI semblen haver rebaixat els requisits de protecció de la població civil durant la guerra de Gaza. “Si combinem això amb la rapidesa en la generació d’objectius que ofereixen aquests sistemes –per no parlar de la manca de precisió a l’hora d’identificar aquests objectius–, el resultat final és una xifra de morts més gran que no s’hauria imaginat ningú.” Les FDI, per la seva banda, consideren “fora de lloc” les afirmacions que apunten que l’ús de la IA ha posat vides en perill a Gaza innecessàriament.
Les FDI exigeixen que un oficial validi manualment qualsevol recomanació dels seus “sistemes de processament de big data“, segons que explica un funcionari d’intel·ligència israelià. Habsora i altres eines d’IA, per tant, no prenen decisions de manera autònoma.
Sota la direcció de Yossi Sariel, la divisió d’intel·ligència de senyals de les FDI –coneguda com a Unitat 8200– s’ha transformat radicalment d’ençà del 2020.
Sariel, per exemple, ha promogut el desenvolupament d’Habsora, un programari d’aprenentatge automàtic construït sobre centenars d’algorismes predictius que permet als soldats de consultar ràpidament un vast conjunt de dades conegudes com “la reserva”.
A partir de dades de comunicacions interceptades, imatges de satèl·lit i informació publicada a lesxarxes socials, aquests algorismes són capaços de produir les coordenades de túnels, coets i més objectius militars. Una volta superen l’examen d’un analista d’intel·ligència, aquestes recomanacions passen a formar part del banc d’objectius de les FDI.
Una altra eina d’aprenentatge automàtic, anomenada Lavender (“Espígol”), empra percentatges per a predir la probabilitat que un palestí sigui membre d’una milícia com Hamàs, cosa que permet a les FDI de generar una gran xifra d’objectius humans potencials en molt poc temps. Uns altres programes algorísmics tenen noms com ara Alchemist (“Alquimista”), Hunter (“Caçador”) i Flow (“Flux”). Aquest darrer permet als soldats de consultar unes quantes bases de dades alhora, i fins ara no se sabia que existia.
Alguns dels oficials de la divisió feia temps que temien la possibilitat que l’ús de tecnologia d’aprenentatge automàtic, en accelerar el procés de presa de decisions, ocultés errors subjacents en el triatge d’objectius. Els informes lliurats als alts comandaments a què ha tingut accés The Washington Post, i que serveixen com a base per a prendre la decisió d’atacar un objectiu, no indiquen si la intel·ligència provenia d’analistes humans o de sistemes d’IA. Una auditoria interna va descobrir que alguns sistemes d’IA que les FDI feien servir per a processar els continguts en àrab presentaven imprecisions i no comprenien paraules ni frases clau de l’argot, segons que expliquen dos ex-alts comandaments militars.
El 2014, la proporció acceptable de víctimes civils de les FDI era d’un civil per cada terrorista d’alt nivell, segons que explica Tal Mimran, ex-assessor jurídic de les FDI. Durant la guerra de Gaza, aquesta xifra ha augmentat a quinze civils per un membre d’Hamàs de baix nivell; en el cas dels membres de nivell mitjà i alt, és “exponencialment més gran”, segons que ha explicat l’organització israeliana de drets humans Breaking the Silence, que basa les seves conclusions en converses amb soldats de les FDI.
Les FDI afirmen que les seves avaluacions dels danys col·laterals s’ajusten als paràmetres del dret humanitari internacional, que obliga les nacions a diferenciar entre civils i combatents i a prendre precaucions per a protegir vides.
A més de les preocupacions sobre la qualitat de la intel·ligència derivada de la IA, l’ús d’aquesta tecnologia ha desfermat un canvi de paradigma polèmic al si de les FDI, tot menystenint una cultura d’intel·ligència que històricament ha valorat el raonament individual per sobre de la capacitat tecnològica.
Sota el comandament de Sariel i altres caps d’intel·ligència, la 8200 s’ha reestructurat per donar prioritat als enginyers, tot suprimint els especialistes en llengua àrab, destituint diversos caps que es consideraven poc afins a la IA i dissolent alguns grups no centrats en la tecnologia de recollida de dades. El 7 d’octubre, el 60% dels treballadors de la unitat treballaven en funcions d’enginyeria i tecnologia, el doble que fa una dècada.
Les pràctiques d’intel·ligència de les FDI es troben ara sota escrutini. L’acusació de genocidi contra Israel presentada davant la Haia per Sud-àfrica qüestiona, precisament, fins a quin punt les decisions crucials sobre la selecció d’objectius a Gaza van ser preses de manera automàtica, en una investigació que podria accelerar un debat global sobre el rol de la IA en la guerra.
Desllorigar el “coll d’ampolla humà”
El 2019, dos anys abans d’assumir el càrrec de comandant d’intel·ligència a Israel, Sariel va passar un any sabàtic a la Universitat Nacional de Defensa (NDU) a Washington, una institució finançada pel Pentàgon que forma futurs dirigents de seguretat nacional a tot el món. Un professor de la NDU, que accedeix a parlar amb The Washington Post amb la condició d’anonimat, explica que ell i Sariel compartien una visió radical de la importància de la IA en el camp de batalla, i que Sariel considerava que Israel hauria de prendre la iniciativa en aquest àmbit.
En la visió expansiva de Sariel, la IA afectaria tots els aspectes de la defensa nacional, tant en temps de pau com de guerra. Utilitzant tecnologies de vigilància amb IA, les fronteres d’Israel es convertirien en “fronteres intel·ligents”. Amb la recopilació de rastres digitals, els exèrcits podrien construir “bancs d’objectius” avançats amb noms, ubicacions i patrons de comportament de milers de sospitosos. Aquestes tecnologies podrien substituir un 80% dels analistes d’intel·ligència especialitzats en llengües estrangeres en tan sols cinc anys, conclogué Sariel.
Sariel va tornar a Israel disposat a fer realitat les seves idees com més abans millor. L’estiu del 2020, Aviv Kohavi, aleshores cap de l’Estat Major de l’exèrcit israelià i gran partidari de l’ús militar de la IA, va nomenar-lo cap de la 8200, la unitat més gran i prestigiosa de les FDI. Alguns ex-comandants mostraren recels sobre “la fe religiosa en la IA” que semblava prevaldre a la unitat sota la direcció de Sariel.
Però aquestes tecnologies d’IA, tot i que eren àmpliament reconegudes com a prometedores, van mostrar limitacions evidents. A vegades, l’enorme volum de converses i missatges interceptats superava les capacitats dels analistes del 8200. Per exemple, els operatius d’Hamàs utilitzaven sovint la paraula batikh –”síndria”– com a sinònim de bomba. Però el sistema no era prou intel·ligent per a copsar la diferència entre una conversa sobre una síndria real i una bomba en llenguatge clau.
“Si interceptes un miler de converses el dia, realment tens temps de sentir parlar sobre totes les síndries de Gaza?”, es demana una persona familiaritzada amb la feina de la unitat.
La 8200 ha mantingut, durant molt de temps, un banc d’objectius: una llista de coordenades d’infrastructures i objectius humans d’Hamàs i l’Hesbol·là, geolocalitzats en un túnel o una planta concreta d’un edifici residencial. El manteniment d’aquests bancs d’objectius requeria molta feina: els analistes havien de confirmar les seves descobertes amb dues fonts independents, pel cap baix, i actualitzar la informació recollida constantment. Abans de ser registrat oficialment en el banc, l’objectiu havia de ser validat per un oficial superior i un advocat militar per a garantir que s’ajustava al dret internacional.
Els responsables d’intel·ligència militar, dirigits per Sariel, creien que l’aprenentatge automàtic podria accelerar dràsticament aquest procés minuciós, segons que expliquen dues persones familiaritzades amb la unitat.
Lavender, un programari algorísmic desenvolupat el 2020, analitza les dades de la base per elaborar llistes de possibles milicians d’Hamàs i el Gihad Islàmic, i assigna a cada persona una puntuació en funció de la seva probabilitat de ser-ne membre, segons que expliquen a The Washington Post tres persones familiaritzades amb les operacions de la unitat. Entre els factors que poden elevar la puntuació d’una persona figuren el fet de pertànyer a un grup de WhatsApp del qual també formi part un milicià conegut, canviar de direcció i número de telèfon amb freqüència o bé figurar als registres d’Hamàs.
L’existència de Lavender i els detalls sobre el seu sistema de puntuació van ser destapats per primera vegada per +972, un portal de notícies israeliana-palestí.
En el passat, alguns responsables de la unitat han mostrat preocupació per la precisió d’algorismes com Lavender. Una auditoria interna d’un d’aquests algorismes, per exemple, va revelar que la seva capacitat de predicció no era tan precisa com la d’un oficial humà.
A uns altres els preocupava que es concedís una importància excessiva a les prediccions dels algorismes. Als comandants superiors, per exemple, no se’ls informava si una recomanació procedia d’un algorisme o d’un analista humà.
La conclusió és clara: “Ni tan sols totes les tecnologies d’IA avançades del món poden substituir l’analista que avisa: ‘Escolta, això és perillós'”, explica Ben Caspit, un periodista israelià que ha entrevistat tots els comandants vius de la 8200 per a un llibre que prepara sobre la unitat. “Aquesta ha estat l’arrogància que ha infectat tota la unitat.”
El juny del 2021, Israel va tenir la primera oportunitat de posar a prova el nou banc d’objectius dissenyat amb l’ajut d’algorismes. Va ser durant la guerra d’onze dies entre Israel i Hamàs, en què les FDI van fer servir la intel·ligència artificial per identificar –i atacar– 450 objectius, incloent-hi un comandant d’Hamàs i una de les unitats de míssils antitancs del grup, segons que va explicar un comandant de la unitat en una xerrada a la Universitat de Tel-Aviv.
Els alts comandaments van aprofitar l’ocasió com a reclam publicitari per a parlar públicament de la revolució de la IA que es vivia a la 8200. Els alts comandaments “no paraven de referir-s’hi com ‘la primera guerra d’IA del món'”, diu Blaise Misztal, vice-president de l’Institut Jueu per la Seguretat Nacional dels Estats Units.
La “fàbrica d’objectius”, a ple rendiment
El dret internacional humanitari exigeix a les nacions en guerra que facin balanç dels guanys militars prevists d’un atac i els danys col·laterals que preveuen que aquest atac comporti per a la població civil, és el principi de proporcionalitat.
Però aquest seguit de tractats, que Israel ha ratificat tan sols parcialment, no diuen res sobre l’ús de la intel·ligència artificial. El processament de dades d’intel·ligència per part de l’exèrcit “compleix la definició d’objectiu legítim del dret internacional”, segons que van afirmar les FDI en un comunicat aquest estiu.
Israel ha admès, anteriorment, que la IA ha exercit un rol important en el procés de selecció d’objectius a Gaza.
En un comunicat de premsa publicat aquest novembre, les FDI van anunciar que Habsora havia ajudat el cos a identificar 12.000 objectius a Gaza. Amb música dramàtica i un vídeo d’edificis esclatant, el comunicat es vantava “d’una col·laboració pionera en el seu gènere”, en què la intel·ligència de la base de dades d’objectius amb IA es transmetia en temps real a les forces desplegades sobre el camp de batalla per a dur a terme “centenars d’atacs en un instant”.
Adam Raz, un historiador israelià que ha entrevistat soldats i comandants sobre l’ús de la IA al si de la 8200, calcula que les FDI han arribat a atacar dos objectius per minut en els moments àlgids del conflicte, un ritme que qualifica de sorprenent.
Un oficial d’intel·ligència israelià explica a The Washington Post que va ser testimoni de com les FDI utilitzaven la IA per a prendre decisions sobre quins objectius atacar. En els primers dies de la guerra, la “fàbrica d’objectius” funcionava a ple rendiment, amb uns tres-cents soldats que hi treballaven les vint-i-quatre hores del dia.
La norma que exigia que dos analistes humans havien de validar una predicció de Lavender es reduí a un analista en les primeres setmanes de guerra a Gaza. En alguns casos, en la divisió de Gaza, explica l’oficial, alguns soldats van atacar objectius humans sense haver corroborat les prediccions de Lavender de cap manera.
En alguns altres casos, l’única corroboració necessària era que l’objectiu fos un home i no pas una dona, segons que explica una altra persona familiaritzada amb la unitat.
Per localitzar de pressa les persones que Lavender havia identificat com a membres probables d’Hamàs, les FDI van obtenir fotografies en temps real de persones a casa seva, tot utilitzant un mètode que el soldat es nega a descriure. Unes eines de reconeixement facial fetes a mida els van permetre de comparar les fotografies obtingudes amb les imatges existents de membres d’Hamàs recollides a la base de dades de Lavender.
La qüestió de la proporcionalitat va quedar regalada en un segon pla: algunes de les persones que apareixien en aquelles fotografies semblaven ser familiars dels sospitosos, que en cas d’un atac serien també assassinats amb el vist-i-plau dels comandants.
En un moment donat, es va ordenar a la unitat que utilitzés un programa informàtic per a calcular les víctimes civils d’una campanya de bombardaments contra uns cinquanta edificis del nord de Gaza. Als analistes de la unitat se’ls va donar una fórmula ben senzilla: dividir el nombre d’habitants d’un districte pel nombre de persones que es calculava que hi continuaven vivint, una xifra que es determinava a partir de la quantitat de telèfons mòbils connectats a una torre de telefonia mòbil pròxima. Si la taxa d’ocupació d’un edifici, segons aquest mètode, era inferior a un 25%, la unitat considerava que l’ocupació era prou baixa per a poder-lo bombardar.
El soldat explica que va quedar sorprès per una anàlisi que li semblà excessivament simplista. Per exemple, el mètode no tenia en compte la possibilitat que hi hagués telèfons mòbils apagats o sense bateria a l’edifici –per no parlar dels nens, que no solen tenir telèfons. En absència de la IA, els militars israelians haurien trucat els ocupants per veure si eren a casa, un mètode que hauria estat més precís però hauria durat molt més temps.
Heidy Khlaaf, investigadora en cap d’intel·ligència artificial a l’AI Institute –una organització sense ànim de lucre amb seu a Nova York especialitzada en intel·ligència artificial i polítiques públiques– explica que els sistemes d’intel·ligència artificial contenen imprecisions que els fan especialment desaconsellables en contexts de vida o mort, com ara, la guerra. Khlaaf, en aquest sentit, explica que la indústria dels vehicles autònoms s’ha passat la darrera dècada provant d’aconseguir que els seus algorismes d’aprenentatge automàtic tinguin una precisió del 100%, generalment, amb molt poc èxit.
Mimran, ex-assessor jurídic de les FDI, diu que continua creient que els exèrcits occidentals han d’adoptar eines d’IA per plantar cara a rivals com la Xina, però admet que li preocupa la precisió de la IA a l’hora de prendre decisions sobre objectius, particularment, sota la pressió de la guerra.
“En termes quantitatius, és evident que la IA marca un abans i un després. I en termes qualitatius?”, es demana. “Crec que no tant, no”, sentencia.
Els funcionaris israelians, per la seva banda, ja no solen vantar-se tant de la IA com abans. En declaracions a aquest diari l’any passat, fins i tot Kohavi reconeixia els inconvenients de la tecnologia. “La IA pot saber moltes més coses que qualsevol individu, però això pot fer-la confiar més en les seves pròpies decisions més que no pas en les nostres”, va dir.
Shane Harris ha contribuït a aquest reportatge.
- Subscribe to The Washington Post
- Podeu llegir més reportatges del Washington Post publicats en català a VilaWeb
