13.06.2020 - 21:50
|
Actualització: 14.06.2020 - 23:50
Aquests últims dies les protestes arran de l’assassinat de l’afroamericà George Floyd han tornat a posar l’atenció als abusos sistemàtics i estructurals a què són sotmesos determinades comunitats als EUA. Uns abusos que van molt més enllà d’aquest país, i són comuns contra minories nacionals i lingüístiques arreu del planeta. La repressió i abusos que actualment exerceixen els estats contra aquests grups, a més de la dissidència política, cada vegada es recolzen més en eines tecnològiques sofisticades. Arran de les protestes arreu dels EUA, diverses d’aquestes tecnologies, com ara el reconeixement facial automatitzat i la vigilància massiva, han tornat a ser en boca de tothom pels mals usos que en poden fer els cossos policials i els governs. Diverses companyies nord-americanes han dit que deixaven de desenvolupar o limitaven la comercialització d’aquestes tecnologies mentre les institucions no proporcionin una regulació legal que en garanteixi un bon ús.
Els anuncis d’IBM, Amazon i Microsoft
El passat 8 de juny, el màxim responsable de la històrica multinacional tecnològica IBM, Arvind Krishna, va enviar una carta al Congrés dels EUA que deia que deixaven de comercialitzar les eines de reconeixement facial i d’anàlisi associat a aquesta tecnologia. A més, s’oposaven a les alternatives donades per altres companyies: ‘IBM s’oposa fermament i no condonarà l’ús de cap tecnologia, inclosa la tecnologia de reconeixement facial que ofereixen més empreses, per a la vigilància massiva, el perfilat racial, les violacions dels drets i llibertats bàsiques de l’home ni qualsevol propòsit que no sigui coherent amb els nostres valors i principis de confiança i transparència. Creiem que ara és el moment de començar un diàleg nacional sobre si i com els cossos policials nacionals han de fer servir la tecnologia de reconeixement facial.’
Dos dies després, Amazon va dir que deixava d’autoritzar l’ús de la seva polèmica tecnologia de reconeixement facial, Rekognition, als cossos policials nord-americans durant una moratòria d’un any: ‘Implementem una moratòria d’un any sobre l’ús policial de la tecnologia de reconeixement facial d’Amazon. Continuarem permetent a organitzacions […] que utilitzin Amazon Rekognition per ajudar a rescatar víctimes de tràfic humà i reunir nens desapareguts amb les seves famílies. […] Hem defensat que els governs han de posar en pràctica regulacions més fortes per governar l’ús ètic de la tecnologia de reconeixement facial i, aquests darrers dies, el Congrés [dels EUA] sembla disposat a afrontar aquest repte. Esperem que aquesta moratòria d’un any pugui donar al Congrés temps suficient per a implementar les regles adequades, i estem preparats per a ajudar si se’ns requereix.’
Finalment, l’endemà 11 de juny, Microsoft també va dir que passava a restringir la comercialització d’aquesta tecnologia a tercers, i que la suspenia completament en el cas dels cossos policials nord-americans, segons les declaracions del seu president Brad Smith al diari nord-americà The Washington Post: ‘Hem decidit que no vendrem el reconeixement facial als departaments de policia dels Estats Units fins que no tinguem una llei nacional establerta en matèria de drets humans que regeixi aquesta tecnologia.’
És molt possible que les protestes generalitzades d’aquests últims dies hagin forçat les principals companyies tecnològiques nord-americanes a fer aquest anunci, inèdit i més o menys coordinat, per una qüestió d’imatge pública en aquests moments tan difícils al país. Tanmateix, fa anys que diversos investigadors denuncien els defectes d’aquesta tecnologia i els biaixos estructurals, que poden dur a la discriminació de determinats col·lectius –joves, dones i persones de color, entre més.
Una tecnologia massa perillosa?
El reconeixement facial és una tecnologia que es remunta als anys seixanta del segle passat. Tanmateix, aquests últims anys s’ha desenvolupat molt gràcies als avenços produïts a l’àmbit de la intel·ligència artificial, utilitzant tècniques com l’aprenentatge automàtic –machine learning– i la gran capacitat de processament dels xips moderns. També hi ha influït l’abaratiment de les càmeres i la seva instal·lació a gran escala arreu del planeta per governs i empreses privades. Per si no fos prou, amb l’arribada dels mòbils intel·ligents, són els mateixos ciutadans qui pengen fotos i vídeos a les xarxes socials, per exemple, d’una manifestació –on són fàcils de captar massivament, tant per empreses com per governs, sigui durant la captació, o un cop emmagatzemades–, i avui dia és molt fàcil de desar-ne quantitats immenses les imatges poden ser analitzades al moment o en un futur.
Aquest tipus de programari acostuma a fer un model matemàtic de cada cara que, posteriorment, es compara amb una base de dades. Si ja es té la identitat de la cara modelitzada, s’identificarà a la persona. Però si no es té, no vol dir que no pugui ser identificada en un futur. La informació es desa, i si posteriorment una nova base de dades proporciona la identitat de la cara, es pot creuar amb els models obtinguts en imatges antigues. Funciona com l’ADN, amb què culpables d’assassinats han estat identificats anys després, un cop se n’ha obtingut l’ADN en casos més moderns. El problema amb el reconeixement és que en molts estats el crim pot ser simplement haver participat en una manifestació o ser membre d’un grup dissident. En l’àmbit de les empreses privades, ens trobem que un client pot ser identificat en tot moment dins les instal·lacions cobertes per les càmeres, se’n pot estudiar el comportament sense cap privadesa, es pot saber qui l’acompanya –que també pot ser reconegut–, quins productes inspecciona, quin tipus de roba porta, quant de temps és dins de la botiga, si acostuma a venir a determinades hores, etc. D’aquesta manera, les empreses poden modelitzar els seus clients, i els governs poden modelitzar ciutadans. A més, amb aquests models, es poden fer simulacions de comportament futur per a tenir una estimació de la nostra resposta a un nou producte –quin emplaçament dins la botiga és millor perquè el comprem, etc.–, i la resposta dels ciutadans davant d’una decisió política o una acció repressiva.
Tota aquesta tecnologia s’ha desenvolupat internament per part de companyies sense cap marc regulador. Tanmateix, ja fa anys que els mateixos experts van detectar greus disfuncions en el reconeixement facial. Una de les denúncies més conegudes entre els experts d’aquest àmbit és la publicació científica apareguda el 2018 on es demostraven els biaixos d’aquests productes comercials –entre més, d’IBM i Microsoft– quant a la classificació de gènere i color de pell. Bàsicament, el reconeixement facial falla significativament en dones de color negre, però identifica homes de pell blanca sense pràcticament cap error. Com més fosca és la pell, més fàcil és que hi hagi errors. Això és degut que aquestes empreses són occidentals i a les bases de dades que s’utilitzen per entrenar els algoritmes hi ha pocs exemples de gent no blanca. Aquests biaixos poden tenir conseqüències greus.
Aquest estudi va ser corroborat posteriorment per més autors que van arribar a analitzar fins a gairebé dos-cents algoritmes de reconeixement facial. Aquests experts varen denunciar que també hi ha biaixos per edat i etnicitat, amb errors d’identificació en determinats grups que poden ser fins a cent vegades més freqüents que en uns altres. Tanmateix, ara per ara no hi ha detalls concrets de quines conseqüències tenen aquests biaixos en l’aplicació real d’aquesta tecnologia. Amazon, IBM i Microsoft treballen amb els cossos policials. Amb les declaracions d’aquests darrers dies han reconegut aquests problemes però, en canvi, no n’han donat detalls. Senzillament reclamen una regulació federal, en el cas dels EUA. Malgrat això, fa anys que associacions de drets civils i activistes critiquen aquesta tecnologia comercialitzada sense límits per les companyies a qualsevol empresa i entitat governamental. Segons que defensen, aquests errors generalitzats mostrarien que no és una tecnologia per a ser utilitzada pels cossos policials en escenaris tan crítics com la seguretat pública, on estan en joc drets fonamentals dels ciutadans. Els investigadors de l’àmbit de la intel·ligència artificial cada vegada reclamen més que les consideracions tècniques d’aquesta tecnologia no poden anar dissociades de les implicacions socials.
La preocupació per l’exemple xinès
Si la tecnologia de reconeixement facial ha tornat a l’actualitat aquests darrers dies, és per l’anunci inusual de tres de les grans tecnològiques nord-americanes. Però cada vegada més la població és conscient de l’existència d’aquesta tecnologia i del seu mal ús potencial. Segurament l’exemple d’aplicació real que més preocupa, si més no a les persones més conscienciades, és la Xina. Una dictadura totalitària que fa un ús extensiu d’aquesta tecnologia i que fins i tot ha introduït un carnet de bon comportament. Les càmeres reconeixen els ciutadans arreu del país, tant al carrer com al transport públic. Si, per exemple, creuen en vermell, la seva cara i nom poden aparèixer en grans pantalles públiques denunciant la infracció, i se li pot treure punts de ciutadania. Això pot tenir conseqüències posteriorment en la seva relació amb l’administració i en l’entorn laboral. Els ciutadans poden ser vigilats les vint-i-quatre hores del dia i poden ser simulats contínuament per a preveure’n les reaccions. Tot això sense oblidar la greu repressió que pateixen grups de dissidència política, com ara grups prodemocràtics i minories ètniques, encara que els casos més preocupants són els tibetans i uigurs.
La principal por de molts grups de defensa de drets civils és que les democràcies occidentals estiguin agafant pràctiques apreses de l’exemple xinès. De fet, sense anar més lluny, al nostre país és ja normal que els cossos policials espanyols i els Mossos d’Esquadra tinguin personal gravant amb càmeres les manifestacions. Hi ha indicis que la tecnologia de reconeixement facial està sent utilitzada per reprimir a l’independentisme català, perquè diverses persones han estat detingudes mesos després de participar en manifestacions. En qualsevol cas, sembla que cada vegada hi ha més consciència de les implicacions d’aquesta tecnologia, amb un rebuig social creixent en les democràcies occidentals. Encara resta per veure si el bon ús d’aquesta tecnologia justifica el mal ús potencial que se’n pot fer, especialment per les dictadures, estats autoritaris i cossos de funcionaris sense un control adequat o que treballen per afavorir a determinats grups ètnics i de poder enfront de grups dissidents i minories.
