18.06.2023 - 21:40
|
Actualització: 29.06.2023 - 20:18
The Washington Post · Will Oremus
El cost enorme d’executar els grans models de llenguatge d’avui dia, que són la base d’eines com ara ChatGPT i Bard, en limita la qualitat i amenaça d’aturar el boom mundial de la intel·ligència artificial que han engegat.
Aquest cost, juntament amb la disponibilitat limitada dels xips informàtics que necessiten, també limita el nombre d’empreses que poden permetre’s d’executar-los i pressiona fins i tot les companyies més riques del món per convertir els xatbots en generadors de guanys com més aviat millor.
“Els models que es despleguen ara mateix, per més impressionants que semblin, realment no són els millors models disponibles”, diu Tom Goldstein, professor de ciències de la computació a la Universitat de Maryland. “Per tant, els models que veieu tenen moltes febleses”, que podrien evitar-se si el cost no fos un obstacle, i que es tradueixen en una propensió a produir resultats amb biaixos o falsedats flagrants.
Els gegants tecnològics que opten pel seu futur en la intel·ligència artificial rarament parlen del cost d’aquesta tecnologia. OpenAI (la creadora de ChatGPT), Microsoft i Google no van voler comentar-ho. Però els experts diuen que és l’obstacle més evident per aquesta visió tecnològica de les grans empreses, que pretén que la intel·ligència artificial generativa es dissemini en tota la indústria, redueixi les plantilles i augmenti l’eficiència.
El càlcul intensiu que requereix la intel·ligència artificial és la raó per la qual OpenAI ha separat la nova i potent versió del model de llenguatge, GPT-4, de la versió de franc de ChatGPT, que encara fa servir un model més feble, el GPT-3.5. El conjunt de dades subjacent de ChatGPT es va actualitzar per darrera vegada el setembre del 2021, fet que el fa inútil per a investigar o debatre esdeveniments recents. I fins i tot aquells que paguen vint dòlars el mes per GPT-4, solament poden enviar vint-i-cinc missatges cada tres hores a causa de l’elevat cost d’execució. (També és molt més lent en les respostes.)
Aquests costs poden ser una de les raons per les quals Google encara no ha integrat un xatbot d’intel·ligència artificial en el seu motor de cerca principal, que rep milers de milions de consultes cada dia. Quan Google va llançar el xatbot Bard el març passat, va optar per no usar el seu model de llenguatge més potent. Dylan Patel, analista en cap de l’empresa de recerca de semiconductors SemiAnalysis, estima que una sola conversa amb el ChatGPT pot costar fins a mil vegades més que una simple cerca a Google.
En un informe recent sobre la intel·ligència artificial, el govern dels Estats Units va assenyalar els costs computacionals de la IA generativa com una preocupació nacional. La Casa Blanca va dir que s’esperava que la tecnologia “augmentés dràsticament les demandes computacionals i els impactes ambientals associats” i que hi havia una “necessitat urgent” de dissenyar sistemes més sostenibles.
Encara més que en unes altres menes d’aprenentatge automàtic, la intel·ligència artificial generativa requereix quantitats impressionants de potència computacional i xips informàtics especialitzats que solament les empreses més riques poden permetre’s. La batalla per a accedir a aquests xips ha contribuït a convertir els seus principals proveïdors en gegants tecnològics per dret propi, atès que tenen la clau d’allò que s’ha convertit en el recurs més preuat de la indústria tecnològica.
Silicon Valley va dominar l’economia d’internet en part gràcies al fet que va oferir serveis com ara la cerca en línia, el correu electrònic i les xarxes socials de franc per a tot el món; primer va perdre diners, però finalment va obtenir grans guanys en publicitat personalitzada. Probablement, els anuncis arribaran algun dia als xatbots de la IA. Però els analistes diuen que amb solament els anuncis no n’hi haurà prou per a fer que les eines d’IA d’avantguarda siguin rendibles en poc temps.
De manera que les empreses que ofereixen models d’IA per a ús dels consumidors han de mantenir l’equilibri entre el desig de guanyar quota de mercat i les pèrdues financeres que acumulen.
La recerca d’IA més fiable probablement generarà guanys principalment per als fabricants de xips i els gegants de la computació al núvol que ja controlen gran part de l’espai digital, juntament amb els fabricants de xips necessaris per a executar els models.
No és pas casualitat que les empreses que construeixen els models principals de llenguatge d’IA siguin les proveïdores principals de computació al núvol, com ara Google i Microsoft, o que hi tinguin col·laboracions estretes, com ara OpenAI amb Microsoft. Les empreses que compren les eines d’IA d’aquestes empreses no s’adonen que es lliguen a un servei altament subvencionat que costa molt més que no paguen actualment, segons Clem Delangue, director general de Hugging Face, una empresa d’IA de codi obert.
El director general d’OpenAI, Sam Altman, va reconèixer indirectament el problema en una audiència al Senat dels Estats Units el mes passat, quan el senador Jon Ossoff va advertir que si OpenAI provés de fer que ChatGPT fos addictiu d’una manera que perjudiqués els nens, el congrés s’ho miraria amb molta duresa. Altman va respondre a Ossoff que no s’havia de preocupar: “Intentem dissenyar sistemes que no maximitzin l’obsessió. De fet, anem tan escassos de xips que, com menys gent faci servir els nostres productes, millor.”
El cost dels models de llenguatge d’IA comença amb el desenvolupament i entrenament, que requereixen quantitats de dades enormes i programari per a identificar patrons en el llenguatge. Les empreses d’IA sovint contracten investigadors destacats amb salaris que poden competir amb els d’atletes professionals. Això representa una barrera inicial per a qualsevol empresa que vulgui construir el seu propi model, encara que algunes start-ups ben finançades ho han aconseguit, com ara Anthropic AI, fundada per ex-alumnes d’OpenAI amb el suport financer de Google.
Després, cada consulta a un xatbot, com ara ChatGPT, el Bing de Microsoft i el Claude d’Anthropic, és dirigida a centres de dades, on els supercomputadors processen els models i fan molts càlculs d’alta velocitat al mateix temps, primer per interpretar la indicació de l’usuari i després per mirar de predir la resposta més plausible, una “mostra”, o seqüència de quatre lletres, de cada vegada.
Aquesta mena de potència computacional requereix GPU, o unitats de processament gràfic, que originalment van ser creades per a videojocs, però que es va descobrir que eren els únics xips capaços de gestionar tasques informàtiques pesades, com ara els grans models de llenguatge. Actualment, solament una empresa, Nvidia, ven les millors GPU, per les quals cobra desenes de milers de dòlars. La valoració de Nvidia ha augmentat fa poc a un bilió de dòlars, segons les vendes previstes. L’empresa amb seu a Taiwan que fabrica molts d’aquests xips, TSMC, també ha crescut molt de valor.
“En aquest moment, les GPU són considerablement més difícils de trobar que les drogues”, va dir Elon Musk en una cimera del Wall Street Journal el 23 de maig. Musk fa poc va comprar unes 10.000 GPU per a la seva pròpia empresa d’IA.
Aquests requisits informàtics també ajuden a explicar per què OpenAI ja no és una organització sense afany de lucre com quan es va fundar.
L’organització, que va néixer el 2015 amb la missió de desenvolupar IA “de la manera que més probablement beneficiï la humanitat en general, sense limitar-se a generar rendiment financer”, el 2019 va canviar al model amb afany de lucre per atreure inversors, entre els quals, Microsoft, que hi va invertir 1.000 milions de dòlars i es va convertir en el proveïdor exclusiu de computació d’OpenAI. (D’aleshores ençà, Microsoft hi ha invertit 10.000 milions de dòlars més i ha integrat la tecnologia d’OpenAI a Bing, Windows i més productes.)
El cost d’execució de models de llenguatge d’IA com ara ChatGPT és una xifra variable, atès que les empreses treballen per fer-los més eficients. Al desembre, poc després del llançament, Altman va estimar que el cost de ChatGPT era “probablement de cèntims d’un dígit per xat”. Això pot no semblar gaire, fins que ho multipliquem per més de 10 milions d’usuaris diaris, segons estimacions d’analistes. Al febrer, SemiAnalysis va calcular que ChatGPT costava a OpenAI uns 700.000 dòlars el dia solament en costs de computació, segons el processament necessari per executar el GPT-3.5, el model per defecte en aquell moment.
Si multipliquem aquests costs informàtics pels 100 milions d’usuaris diaris que fan servir el motor de cerca de Microsoft, Bing, o pels més de 1.000 milions que, segons els informes, utilitzen Google, podem començar a veure per què els gegants tecnològics són reticents a posar els millors models d’IA a disposició del públic.
“Això no és una equació sostenible per a la democratització o l’àmplia disponibilitat de la IA generativa, l’economia o el medi”, diu Sid Sheth, fundador i director general de d-Matrix, una start-up que treballa en la construcció de xips més eficients per a la IA.
Google va dir en l’anunci de Bard al febrer que d’entrada funcionaria amb una versió “lleugera” del seu model de llenguatge LaMDA perquè requeriria “considerablement menys potència informàtica”, cosa que els permetria “d’escalar a més usuaris”. Dit d’una altra manera, fins i tot una empresa tan rica com Google no estava disposada a pagar el cost de posar la seva tecnologia d’IA més potent en un xatbot gratuït.
Però la reducció de costs va tenir un impacte: Bard va cometre errors en fets bàsics durant la demostració de llançament, fet que va fer perdre 100.000 milions de dòlars del valor de les accions de Google. Respecte de Bing, es va desviar del camí correcte de bon començament, i això va portar Microsoft a redimensionar-ne tant la personalitat com el nombre de preguntes que els usuaris podien fer en una mateixa conversa.
Aquests errors, a vegades anomenats “al·lucinacions”, són una preocupació important en els models de llenguatge d’IA a mesura que els usuaris i les empreses en depenen com més va més. Els experts diuen que són una funció del disseny bàsic dels models: són dissenyats per a generar seqüències probables de paraules i no pas afirmacions veritables.
Google va dissenyar un altre xatbot anomenat Sparrow, mitjançant la seva filial DeepMind, per fer cerques a internet i citar-ne les fonts, amb l’objectiu de reduir les falsedats. Però encara no ha llançat aquest model.
I, mentrestant, els actors principals competeixen per trobar maneres de fer que els models de llenguatge d’IA siguin més econòmics.
Executar una consulta en el nou model lleuger GPT-3.5 Turbo d’OpenAI costa menys d’un deu per cent del que costa el GPT-4 més avançat. Google fabrica els seus propis xips d’IA, que diu que són més eficients que els de Nvidia, i start-ups com ara d-Matrix, també hi treballen. I hi ha moltes start-ups que es basen en models de llenguatge de codi obert, com ara LLaMA de Meta, per no haver de pagar a OpenAI o a Google per fer servir els seus models, encara que aquests models no funcionen tan bé ara com ara i els poden mancar mesures de seguretat per a prevenir abusos.
La recerca de models més petits i més econòmics marca un canvi radical per a la indústria, segons Tom Goldstein: “Aquests darrers quatre anys hem intentat de crear els models més grans possibles”, diu. Però això era quan l’objectiu era publicar articles de recerca i no pas llançar xatbots d’IA al públic. “Ara, només en aquests darrers mesos, hi ha hagut un canvi complet en la comunitat, i de sobte tothom prova de construir el model més petit possible per controlar els costs.”
Això pot significar que els consumidors tenen els dies comptats per a l’accés il·limitat a models d’IA potents i de propòsit general.
Microsoft ja experimenta d’incloure publicitat als resultats del motor de cerca Bing alimentat per IA. A l’audiència del Senat dels EUA, Altman, d’OpenAI, no va descartar de fer igual, tot i que va dir que prefereix un model de subscripció de pagament.
Totes dues empreses diuen que confien que l’economia acabarà essent viable. Altman va dir al bloc de tecnologia Stratechery al febrer: “Hi ha tant de valor que em sembla inconcebible que no puguem trobar la manera de guanyar diners.”
No obstant això, els crítics diuen que la intel·ligència artificial generativa també té costs per a la societat.
“Tot aquest processament té implicacions per a les emissions de gasos d’efecte hivernacle”, diu Bhaskar Chakravorti, degà de negocis globals de la Fletcher School de la Universitat de Tufts, un centre privat de Boston. El processament requereix energia que es podria fer servir per uns altres fins, incloent-hi unes altres tasques informàtiques menys populars que no pas els models de llenguatge d’IA. I això “fins i tot pot endarrerir el desenvolupament i l’aplicació de la intel·ligència artificial per a uns altres usos més significatius, com ara la sanitat, la recerca de medicaments, la detecció del càncer, etc.”, diu Chakravorti.
Basant-se en les estimacions de l’ús de ChatGPT i les seves necessitats computacionals, el científic de dades Kasper Groes Albin Ludvigsen va estimar que solament durant el gener, ChatGPT podria haver consumit tanta electricitat com 175.000 persones, l’equivalent a una ciutat de mida mitjana.
De moment, els gegants tecnològics estan disposats a perdre diners en la seva lluita per a guanyar quota de mercat amb els xatbots d’IA, pensa Goldstein. Però, i si no els poden fer rendibles? “Algun dia s’acabarà l’entusiasme que hi ha ara i aleshores l’única cosa que els inversors miraran serà el resultat econòmic final.”
Tanmateix, Goldstein preveu que molta gent i empreses trobaran difícil de resistir-se a les eines d’IA generativa, tot i els defectes. “Encara que sigui car, ho és molt menys que el treball humà”, diu.
Nitasha Tiku, de The Washington Post, ha contribuït en aquest informe.
