Joe Brew: ‘Hi haurà més fraus si el control de qualitat és tan opac i tancat’

En uns moments d’una gran preocupació a tot el món per l’impacte de la pandèmia de covid-19, la principal organització sobre la salut pública, l’OMS, i dues de les revistes científiques de més prestigi, The Lancet i New England Journal of Medicine, s’han trobat enmig d’un escàndol que n’ha minat la confiança. Perquè les dues revistes van publicar i donar per bons sengles estudis segons els quals la hidroxicloroquina no servia per a millorar l’estat dels pacients i, a més, era perillosa per a la salut. I arran de la publicació d’aquests articles es va recomanar d’aturar tots els assaigs clínics que es feien al món amb hidroxicloroquina.

Però aquests estudis van resultar fraudulents, perquè se servien de dades falses d’una empresa sense l’acreditació científica ni la capacitat per a obtenir-les. Els articles es van publicar a les dues prestigioses revistes mèdiques sense aplicar-hi el mecanisme de revisió i de filtratge, i van haver de ser investigadors independents d’arreu del món que fessin un crit d’alerta a la xarxa: ho van fer saber a mitjans de comunicació, que van publicar l’escàndol i els articles finalment van ser retractats. Un d’aquests investigadors és l’analista de dades i col·laborador de VilaWeb Joe Brew, que va detectar incongruències dels estudis publicats, juntament amb el seus companys de l’ISGlobal Alberto García-Basteiro, metge del Servei de Salut Internacional de l’Hospital Clínic de Barcelona, i l’investigador expert en malària Carlos Chaccour. Tant ells com més investigadors van aplicar la ciència oberta i col·laborativa per a detectar un frau que la ciència tradicional havia passat per alt i havia amplificat fins a fer perillar projectes i investigacions sobre salut pública. D’això parlem amb Joe Brew en aquesta entrevista: de l’obsolescència d’un model que posa a les mans d’unes quantes revistes de prestigi la decisió sobre què paga la pena i què no en investigació científica; de la necessitat de capgirar el model, de modernitzar-lo i de treballar de manera transparent i en xarxa.

‘La història interessant no té a veure amb nosaltres –comença dient Brew–, sinó amb el fet que aquest frau científic es va cometre i va tenir implicacions als nivells més alts, amb el missatge de l’OMS, amb ministeris de Salut de tot el món canviant la política d’avui per demà, anul·lant assaigs clínics, i tot per una empresa dels afores de Chicago amb dades inexistents.’

—És interessant de veure amb quina rapidesa tanta gent en xarxa vau advertir d’aquest frau.
—Sí. És l’únic mecanisme que va funcionar bé en tot això. Ni la revisió de parts, ni el mecanisme de filtratge de les millors revistes del món ni el prestigi d’institucions com Harvard… Totes aquestes coses que fem servir com a eines per a detectar o refusar coses de mala qualitat, tot això va fracassar. I l’única cosa que va funcionar va ser la ciència oberta, és a dir, que un científic a Catalunya, un altre a Nova Zelanda, un altre a Texas i un altre a França publiquen els seus dubtes i van sortint coses. I de fet la premsa també hi va fer un paper. Nosaltres vam seguir de prop tot això, enviàvem cartes a les revistes i fèiem trucades, però en realitat les coses no es van començar a moure fins que la premsa no va començar a parlar-ne. Aleshores sí que van reaccionar les revistes. La ciència tradicional, institucions, revistes, va fracassar, va publicar un frau i va reaccionar tard per a corregir-ho. I la ciència més innovadora, comunitària i oberta i col·laborant amb els mitjans de comunicació va poder corregir o si més no pressionar per a la correcció.

—Què vau fer vosaltres quan us vau adonar que aquell estudi no quadrava?
—He de reconèixer que tot el mèrit és de Carlos Chaccour, de l’IS Global, que és un gran expert de la ivermectina, i està al cas de qualsevol cosa que surt sobre aquest medicament. Quan va sortir d’aquest mateix grup una pre-publicació sobre l’efectivitat de la ivermectina en la covid-19, ell, a diferència d’uns altres, es va fixar en tots els detalls. I va identificar dues coses sospitoses: l’efecte era tan gran, hi havia una reducció de mortalitat tan gran, que era massa bo per a ser creïble. I segon, la mostra era enorme; deien que tenien un banc de dades amb centenars de persones amb covid-19 ventilades i tractades amb ivermectina. ‘Tanta gent teniu?’, va pensar. I va alertar-me’n: ‘Joe, això sembla sospitós i m’agradaria que tu que tractes més amb dades m’ajudessis a mirar-ne bé els detalls.’ I vam comparar les dades que teníem de l’Àfrica amb les dels ministeris de salut dels països africans, i vam veure que hi havia més africans amb covid-19 hospitalitzats al seu banc de dades que no el nombre total d’africans amb covid-19. Convenia fixar-se en els detalls. Si no fos per en Carlos, no m’hi hauria fixat mai, en això. I després, quan van sortir publicacions d’aquest mateix grup a les revistes més prestigioses del món ja teníem aquest primer filtre fet, és a dir, que aquest grup feia coses una mica qüestionables i que havíem de mirar bé les dades.

—Què més us va fer sospitar?
—Que no encaixava allò que pretenia aquest grup amb la seva presència a internet. Hi havia un conjunt de coses que semblaven poc probables; a la publicació de The Lancet deien que tenien dades de pacients de 671 hospitals de tot el món, un dels banc de dades més grans, importants i ràpids del món! Però després anaves a la seva web i tenien el certificat SSL caducat. Vols dir que l’empresa que gestiona totes aquestes dades tan sensibles no sap gestionar una web? I si anaves al seu Linkedin hi apareixien persones que amb una cerca senzilla no encaixaven amb el perfil que havien de tenir. No quadrava res. I ens vam anar trobant moltíssimes coses que vèiem que no podien ser, que contradeien les dades oficials dels ministeris. Vam demanar als nostres contactes als hospitals de l’estat espanyol que fessin recerca i, tot i disposar de moltes dades d’aquí, ningú no havia sentit parlar mai d’aquesta empresa.

—Us vau posar en contacte amb els editors de The Lancet?
—Sí, tant a The Lancet com al New England Journal of Medicine vam escriure-hi cartes. La típica manera de comunicar en ciència són articles i cartes, o sigui un model basat en el segle XIX. I esperàvem i esperàvem, i era un moment interessant perquè entre nosaltres vam parlar molt sobre la nostra responsabilitat pública. Podíem dir ‘ja està, ja els hem avisat’, però en aquell moment hi havia assaigs clínics aturats per causa d’unes dades falses. I la lentitud de la resposta de les revistes ens va motivar a anar a la premsa per a avisar que hi havia una història que havien de perseguir, i anar donant informació a la premsa. I al final fou la premsa la via que va fer possible que es destapés tot això, que és l’objectiu que preteníem amb les cartes enviades a les revistes.

—The Guardian fou el mitjà que va publicar l’article amb més impacte.
—Sí, vam parlar amb uns quants mitjans, tot i que n’hi havia que semblava que no tenien pressa. Però la periodista del The Guardian va fer una feina molt bona i va estar molts dies investigant-ho. Al final això va accelerar el procés inevitable cap a la retractació d’aquests articles fraudulents.

—Per què penseu que va passar això?
—L’error en aquest cas és que hi ha diversos actors i quan escrivim una carta demanant que rectifiquin ho demanem a un dels culpables, donant-los a ells l’autonomia de decidir quan voldran rectificar. Què ha passat? Una empresa va cometre frau i unes revistes van donar-li una plataforma de difusió enorme. Fent les coses de manera reservada, dient-los ‘si us plau, rectifiqueu que potser va ser un error’, els donàvem a ells tota l’autonomia per a decidir quan i com voldrien gestionar això. I crec que és un error. Perquè al final ells en tenen una part de la responsabilitat, i donar a aquestes empreses privades que són les revistes tot aquest poder potser pot tenir l’efecte que la rectificació no sigui tan ràpida com hauria de ser. No sé si m’explico…

—Expliqueu-m’ho més.
—Vull dir que les revistes, la carta que els vam enviar, per exemple, no tenien cap incentiu per a fer-la pública, perquè era un text que deia que havien fet una cosa molt dolenta. Per això la premsa va tenir un paper important per a accelerar la rectificació. La reacció de les revistes va venir immediatament després de la publicació de la notícia del frau a la premsa, arran de l’article a The Guardian. Van publicar per primera vegada les ‘expressions de preocupació’. I quan van sortir més coses van pressionar els autors perquè demanessin la retractació dels articles. Els dos articles no van ser retractats per les revistes, sinó pels autors! Les revistes van donar una plataforma molt gran a una investigació falsa i després no se’n van retractar, sinó que van esperar que ho fessin els autors.

—Van defugir la seva responsabilitat.
—Sí… Però la meva perspectiva és que tampoc és culpa de les revistes, sinó culpa nostra de cedir a empreses privades tot el monopoli del discurs científic. Si fem les coses d’una manera opaca, els donem el poder de decidir què publicar, com publicar-ho, etc.

—Però si la màxima autoritat en salut pública com és l’OMS també ho fa.
—Però el problema és una cultura científica obsessionada en el prestigi i la reputació. I què fa l’OMS? Doncs llegeix el gran article de The Lancet. Què fa The Lancet? Publica el gran article de Harvard. Què fa Harvard? Utilitza les dades d’aquesta empresa que diu tenir el banc de dades més gran, etc. I ningú no fa la feina difícil de veure realment les coses. Utilitzem la reputació i el prestigi com una drecera per a no fer la feina crítica, per a no analitzar les coses… Hem de canviar aquestes eines, les hem d’ajustar al segle XXI. El model de les revistes científiques és totalment antic, no funciona, és d’una altra època i es basa en un món de paper amb les limitacions del paper, és a dir, que pots tenir dos gràfics i una taula i ha d’estar limitat… Donem un poder als editors que potser no mereixen perquè són humans com tots nosaltres.

—I si no és qüestió d’un error, sinó que hi ha quelcom intencionat?
—En tot aquest episodi han sortit un munt de teories de la conspiració, que són les empreses que volen no sé què perquè la hidroxicloroquina és tan barata, etc. Jo no tinc cap evidència de les teories aquestes, i per tant no les puc compartir. Per a mi tots els errors en aquest episodi es poden explicar molt fàcilment per l’estupidesa humana i les limitacions humanes. I hem de trobar mecanismes per a corregir això. No cercar culpables específics sinó culpables sistemàtics.

—Un problema és que donem per bo acríticament tot allò que publiquen aquestes revistes. Però una altra cosa és com és possible que aquestes revistes arribin a publicar un contingut fraudulent com aquest sobre un tema tan sensible que afecta la salut de molta gent en un moment de pandèmia. Quins controls de qualitat tenen aquestes revistes de prestigi?
—El fet excepcional no és que s’hagi publicat una cosa dolenta, que passa cada dia, sinó que va tenir unes repercussions enormes. En aquests articles, si no haguessin arribat a tenir aquest impacte, amb canvis de polítiques internacionals, potser no s’hi hauria fixat ningú. Perquè és un dels milers d’articles que es publiquen i la gent no es fixa en tot allò que es publica. I en l’avaluació d’experts (peer review), en aquest procés acadèmic, ja hi ha un editor que diu bàsicament si això és interessant o no. I després hi ha dos o tres revisors anònims. Dues o tres persones és molt poca gent per a veure si una cosa està bé o no. I són voluntaris, no tenen cap reconeixement. És clar que aquests mecanismes no filtren bé què és de qualitat i què no.

—Aquest és el mecanisme de filtratge que hi ha en aquestes revistes?
—Sí. Bàsicament són tres revisors anònims. Els revisors reben correus de revistes que els demanen si poden revisar un article. És molta feina revisar un article, t’hi passes hores. I com que no hi ha reconeixement, l’incentiu és fer-ho de pressa i malament o no fer-ho.

—No hi ha reconeixement econòmic ni de reputació?
—No, res. I això és la cosa absurda d’aquestes revistes acadèmiques. Són propietat d’empreses privades, publiquen la feina d’unes altres persones, fan servir la feina d’unes altres persones per al control de qualitat i després cobren a aquestes mateixes persones pel dret de poder llegir els articles. I moltes vegades fins i tot has de pagar per publicar. És una indústria totalment trencada, i en comptes de cercar culpables en l’editor de The Lancet o en el president de l’OMS o el qui va fer el frau, hem de veure que els culpables també som nosaltres, pel fet de mantenir el 2020 un sistema de comunicació del segle XIX. Hi haurà més fraus i errors i mentre basem tot el control de qualitat en el prestigi i en aquesta manera opaca, tancada i no transparent, tindrem més episodis com aquest. Per a mi és el resultat inevitable d’un sistema tan ineficaç.

—I això contrasta amb el #LancetGate, tot de gent a la xarxa col·laborant de manera oberta i transparent per a detectar tots aquests errors.
—Exacte. Per a mi la raó de ser de les revistes és el paper. Si abans es publicava en paper volia dir que hi havia un filtre, que s’havia d’organitzar per temes, que s’havia de condensar l’extensió dels articles, s’havia de formatar d’una manera consistent, una persona havia de controlar tot el procés perquè s’havia d’imprimir a Londres o on fos… I com que tot això ja no existeix no té sentit mantenir-ho. Com s’hauria pogut fer una revisió oberta fa cent anys? Era impossible. Però ara fer ciència oberta és molt fàcil i, per tant, per a mi no és justificable de continuar cedint a aquestes empreses privades tota la feina que fa la ciència i que decideixen què val la pena i què no.

—Si hem de canviar el paradigma, també necessitem uns nous referents.
—Sí, d’acord. I això que dieu és imprescindible perquè és impossible de filtrar els milers d’articles que es publiquen cada dia. Els mecanismes han de ser millors i més oberts. I de la mateixa manera que quan vols comprar un producte en línia pots veure les opinions de la gent que l’ha comprat o que l’ha analitzat, i hi haurà persones que n’hauran fet mil revisions, i n’hi haurà que cap, un altre que en fa serà un professional certificat… Hem d’intentar desenvolupar aquests mecanismes més moderns. I podries veure que Alberto García Basteiro ha fet una revisió d’aquest article i que aquesta és la seva perspectiva… En el món del software ja es fa això. Si tens cap dubte fas la pregunta en línia i la gent respon, votes les millors respostes… Serà molt complicat, segur, però quina és l’alternativa? El sistema acadèmic actual és obvi que no funciona, és lent, opac, totalment injust… Tothom qui treballa en l’àmbit acadèmic sap com funciona, que abans d’enviar un article fas aquesta trucada amigable per si l’article interessa. I això manté unes desigualtats enormes entre autors europeus i africans, per exemple. Res d’això no funciona bé.

—Éreu conscients en aquest cas que hi havia uns altres investigadors que també qüestionaven aquest estudi fraudulent o que havien arribat a les mateixes conclusions per camins diferents?
—Sí, al principi en Carlos va descobrir coses a l’abril amb la ivermectina. I a mitjan maig va sortir un article al New England Journal. Dos o tres dies després d’haver escrit la carta a The Lancet va sortir una carta oberta de cent vint investigadors. Simultàniament, hi havia molta gent seguint això. Nosaltres vam intentar ser discrets enviant unes cartes i crec que va ser un error, perquè allò que va funcionar no va ser la nostra discreció sinó la pressió. No puc parlar per l’Alberto i el Carlos però jo sí que crec que hauríem hagut de ser més agressius públicament.

—El control de qualitat que no va permetre el funcionament de les revistes el va fer molta gent en xarxa arreu del món.
—Exactament. Al final, Twitter, que és un niu d’odi i de fake news, també és el mitjà pel qual els investigadors van comunicant i van alertant dels errors que van trobant. També hi ha més plataformes en línia per a la revisió d’articles postpublicació…