Deu consells per a no caure en el parany de les enquestes

‘Les enquestes no es fan per reflectir l’opinió, sinó per condicionar-la’, deia Francesc Ribera ‘Titot’ a Twitter quan es va publicar la primera després del 9-N. Els resultats d’aquella enquesta eren difícils d’interpretar perquè, després del clímax independentista de la consulta, el suport a la independència i als partits sobiranistes semblava declinar. Els sondatges d’opinió política sempre van envoltats de dubtes, sospites i interpretacions interessades dels partits i els mitjans de comunicació, que poden portar els ciutadans a enganys i paranys. Per això hem volgut aclarir alguns aspectes que cal tenir en compte a l’hora d’interpretar-les, amb dos experts en demoscòpia: Ivan Serrano (@aubachs), doctor en ciències polítiques (UOC), i Marc Guinjoan (@mguinjoan), doctor en ciències polítiques (UAB). Les seves reflexions ens han permès de confegir una llista de consells que el lector pot tenir en compte a l’hora d’interpretar les enquestes publicades.

Abans de començar, cal fer algunes consideracions generals sobre els sondatges com a eines d’anàlisi i, a la vegada, com a eines de propaganda. El sociòleg francès Patrick Champagne, al llibre ‘Faire l’opinion. Le nouveau jeu politique’, denuncia la confusió entre ciència i política, que fa que un instrument de mesurament científic aparegui com l’expressió d’una voluntat democràtica, sense ser-ho. Això, alhora, porta la política a justificar la seva acció amb el recurs a la ciència dels sondatges. Ivan Serrano afegeix que a les enquestes els preguntem coses que no ens poden respondre. És a dir, que volem fer-les parlar més del compte. Per aquest motiu, cal tenir algunes prevencions quan llegim informacions sobre resultats de sondatges. Us oferim deu consells:

Qui la fa, qui l’encarrega i qui la publica

En principi, qui encarrega una enquesta ho fa per saber què pensen els ciutadans d’unes determinades qüestions. Per tant, és lògic de pensar que no se cerca un resultat enganyós per a justificar determinades decisions o voluntats. Però entre les dades originals d’una enquesta i els resultats projectats als mitjans de comunicació hi pot haver una adaptació interpretativa deliberada. Per això, quan tinguem davant una informació sobre un sondatge, primer de tot hem de preguntar qui l’ha fet, qui l’ha encarregat i qui publica la informació. Les enquestes les poden fer empreses especialitzades, instituts vinculats al món acadèmic i universitari, o organismes públics. Els estudis d’opinió política els acostumen a encarregar els governs, els partits i mitjans de comunicació.

Condicionants ambientals i proximitat electoral

La segona pregunta que cal fer-se és quan s’ha fet el treball de camp (les entrevistes als ciutadans). Cada moment té les seves implicacions en la justificació de les respostes dels enquestats. Els ciutadans formem la nostra opinió segons les experiències que tenim i les informacions que consumim. I aquesta opinió evoluciona, no és permanent ni definitiva. Per tant, si es fa una enquesta sobre seguretat i política policíaca dos dies després d’un gran atemptat, cal saber que el resultat reflectirà un estat d’opinió molt concret i influït per la conjuntura. I serà un error de pensar que el resultat de l’enquesta reflecteix l’opinió estable o habitual de la població sobre la qüestió. En el cas d’un sondatge electoral, la proximitat de les eleccions és un factor determinant per a la qualitat de la predicció. Com més lluny siguin les eleccions, menys definida té el ciutadà la seva opció de vot. Per això també paga la pena de mirar sempre la data del treball de camp.

La tècnica

Els sondatges es fan principalment per tres mètodes: entrevistes presencials, telefòniques i telemàtiques. Cada tècnica té virtuts i defectes i funcionen millor segons els temaris i les poblacions consultades. Per posar un exemple molt gràfic, les enquestes telefòniques funcionen millor a Còrsega que no pas les presencials. Els experts expliquen que la població de territoris on hi ha hagut conflictes oberts no vol ser vista responent preguntes al carrer. Les entrevistes presencials són més cares, però encara són les més fiables, perquè l’enquestat no es veu tant amb cor de mentir. El sistema telemàtic té dificultats afegides als altres dos. Per exemple, no és un bon mètode per a trobar la mostra correcta que sigui un tast fidel dels perfils socials definits (l’estratificació). Segons els experts, l’ordre de fiabilitat d’aquestes tres tècniques són: presencial, telefònica i telemàtica.

Quines preguntes i amb quin ordre

Dues enquestes fetes al mateix moment i sobre la mateixa població poden donar resultats oposats sobre una mateixa qüestió. Això passa perquè les preguntes es poden fer de moltes maneres. Segons la teoria, una bona pregunta és aquella que no condiciona la resposta. Però els qüestionaris poden contenir preguntes tendencioses segons l’objectiu de qui l’ha preparat. A més, en la resposta també influeix l’ordre de les preguntes. Unes preguntes i respostes poden condicionar les següents perquè l’entrevistat mira de crear un discurs coherent sobre la marxa, encara que el seu pensament original no ho sigui. També hi ha un altre factor que hi influeix segons l’ordre de les preguntes: el cansament de l’enquestat. Si sempre es posen les mateixes preguntes al final i l’entrevista dura 20 minuts, és lògic que l’atenció de l’individu sigui molt inferior a la que havia dedicat a les preguntes del principi.

La famosa sèrie de la BBC ‘Sí, ministre’ va dedicar una escena a la capacitat d’orientar les respostes amb el to, la forma i l’ordre de les preguntes. Vegeu-la a continuació:

Volum de la mostra

La qualitat d’un sondatge també va molt lligada al volum de la mostra (quantitat d’entrevistes vàlides fetes). Les enquestes que es publiquen habitualment al nostre país tenen una mostra que oscil·la entre 800 enquestats i 2.000. Com més entrevistats, més fiable és el resultat. El problema de les enquestes amb mostres petites és que no permeten els encreuaments de subgrups amb prou garanties. És a dir, les enquestes amb una mostra de 800 individus deixen veure tendències a grans trets, però no ajuden a segmentar i analitzar comportaments més detallats perquè la mostra resultant no és prou fiable. A més, en el cas de sondatges electorals es fa molt difícil de fer projeccions de diputats perquè s’ha de forçar massa la cuina.

Pressupost

És evident que com més recursos hi ha, més bona feina es pot fer, si n’hi ha voluntat. Com ja hem dit, fer entrevistes presencials és més car que no pas amb mètodes no tan fiables. Com més entrevistes es vulguin fer, també s’han d’esmerçar més recursos en el treball de camp. I si l’enquesta vol incorporar preguntes pensades per a detectar possibles incoherències i descartar entrevistats poc fiables, també cal més temps, perquè les entrevistes es fan més llargues. Finalment, si hi ha recursos i no s’ha de tancar el període del treball de camp en un temps massa breu, un equip es pot dedicar a cercar els perfils socials més difícils de trobar. Tot plegat fa que el resultat sigui millor.

Escenaris volàtils i nous actors

Les enquestes són eines que poden pronosticar resultats amb més precisió en moments d’estabilitat política, social i econòmica, que no pas en moments de convulsió. Els condicionants ambientals fan perillar la validesa de l’enquesta si canvien a gran velocitat. Tothom deu recordar que els resultats de les enquestes fetes abans de les eleccions al Parlament de Catalunya del novembre de 2012 van quedar molt allunyades del resultat final. Catalunya havia iniciat un camí que revolucionava els fonaments del comportament polític i electoral fins aleshores. Era molt difícil d’encertar les projeccions de resultats perquè els criteris establerts per a fer ponderacions i correccions de la intenció de vot directe ja no servien.

Aquesta dificultat de fer bons pronòstics en escenaris volàtils també s’estén als pronòstics per a nous actors del mapa electoral. Les projeccions es fan amb càlculs aplicats al record de vot i a les tendències establertes en eleccions passades. Fer projeccions de vot de formacions noves és un exercici que requereix molta creativitat i que s’ha de posar en quarantena.

Els calaixos de sastre

Un altre exercici que cal fer quan rebem resultats d’una enquesta és vigilar els calaixos de sastre. La voluntat de donar resultats enlluernadors fa que sovint es posin enquestats molt poc homogenis en un sol grup per donar-li joc. Això passa sovint amb mitjans de comunicació, que agrupen els vots en blanc, l’abstenció i els indecisos, per exemple. I és evident que aquests tres col·lectius no tenen res a veure. Tant com sigui possible, cal mirar de desgranar grups que se’ns presenten amb formes difuses com ‘altres’, perquè hi va a parar tot allò que fa nosa. En el cas de les enquestes sobre el suport a la independència, això ha passat amb el grup anomenat ‘indecisos’, que en algunes ocasions ha enclòs abstencionistes, votants en blanc i gent que no volia respondre —i potser tenia molt clar el sentit del seu vot. El consell és observar de prop els calaixos de sastre perquè poden amagar dades interessants.

L’impacte de la correcció política

Un factor que no ens pot passar per alt a l’hora de valorar el resultat d’un sondatge és l’efecte que els experts anomenen ‘desitjabilitat social’. És la correcció de pensament que fan alguns individus segons què creuen que s’espera que pensin. Per exemple, quan es pregunta si es va votar a les últimes eleccions, el nivell de participació que surt a les enquestes és molt més alt que no el que hi hagué realment. Perquè votar és benvist. És una qüestió de correcció política. També passa amb preguntes sobre el racisme o el masclisme, per exemple. Molts individus modulen les respostes segons què considerin que és correcte de pensar.

La cuina

Aquesta és la mare dels ous de les enquestes. Quan es fan projeccions o atribucions de resultats o de diputats, s’apliquen un seguit de correccions i ponderacions a la intenció de vot declarada pels enquestats. La cuina té molts ingredients i cada empresa, institut o organisme fa servir les seves receptes. Això sí que no és cap ciència exacta. És a dir, que en aquest procés hi ha un grau d’interpretació molt elevat, amb un marge de maniobra molt gran i sense pauta comuna. A més, els càlculs de la cuina no es fan públics juntament amb els resultats de l’enquesta i són molt difícils de valorar. El millor consell en cas d’una enquesta és comparar sempre la projecció de vot i resultats amb les taules d’intenció de vot directe. I que cadascú en tregui les conclusions que consideri oportunes.