Fördummande övertro på opinionsundersökningar

När en opinionsundersökning publiceras anges det ofta att den så kallade "statistiska felmarginalen" är si och så många procentenheter för de olika partierna. Eftersom några andra osäkerheter sällan eller aldrig anges får därför den vanlige medborgaren intrycket att detta är de enda osäkerheter som finns i undersökningarna. Ingenting kunde vara mer felaktigt.

Vad är den statistiska felmarginalen? Jo, den baserar sig på följande modell. Antag att vi frågar 1000 slumpvis utvalda personer vilket parti de skulle rösta på om det var val idag. Av dessa svarar 42 personer att de skulle rösta på Centerpartiet, det vill säga 4,2 procent. Men vi har ju inte frågat alla väljare, utan bara 1000 slumpvis utvalda. Om vi har haft otur så kan det ju ha slumpat sig så att vi råkat undersöka ovanligt många eller ovanligt få Centersympatisörer. Vi kan också räkna ut sannolikheten för att vi skulle fått detta resultat om det i själva verket är 5%, 6% eller 10% av hela befolkningen som skulle rösta på Centerpartiet. Det visar sig då att det är fullt möjligt att den "verkliga" siffran är 5%. Att den skulle vara 6% är mer osannolikt, och att 10% skulle vara centersympatisörer i befolkningen som helhet men bara 4,2% bland de vi undersökte är statistiskt helt orimligt. Ofta bestämmer sig opinionsinstituten för att sätta en gräns där vi i mindre än 5% av fallen skulle få ett mer annorlunda resultat om vi gjorde om samma undersökning massor av gånger. Den gränsen kallas för den statistiska felmarginalen, och den säger då kanske att Centern har fått 4,2 plus minus 1 procent.

Men i verkligheten finns många andra felkällor. För det första är inte de tillfrågade slumpvis utvalda. Opinionsinstituten kan förvisso slumpa fram personnummer ur folkbokföringen, men de måste ju lyckas kontakta personen i fråga. Många opinionsinstitut begränsar sig till personer med fasta telefonabbonemang. Personen måste vara hemma och vara beredd att svara. Våra svenska opinionsundersökare redovisar mycket lite av sina siffror och metoder, men baserat på amerikanska siffror bör vi förvänta oss att bara ungefär en tredjedel av de slumpvis utvalda personerna i själva verket finns med i undersökningen.

Det stora problemet här är att vi inte kan anta att bortfallet är slumpmässigt. Äldre personer är oftare hemma och svarar i telefon, och de har oftare fasta telefonabonnemang. När opinionsinstituten helt missade Piratpartiets intåg i EU-parlamentet 2009 kan det delvis ha berott på att många PP-väljare bara har mobiltelefoner.  För att korrigera för detta tillämpar opinionsinstituten vanligtvis diverse "korrigeringar". Personer från grupper som svarar mycket viktas lägre. Genom åren har experterna hittat olika "trix" som erfarenhetsmässigt gör att de kommer närmare resultatet vid de enda tillfällen då opionionsundersökningar kan verifieras, det vill säga vid allmänna val. Dessa korrigeringar befinner sig mycket långt ifrån de vackra matematiska felmarginaler som redovisas. Det bör påpekas att det knappast finns några mörka motiv bakom dessa "trix", det handlar om yrkesmässigt kunnande och målet är att få så rättvisande undersökningar som möjligt. Men vi bör vara medvetna om att detta naturligtvis innebär möjligheter till fel i mätningarna som ligger långt utanför den statistiska felmarginalen.

Förutom att de personer som svarar inte är slumpmässigt utvalda, så kan vi inte heller lita på att opinionsinstituten lyckas - eller ens försöker - ta reda på vad de faktiskt tycker. Även när de försöker så måste vi förvänta oss att många av de svarande ljuger. Det är inte alls säkert att de tänker rösta på det parti de säger att de tänker rösta på. De kan vilja signalera missnöje med sitt verkliga parti genom att utan några politiska konsekvenser sänka partiets opinionssiffror. Eller också kan de tveka att erkänna åsikter som uppfattas som impopulära eller pinsamma, trots att det påverkar deras röstande. Det kan också vara så att de helt enkelt inte tänkt igenom frågan. En personlig anekdot: en gång när jag stod och stekte ägg blev jag uppringd av ett opinionsinstitut. De ställde en mängd frågor, bland annat gällande vad jag trodde att inflationen i Sverige skulle vara om fem år. Det var inte en fråga som jag någonsin funderat på, och mitt svar kan rimligen inte sägas ha representerat någon seriös åsikt i frågan.

Ett annat problem som gisslar opinionsundersökningar är att de oftast är betalda av någon som har ett intresse i frågan. Ett slående exempel gäller frågan om RUT-avdrag där två undersökningar under 2010 gav helt olika resultat. När Svenskt Näringsliv beställde en undersökning ville 67% ha kvar RUT-avdraget. Men när LO gav exakt samma opinionsinstitut uppdrag att undersöka frågan var det bara 2% som ville ha RUT-avdraget. Vad berodde detta på? Jo, i undersökningen som Svenskt Näringsliv låg bakom så fanns ingenting om finansieringen av förslaget med. Frågan hade karaktär av "vill du ha gratis pengar"? När LO å andra sidan låg bakom så fick de svarande välja mellan en rad områden där man ville lägga pengarna, såsom vård, skola eller sänkta inkomstskatter. Eftersom få prioriterar RUT-avdraget allra högst blev då stödet i stället orimligt lågt.

Ett ytterligare skäl att förhålla sig tveksam till opinionsundersökningar är att vi helt enkelt inte kan lita på att siffrorna tagits fram på ett korrekt sätt. Allt fler företag säljer olika typer av undersökningar och det är mycket svårt att kontrollera att de använder vetenskapliga metoder eller ens att de gör några undersökningar över huvud taget. Under senare år har två amerikanska opinionsinstitut, som anlitats av etablerad media och publicerats brett, avslöjats med undersökningar som tycks ha producerats ur tomma intet. I ett fall fattades misstankar sedan en undersökning hävdade att studenterna i Oklahoma var förbluffande okunniga. Efter att andra undersökningar från samma företag analyserats statistiskt framkom tydliga tecken på att resultaten var helt påhittade. I ett annat fall fattades misstankar sedan det framkommit att ett tidigare välrenommerat opinionsinstitut sålt undersökningar till orealistiskt låga priser. I bägge fallen uppmanades företagen förgäves att rentvå sig genom att redovisa vem som skulle ha gjort de telefonsamtal som påstods ligga bakom, och de har därefter försvunnit från marknaden.

Den lärdom vi kan dra från dessa fall är att det är mycket lätt att fejka en trovärdig opinionsundersökning. I de fall andra institut har undersökt liknande saker - exempelvis väljarsympatier - är det bara att basera de egna siffrorna på andra institut. Finns inga andra siffror är den enda utmaningen att hitta på "resultat" som inte är så uppenbart orimliga att någon fattar misstankar, och att fabricera siffrorna på ett sådant sätt att det inte kan avslöjas med statistiska analyser.

Opinionsundersökningar är inte helt värdelösa. När de utförts på uppdrag av en opartisk organisation och när opinionsinstitutet redovisar information om sina metoder och beräkningar så kan de ge oss en fingervisning om opinionen. Bäst fungerar det när samma fråga ställts vid många tillfällen under lång tid. På det viset kan vi se förändringar i opinionen, även om frågeställningen gör att de absoluta procenttalen kanske inte speglar opinionen helt korrekt.

Men när media låter proffstyckare förklara hur förändringar på några enstaka procentenheter skulle vara något slags dom över hur politiker agerat i den ena eller andra frågan måste det karaktäriseras som direkt oseriöst. Visst vore det bra att ha exakta siffror på vad medborgarna tycker, men det har vi inte. Det är bättre att erkänna att vi inte vet, än att låtsas som vi vet när vi inte gör det.

Trackback URL: http://www.newsmill.se/trackback/38953

13 kommentarer Logga in för att kommentera
I kommentarsfältet har kommentatorn juridiskt ansvar för sina inlägg.

Så skönt!! Började bli lite orolig för att jag var helt ensam i det här landet att förstå något om matematisk statistik :) Tack!

Permalänk | Anmäl #1 sandra johnsson, 2011-08-27, 21:34

Bra och mycket tänkvärt inlägg!

Permalänk | Anmäl #2 Michael Jönsson, 2011-08-27, 21:58

Detsamma kan sägas om prognoser. I det nuvarande osäkra ekonomiska läget blir prognoserna i stort sett värdelösa. I värsta fall självuppfyllande. Botmedel: mer undervisning i statistik i skolan.

Permalänk | Anmäl #3 Jonas Larsson, 2011-08-27, 22:13

Man får vad man betalar för, högre tillförlitlighet kräver förstås noggrannare urval så inte någon speciell grupp dominerar eller är underrepresenterad. Att bara slumpa fram 1500 från de 7 miljoner röstberättigade kan ju slå ordentligt fel då benägenheten att rösta på vissa partier varierar mellan olika grupper i samhället.

Klart att tidningar som betalar för de olika väljarundersökningarna inte vill betala för mycket, men det bör förstås inte avvika för mycket från valresultat. SVT:s sammanvägning av de olika instituten inför valet 2010 speglade ganska väl det faktiska valresultatet.

Att intresseorganisationer får det de vill ha är mer än uppenbart, men de stora organisationerna beställer även undersökningar som bara är avsedda för internt bruk, då kan man nog förmoda att de vill ha så objektivt resultat som möjligt i motsats till det de beställer för mediekonsumtion.

Permalänk | Anmäl #4 Klerken, 2011-08-28, 02:42

Sen har vi naturligtvis problemet med att kärnkraften inte blir mindre farlig bara för att en majoritet av en befolkning tycker det. En enkätundersökning visar bara hur anhängarna övertygat folk om att Fukushima och Tjernobyl egentligen aldrig har hänt om om det gjort det, att det åtminstone inte kan hända i Sverige.

Om jag minns rätt så ville en majoritet av sossarna ha tillbaka Göran Persson som partiledare.
Hur många av sossarna vill ha tillbaka generalen för "ja till Euro"?
Sannolikt ingen.

Problemet är att det är samma person.

Permalänk | Anmäl #5 u_17443, 2011-08-28, 05:08

#4: Opinionsinstituten väljer inte helt slumpmässigt. 1500 intervjusvar av 7 miljoner kan ge en ganska god uppfattning om vad människor tycker. Att ett sådant litet urval kan vara representativt kan bevisas rent matematiskt. Antalet är altså valt utifrån matematisk teori i kombination med vad som är prakatiskt genomförbart. Prediktionen förbättras alltså inte signifikant om man istället intervjuar 3000 personer, eller för den delen 30000 personer.

Men svaren kan inte tolkas korrekt såvida man inte vet hur urvalet av respondenterär gjort. Olika opinionsinstitut använder olika former av stratifierat urval. Valet av urvalsmetod är antagligen också förklaringen till att samma opinionsinstitut tenderar att konstant placera vissa partier lägre än andra. Nomalt håller man fast vid sin urvalsmetod över tiden.

Detta gör det ganska svårt att jämföra Sifo med Synnovate med SKOP. Men däremot kan man med hygglig säkerhet avgöra väljarrörelser genom att jämföra samma institut över tiden.

Det är en bra artikel men kanske onödigt misstänkliggörande. Att två mindre opinionsinstitut ägnat sig åt kvalificerat fusk i USA är inte speciellt relevant för Sverige. Däremot kan man ju ha ett öga på undersökningar beställda av företag och intressegrupper.
Även opinionsundersökningar över partisympatier har ju intressen bakom sig (ofta dagspressen) men inte lika tendentiösa.

Permalänk | Anmäl #6 u_6048, 2011-08-28, 06:47

Återigen är problemet främst massmedias enfald.
Eller låtsade enfald snarare, eftersom dom livnär sig på berättelser och när dom inga berättelser har så hittar dom på.
Ekonominyheterna är absolut det djupaste träsket. Varje förändring i köp- och säljkurser förklaras myndigt av okunniga reportrar med lika lite insikt i skeendet som andemedier i cirkustält.
Vi borde införa böter för offentlig humbug. Media som framställer en gissning utan att deklarera att det bara är en gissning är samhällsfarlig och borde behandlas därefter.
Lögn i massmedia kunde också gärna vara straffbart. - Bara ett förslag i all välmening.

Permalänk | Anmäl #7 Olof Lindberg, 2011-08-28, 09:05

Mycket, mycket bra Johan Rönnblom, hur länge ska detta pågå har jag länge undrat.

Permalänk | Anmäl #8 Doktor Eleph@nt, 2011-08-28, 09:33

#3 Jonas Larsson,
"Botmedel: mer undervisning i statistik i skolan."

Nja, innan det kan bli aktuellt med mer statistikutbildning i skolan så bör skolan koncentrera sig på att i princip alla elever ska nå upp till godkänt i basämnena.
Innan dess så lär eleverna inte kunna tillgodogöra sig vare sig sannolikhetslära eller statistik. Det påståendet vågar jag säga har trestjärnig signifikans :o)

Permalänk | Anmäl #9 leif w-n, 2011-08-28, 11:01

Viktigt ämne och välformulerat av Rönnblom. Tyvärr är det få journalister som förstår matematik på den nivå som krävs för att analysera statistik. Det borde vara en viktig del av deras utbildning.

Permalänk | Anmäl #10 Per L, 2011-08-28, 13:42

#7 Olof Lindberg, Tänkvärt. Instämmer till del.

Tycker däremot att väl genomförda opinionsundersökningar skulle kunna användas som ett demokratiskt verktyg. Varför ska politikerna inte veta vad väljarna tycker? Väl genomförda, offentliga opinionsundersökningar i olika frågor kunde gott ersätta medias åsiktspropagerande som sätter press på de folkvalda.

Nästa steg vore bindande folkomröstningar i princip alla frågor på nationell-, landstings- och kommunnivå som i Schweiz. Allt annat är låtsasdemokrati.

Permalänk | Anmäl #11 Johannes Brahe, 2011-08-29, 00:16

"Men när media låter proffstyckare förklara hur förändringar på några enstaka procentenheter skulle vara något slags dom över hur politiker agerat i den ena eller andra frågan måste det karaktäriseras som direkt oseriöst."

Det så kallade Jenny Madestam-syndromet? ;)

Permalänk | Anmäl #12 Jonas M. Andersson, 2011-08-29, 11:16

"Fördummande övertro på opinionsundersökningar"...borde vara en självklarhet för de flesta!

Men eftersom det uppenbarligen inte är det så är det verkligen både välbehövligt och så passande att Johan Rönnblom sakkunnigt reder ut begreppen.

Permalänk | Anmäl #13 Christofer Catilan, 2011-09-29, 14:28