SOM-forskare: Svarsfrekvens inget mått på kvalitet

Ett debattinlägg i DN har väckt ont blod i undersökningsbranschen. I debattartikeln driver undersökningsföretaget Inizio, som tillsammans med Schibsted arbetar utifrån den självrekryterade webbpanelen ”Sverige tycker”, tesen att den slumpmässiga undersökningen med hög svarsfrekvens är död och att det följaktligen är verktyg som Sverige tycker som är framtiden.

 

Jonas Ohlsson, forskare vid Göteborgs universitet och verksam i SOM-institutet, föreläser om statistik och mätmetoder vid Journalisthögskolan i Göteborg, JMG. Han tycker att det är väl drastiskt att beskriva den traditionella metoden med telefon- och postenkäter utifrån ett slumpmässigt urval som utdöende.

 

– Det går inte att bedöma kvaliteten i en undersökning utifrån svarsfrekvensen. En hög svarsfrekvens är långt ifrån en garanti för att resultatet faktiskt speglar verkligenheten. Så länge de människor som svarar är representativa är det i sig inget problem med låg svarsfrekvens. Inom forskningen har vi framgått det som kvalitetsmått och pratar i stället om annat, som total datakvalitet, säger Jonas Ohlsson.

 

Att svarsfrekvensen viker i omfattande undersökningar, som exempelvis SCBs, är helt naturligt, hävdar han.

 

– Sverige har haft exceptionellt hög svarsfrekvens, något som har sjunkit ända sedan 1980- och 1990-talen. Det gäller inte bara Sverige utan är en global trend. Den största orsaken är att svenska folket har blivit mer rörliga, vilket gör att det är svårare att få tag på folk via hemtelefon eller där man är skriven.

 

– Det svenska samhället har också blivit mindre homogent. Klyftorna har ökat, vilket speglas i svarsmönstret för den typen av enkäter. Det är exempelvis svårare att få med människor med invandrarbakgrund eller låginkomsttagare.

 

Han anser dock, likt debattartikelförfattarna Karin Nelsson och Anders Lithner, projektledare för Sverige tycker respektive vd för Inizio, att transparensen blir allt viktigare, och det i två led.

 

– Man ska komma ihåg att undersökningar inte är ett exakt sätt att beskriva verkligheten på. Därför är det viktigt för de kommersiella undersökningsföretagen, en bransch som genomgår stora utmaningar, att vara transparenta med bristerna i undersökningarna. Men även om undersökningsföretagen kör med öppna kort är det väldigt sällan bristerna passerar det filter som redaktionerna innebär. Att läsare inte får ta del av bristerna är ett problem.

 

Inizio lyfter också upp branschens sätt att vikta resultaten som ett problem, eller att kompensera för den låga svarsfrekvensen med ”spackel och tejp”.

 

– Det handlar om att justera för ofrånkomliga brister. Men när du arbetar med viktning vill det till att du vet mycket om de som inte svarar. Vilka som svarar på en fråga som exempelvis Aftonbladet ställer kan variera kraftigt från fall till fall, beroende på vilken typ av fråga som ställs, vilket gör det vanskligt.

 

Jonas Ohlsson ser positivt på att frågan lyfts upp och diskuteras.

 

– Det bästa som kan komma ut ur den här diskussionen är att fler förstår att resultat från undersökningar alltid är skattningar, aldrig sanningar.

 

– Det finns fördelar och nackdelar med alla typer av frågeundersökningar. Det viktiga är att undersökningsföretag och medier är medvetna om bristerna. Webbpaneler löser inte den grundläggande problematiken, att vissa grupper systematiskt hamnar utanför i mätningarna. Självrekryterade paneler tenderar att attrahera en viss typ av deltagare, personer som använder internet mycket, högutbildade och politiskt engagerade. Det är inte pensionären på landsbygden som deltar, om vi säger så.