Kommentarer till en ovetenskaplig studie om ovetenskaplighet

Nyligen presenterades resultaten av en enkätstudie gjord på uppdrag av Föreningen Vetenskap och Folkbildning (VoF), rörande folks inställning till “konspirationsteorier, alternativmedicin och annat”. Det låter ju intressant, men i vetenskaplighetens namn tror jag det är läge att ställa några kritiska motfrågor om studiens metod. Nu har jag inte haft tid att titta särskilt noga på studien utan nöjer mig med att ta upp ett par detaljer som råkar falla inom mitt eget intresseområde.

Under rubriken “konspirationsteorier” listas nio påståenden:

  • Forskningsresultat är ofta köpta av industrin och är därmed inte tillförlitliga.
  • Läkemedelsindustrin arbetar för att hålla människor sjuka, snarare än friska, för att göra större ekonomisk vinst.
  • Chemtrails, dvs avsiktliga utsläpp av ämnen från flygplan, används för att manipulera människor eller väder.
  • ADHD är en diagnos påhittad av läkemedelsindustrin för att de skall kunna sälja receptbelagda droger till allmänheten.
  • Sture Bergwall, tidigare Thomas Quick, har på grund av en sammansvärjning bland journalister felaktigt frikänts från en rad mord.
  • USA och västvärlden skapade medvetet konflikten i Ukraina.
  • Månlandningen den 20 juli 1969 (Apollo 11) var i själva verket gjord i en filmstudio.
  • Terrorattackerna 11 september 2001 var i själva verket iscensatta av USA:s egen regering.
  • Estoniakatastrofen var ingen olycka, utan fartyget sänktes medvetet.

Det resultat som omedelbart sticker ut är att ytterst få tror på konspirationsteorierna kring Estonia och 11 september, medan betydligt fler “tror på chemtrails”. Men om man skärskådar frågorna är det tveksamt om de håller måttet.
Det är nämligen ett faktum att det sker avsiktliga utsläpp av ämnen från flygplan i syfte att manipulera vädret. Den mest kända tekniken kallas molnsådd och brukar bestå i att man sprider ut silver- eller kaliumjodid över ett moln för att det ska avge nederbörd. Att detta används framför allt i Kina är ingen hemlighet och absolut ingen konspiration. Enkätfrågan bör alltså besvaras med ett “ja” och detta svar kan inte självklart tolkas som en tro på chemtrailkonspirationer.

Och vad ska vi säga om det första påståendet? Det är väl alldeles uppenbart att forskning ofta är finansierad av industriintressen, att finansiärerna förväntar sig en viss typ av resultat, att detta får betydelse för forskningens teori och metod, vilket i slutändan kan påverka resultatens tillförlitlighet. Huruvida detta sker “ofta” är en annan sak; “ofta” är ett kvantitativt begrepp vars innebörd är synnerligen vag.

Därtill kommer att inte heller begreppet “forskning” har någon självklar definition. Akademisk forskning bekänner sig till vetenskapliga principer, men detta är inte nödvändigtvis fallet för den målstyrda forskning som bedrivs inom företag (R&D). Det går rentav att påstå att den aktuella rapporten från VoF skulle vara “forskning”, men det betyder inte att den håller vetenskaplig standard!

Alltså kan det finnas goda skäl att instämma i påståendet om att forskningsresultat ofta är köpta. Det är orimligt att VoF utpekar detta som en “konspirationsteori” i klass med den karikatyrmässiga sagan om en fejkad månlandning. Förresten är även månlandningspåståendet lite otydligt formulerat. Det kan tolkas som att det gäller produktionsplatsen för de välkända bilderna, snarare än om månlandningen ägt rum eller ej.

VoF:s undersökning fortsätter med att dra en massa slutsatser utifrån ganska små skillnader i antal svar mellan olika åldersgrupper och partisympatier. Typ att många moderater men få sverigedemokrater “tror på s.k. chemtrails”. Även bortsett från att enkätfrågan är dåligt formulerad torde dessa skillnader i partisympatier grundas på mycket få svar. Andra får avgöra hur vetenskapligt det är att dra så stora växlar på enkätresultaten som VoF gör.

Däremot är det ju glädjande att nästan alla de tillfrågade instämmer i att det pågår en global uppvärmning som är orsakad av människan.

48 kommentarer ↓

#1 Christopher Kullenberg on 29 October 2015 at 3:32 pm

Jag hittade deras rapport. Metoden är:

Urvalet av respondenter inom Demoskops OnlinePanel skedde slumpmässigt via nätet och antalet
deltagare, över 1000 tillfrågade, ligger i linje med praxis för den här typen av undersökningar.

Problemet är att det inte står angivet vad bortfallet är. Så, det är svårt att göra en bortfallsanalys.

#2 Alaoglu on 29 October 2015 at 5:01 pm

Ja, vad ska man säga? Förutom den totala avsaknaden av bortfalls- och signifikansanalys (i en webbpanel!) har vi de totalt hopplösa påståendena, som i ett antal fall inte är några påståenden alls:

Evolutionsläran, dvs att livet har utvecklats över lång tid genom naturligt urval.

Paranormala fenomen, dvs övernaturliga händelser som inte kan förklaras av vetenskapen.

Vad innebär det att instämma “helt och hållet” i det senare? Att alla fenomen är övernaturliga och inte kan förklaras av vetenskapen (en term de aldrig bryr sig om att definiera)? Borde i så fall inte de 14% som svarade så i konsekvensens namn ha förkastat påståendet innan att den vetenskapliga metoden är det bästa sättet att nå kunskap om verkligheten?

Och vidare:

Det pågår en global uppvärmning som är orsakad av människan.

Är “helt och hållet” här att instämma i att människan helt och hållet orsakar all global uppvärmning? Är det att instämma helt och hållet i att människan orsakar någon form av uppvärmning av atmosfären? I den lilla, lilla analysen i slutet verkar de medvetna om att påståendet “människan kan delas in i olika raser” naturligtvis är sant, men verkar inte särskilt bekymrade över att påståendet uppenbarligen har tolkats totalt olika beroende på vilket svar som avgetts. (54% lyckades ju svara “rätt”, dvs fel.)

Namnbyte till Föreningen för Vetenskapsfetischism och Folkindoktrinering föreslås.

#3 Alaoglu on 29 October 2015 at 5:26 pm

Nyheten har nått tabloidpressen och DN har hittat sin rubrik: SD-väljare tror att vi får besök av utomjordingar

Att den lilla överrepresentationen av SD där naturligtvis inte är signifikant bekymrade (naturligtvis) föga.

#4 Christopher Kullenberg on 29 October 2015 at 7:31 pm

Om vi bryter ned undersökningen till gruppen “Sverigedemokrater” så hamnar vi på 176 stycken respondenter enligt deras Excel-tabell. Här börjar vi snacka felmarginaler (vilket är tillämpbart endast om urvalet är slumpmässigt, det framgår inte vilken typ av slumpmässighet de jobbat med).

#5 Magnus A on 29 October 2015 at 8:32 pm

“människan kan delas in i olika raser” är inte bara inte “naturligtvis sant”, utan fel, om man inte definierar “kan” som att “vissa gör det”.

#6 Karl on 29 October 2015 at 9:54 pm

Vilka sanslöst dåliga eller dåligt formulerade exempel på konspirationer de har lyckats formulera. Åtminstone åtta av nio är antingen så tvetydiga att man enkelt kan ställa sig bakom åtminstone en rimlig tolkning, eller fall där det kan finnas goda skäl att misstänka en konspiration, om än inte exakt den som VoF föreslår. Synd, för det är egentligen ett rätt intressant ämne att undersöka.

#7 Christopher Kullenberg on 29 October 2015 at 10:00 pm

Det är inte varje dag jag räknar felmarginaler, men jag tänkte ändå att VoF gillar sånt.

De skriver i sin pressrelease:

Bland riksdagspartiernas väljare finns i vissa fall stora skillnader i hur man förhåller sig till olika påståenden. Exempelvis tror Vänsterpartiets väljare på reinkarnation i högre utsträckning än övriga, samtidigt som de tillsammans med de kristdemokratiska sympatisörerna, helt korrekt, är mer skeptiska till att akupunktur vore en effektiv behandlingsform.

Intressant. Ett problem som uppstår är ju dock det lilla urvalet (n = 1113) som ju blir ännu mindre när vi bryter ned resultaten på småpartier. Vänsterpartiet (n = 91) är ett sådant.

I DN artikeln skriver Karing Bojs “Sverigedemokrater är också mest benägna att tro på att utomjordingar besöker jorden, slagrutor och på att diagnosen adhd är en konspiration.”

Om i tar det där med UFO så visar VoFs tabell att 32% av Sdarna (n = 176) tror på sådana. Felmarginalen blir då (rätta mig om jag räknar fel, var 10 år sen jag läste statistik):

32(100?32) = 2176
2176÷176 = 12.363636364
?12.363636364 = 3.516196292
3.516196292 x 1.96 = 6.891744732

Sju procent. Jämför man det med Vp 36% (n = 91) eller Fp 30% (n = 76) så är det ju hugget som stucket. Det kan variera fram och tillbaka så vilket som helst av dessa tre partier kan tro mest på UFO.

#8 Alaoglu on 29 October 2015 at 10:34 pm

Magnus: Så definieras inte “kan” (man skulle kunna dela in människor i olika raser även om ingen gjorde det), dock följer det att man kan göra det från att några gör det.

ChrisK: Karin Bojs har en lång historia av att vägra ta till sig begreppet statistisk signifikans

#9 barba on 30 October 2015 at 9:48 am

Jag får förfrågningar om att delta i en del sådana här undersökningar då och då. Om frågorna är för kasst formulerade så deltar jag inte. Jag tror inte jag är ensam om den reaktionen heller. Så jag spekulerar i att en stor del av bortfallet kan ha varit folk som kan ha sett att frågorna var formulerade så illa att de inte gick att svara på. Och iså fall kan det ha blivit en bias bland de svarande utifrån att de är personer som inte är förmögna att se hur kasst frågorna är formulerade….

#10 Albert on 30 October 2015 at 10:19 am

Det beror lite på hur man ställer frågan också. Om du t.ex. tar 9/11. En möjlighet är någonting mittemellan Al-Qaida och att USAs regering iscensatte attackerna. Det är ett alldeles för stort tankesprång att gå från att någon annan än Al-Qaida kan ha legat bakom till att med säkerhet peka ut t.ex. USAs regering som skyldig. Trots allt har både Al-Qaida själva och Afghanistans regering om och om igen upprepat att de *inte* låg bakom 9/11. Det kan man ta som en indikation på att någon annan kanske låg bakom. Men att därifrån gå till att peka ut just USAs regering – utan några bevis – är bara korkat. Jag anser att bevisbördan nu ligger hos USA att bevisa att Al-Qaida låg bakom attackerna. Några sådana bevis har ännu inte presenterats.

#11 Magnus A on 30 October 2015 at 12:35 pm

Alaoglu: nej, det följer inte alls.

Ett motsvarande uttalande skulle vara “1 + 1 kan vara 3”. Hävdar du att detta också är sant? Det kan det väl vara i ett väldigt skruvat sammanhang, men knappast något man ska svara “ja” på i en enkät.

#12 Alaoglu on 30 October 2015 at 1:54 pm

Magnus: Du noterar ju redan i din första kommentar att vissa delar in människor i raser, hävdar du alltså att “Man kan inte dela in människor i raser, men vissa gör det” är ett sant påstående?

(Motsvarande påstående är “1 + 1 = 2, men det kan inte vara två” vilket förhoppningsvis är en uppenbar motsägelse.)

#13 Rallarn on 30 October 2015 at 5:07 pm

Vårdguiden konstaterar att “akupunktur kan vara en effektiv metod för att lindra vissa typer av smärta. Det gäller framför allt långvarig smärta i ländryggen, nacken, skuldrorna, och vid tennisarmbåge.” Det är alltså en effektiv behandlingsform – naturligtvis inte mot allt, men det ingick ju inte heller i frågan.
http://www.1177.se/Skane/Fakta-och-rad/Behandlingar/Akupunktur/
Om VoF har synpunkter på vetenskapligheten i det påståendet får de väl vända sig till Vårdguiden istället för att trakassera folk med sin efterblivna syn på vad vetenskap är. Jag var också förvånad över frågan om Palmes mördare. Anser sig VoF ha svaret på den, eller är frågan till för att försöka hitta kopplingar mellan synen på Palmemordet och åsikter om själens existens, chemtrails m.m.? Kanske försöker de hitta en konspiratorisk personlighetstyp som förhoppningsvis kan korreleras med vissa partier. Det kunde ju vara intressant för all del. En hypotes är att om det finns vettiga kriterier för konspiratoriskt tänkande, som inte bara är tecken på paranoia eller allmän extremism, så skulle de återfinnas hos många vetenskapliga forskare. Jakten på samband, tron på förklaringar, osv.

#14 Christopher Kullenberg on 30 October 2015 at 10:33 pm

Rallarn: Instämmer i ditt resonemang. Dock finns det inga riktiga forskare som letar samband mellan akupunktur och Palmemord bland folks åsikter (hoppas jag). Förhoppningsvis kan dessa utesluta skensamband.

#15 Alex Rowe on 1 November 2015 at 5:42 pm

Tråkig att Vetenskap och Folkbildning inte alls verkar vilja lyssna till kritiken de fått mot bristerna i undersökningen. Vore bra om de kunde ta den till sig då den ställer förening i dålig dager. Annars tycker jag att de brukar göra bra saker.

#16 barba on 2 November 2015 at 12:34 am

Nu finns det ju en hel del aktuell forskning ang akupunktur för smärtlindring som hävdar att akupunktur inte har större smärtlindrande effekt än placebo.

#17 Rallarn on 2 November 2015 at 1:55 pm

Om det är så att aktuell forskning tyder på att akupunktur inte är effektiv, så är jud et i så fall en revision av det kunskapsläge som fått svensk sjukvård att acceptera akupunktur som en effektiv behandling vid vissa smärttillstånd. I så fall är det läge för VoF att vända sig till relevanta myndigheter och ta upp frågan on konsekvenserna av den nya forskningen. Men det är fortfarander vansinnigt att trakassera allmänheten med påståenden om att tron på akupunkturens effektivitet är konspirationsteoretisk, i stil med att tro att månlandningen var fejk. Folk har ju ingen anledning att betvivla den hittillsvarande bedömningen och kan inte förväntas känna till de senaste studierna.
Anta att nya studier visar att dinosaurier hade fjädrar. Om det vid en opinionsundersökning visar sig att 69% av folkpartisterna tror att de inte hade fjädrar, är de då konspirationsteoretiker?

#18 Fetenskap och Volkbildning on 9 November 2015 at 12:03 am

De så kallade “vetenskaparna” i VoF är snarast galenskapare. Tittar man in i deras facebookgrupp så utgörs den till ca 99% av grabbig ryggdunkarmentalitet och grupptänk, samt mobbing av oliktänkande. Helst inleds ett inlägg med att posta en förlöjligande bild av meningsmotståndare, och ett tiotal kommentarer i stil med “höhö foliehattar!” haglar in.
Ingen som helst vetenskaplig diskussion förs, och alla försök till att få dem att tänka själva, möjligen läsa källor, är lönlösa.

Chemtrails och vädermanipulation är såklart välkänt för oss som är vetenskapliga och folkbildade. Ett exempel på “riktiga” konspirations-chemtrails är annars bakterietesterna som bedrivits i Storbritannien.
Tur att militären slutat upp med hemliga projekt sedan länge… och bara gör saker öppet nuförtiden.

http://www.theguardian.com/politics/2002/apr/21/uk.medicalscience

#19 Avsnitt 162 – Dyrt kiss | Kvack! on 9 November 2015 at 12:08 am

[…] Kritik mot VoFs undersökning (och lite mer kränkt kritik) och ett mindre bra […]

#20 Fetenskap och Volkbildning on 9 November 2015 at 12:22 am

Smått komiskt att minuterna efter min kommentar om hånande VoF-“vetenskapare” så kommer en hånande trackback där Copyriots sakliga kritik kallas “kränkt”.
Exakt så fungerar det inom VoF.