Svenska ekonomisk-historiska mötet 2009 inleddes av en debatt som inte blev en debatt, eftersom alla deltagare var rörande överens. Om vad? Kort sagt om att den tilltagande bibliometri-hetsen är förödande för den samhällsvetenskapliga forskningens kvalitet. Forskningsbidrag har av tradition delats ut på grundval av sakkunniggruppers peer review-bedömning, vilket nu tenderar att ersättas av bibliometriska tjänster som Citation Index (ägare: Thomson Reuters). Anledningarna till detta är flera, men i grunden rör det sig om att naturvetenskapens rutiner – ursprungligen utvecklade i syfte att spåra patent – bryskt blir applicerade även på samhällsvetenskap och humaniora.
Skiftet innebär för det första att forskningsmedel mer får karaktären av belöning för tidigare arbete. Eftersom nyheter ofta tar tid på sig innan de börjar citeras i vidare kretsar, missgynnas nyskapande forskning systematiskt. Fallstudier som prövar nya hypoteser ger sämre utdelning än så kallade review-artiklar där man bara samlar in andras forskning, eftersom referenser är hårdvaluta i prestigetidskrifternas ekonomi.
I allmänhet gynnas ett hejdlöst skrivande, trots att en skrämmande stor del av alla akademiska artiklar får noll läsare utanför tidskrifternas egna bedömningsgrupper. Att tillhöra ett kotteri kring en tidskrift, där man systematiskt citerar varandras publikationer för att ge varandra poäng, blir också en framgångsrik strategi. Klickbildning, backscratching. Uttalade eller outtalade krav finns på att man för att få bli citerad i en tidskrift måste citera ett visst antal andra artiklar ur den. Tidskrifters poängvärde mäts i “journal impact factor” (också under kontroll av Thompson Reuters) som på olika sätt kan manipuleras. För att komma in i de mest värdefulla tidskrifterna töjer man gärna forskningens resultat. Veterinärer får exempelvis starka incitament att hitta en “mänsklig vinkel” på sina rön, för att komma in i de medecinska tidskrifter som ger fler poäng.
Överlag innebär bruket av tjänster som Citation Index att det i stort sett bara är deltagande i en strikt engelskspråkig forskarvärld som belönas. Inom ämnet ekonomisk historia utesluts de mest högstående latinamerikanska, tyska och franska tidskrifterna – inte ens Annales indexeras!
Amerikanska forskares tendens att bara citera andra amerikaner gynnar förstås dem som kollektiv, i motsats till europeiska forskare som har en dokumenterat större tendens att citera forskning från bägge kontinenterna.
(Stycket ovan är ett fritt hållet referat av vad som sades i debatten, framför allt i de briljanta inläggen från Janken Myrdal och Ylva Hasselberg.)
Vad som slår en i allt detta är likheterna med vissa onlinefenomen. Bloggväggar, staplandet av länkar, är ju också ett direkt resultat av bibliometri-tjänster som Knuff.se. Inget tvivel kan väl heller råda om att såväl bloggars text som valet av länkar influeras av vetskapen om en automatiserad bloggometri.
En spekulativ fråga är om vi där kan se snabba exempel på någonting som i långsammare former kommer att breda ut sig i vetenskaperna. I naturvetenskapernas bibliometridrivna massundertecknande – där en artikel i Science kan ha dryga tjugotalet undertecknare – har förstås paralleller. Går det rentav att tänka sig att bloggbävningen, fast i extrem slow motion, utgör typen för hur vetenskapliga trender kommer att spridas i framtiden?
Skillnaden består förstås att de vetenskapliga tidskrifterna, till skillnad från bloggosfären, är strikt modererade. Vi kan också göra det omvända tankeexperimentet: Hur skulle bloggandets substans påverkas om dess bibliometriska urval blev oerhört mycket viktigare, och mer fungerade så som Citation Index fungerar?
11 kommentarer ↓
Parallellerna är många. I både det vetenskapliga skrivandet och i bloggosfärens sker ju en sorts peer review. Ett felaktigt påstående upptäcks ganska snabbt bland bloggar och en bloggare som systematiskt skriver faktafel kommer snart att avfärdas som en galning.
I båda fallen ägs indexen av privata företag (knuff, twingly, technorati, etc.), med skillanden att det råder monopol inom vetenskaperna. Alla former av motindex och antimetatjänster borde uppmuntras.
Det bör finnas motsvarigheter till bloggväggar inom akademin. Med avancerad SNA-mjukvara går dessa att spåra upp ganska enkelt (bland annat sånt det forskas om på min inst.). Proto-teorier om akademiska citeringsväggar finner man hos bland annat Kuhn och Ludwik Fleck, när de talar om hur begrepp och teorier färdas genom vetenskapssamhällena.
Ytterligare en aspekt är då vilken effekt detta får på vetenskapernas förmåga att skapa bra forskning. Latour skulle nog cyniskt säga att det har en förmåga att bringa ytterligare icke-människor in i världen, eftersom machiavelliska nätverk är nödvändiga för att koncentrera vissa resurser till ett enskilt laboratorium. När det gäller humaniora borde detta även bidra till att vissa begrepp sprids mer än andra, att en homogenitet uppstår och skapar en teckenregim som disciplinerar. Dock är ju detta knappast ett ideal, men i allafall.
Ah, se där en idé om hur bloggarna ska få betaaalt – bredbandsskatt som fördelas efter knuffpoäng!
(tack förresten för bidraget till FRAntologin)
Jag är kluven till bedömningen av forskning på publikationer och citering.
Fördelen är att nepotism blir omöjligt, då du får ett väldigt enkelt jämförelsemått, vilket också underlättar internationalisering och rörlighet. En tjänst ska inte kunna ges till någon som har färre artiklar i peer reviewed tidskrifter än en annan sökande, är tanken.
Nackdelarna har du nämnt, och där finns flera. Det största skämtet är ju att systemets förespråkare okritiskt anammat vad utgivarna av de “hetaste” tidskrifterna själva bestämt (i.e. topuniversitet i USA). Så du är per definition inte internationell om du publicerar dig i ryska, tyska eller franska journals.
Nationalekonomerna har kommit långt i att gå på journalranking. En oförutsedd nackdel är ju att många doktorander förefaller forska för att publicera sig i en viss journal, och gör det till självändamål. När man pratar med en så upptäcker man snart att detta är allt de tänker på, och böcker ser de som något dumt.
Anledningen till att jag ändå är kluven är att många institutioner i Sverige är fruktansvärt inavlade med fifflande till fördel för flickvänner eller fd doktorander. Har sett extremt välpublicerade och genuint kunniga forskare bli avfärdade för att de i princip inte läste sin grundkurs på *rätt* ställe!
Frågan är hur man löser kombinationen av transparens å ena sidan och bedömning av kvalifikationer å andra sidan. I synnerhet i ett så litet land som Sverige.
Med tanke på EUs inkränkningar i alla möjliga områden är det fö intressant att de inte lagt sig i detta (eller har de det?).
Martin: Jag håller med om att det inte finns ett alternativ som är självklart idealiskt. Samtidigt tror jag att akademin är en institution som måste hanteras på i viss mån konservativt vis – det vill säga, de bedömningsrutiner som vuxit fram inom samhällsvetenskap och humaniora kan inte bara slängas över bord. Inte ens när de uppenbart främjar korruption.
Det är ju som sagt ett historiskt skifte som håller på att ske. Ingen vet riktigt vad som kommer att hända med (den icke-naturvetenskapliga delen av) akademin.
Olika former av motindex, som ChrisK är inne på, vore helt klart värdefulla. Men där behövs nog resurser, om de ska konkurrera med Thomson Reuters.
En start bör vara att åtminstone skapa mer transparens kring existerande Citation Index. Vad jag vet finns inga åskådliga sätt som visar vad som egentligen värderas och inte.
Martin: Nepotism förekommer i peer-review, fast oftast indirekt. Alltså, man citerar forskare som man vet kommer att citera tillbaka. På så sätt skapas “svärmar” av indirekt nepotism som går att härleda ofta tillbaka till endast ett fåtal inflytelserika professorer som sedan ger jobb till de som ofta citerar dem. Typ.
Dock är modellen skapad för att under optimala omständigheter motverka detta vid granskningen.
chrisk:
Jag vet att det är så, men kom ihåg att det viktigaste i slutändan är publikationer. Där förekommer också nepotism, en professor ser till att hans doktorand publiceras osv, inte minst om professorn kan sätta sitt namn på artikeln. Men en tillräckligt bra artikel kommer alltid hitta sin outlet. Det är väl det som är utgångspunkten antar jag.
Motgiftet är att göra bra forskning som är relevant. Och att inte låta sig eggas upp av nationalekonomer. Om de tycker modellen passar deras disciplin perfekt, ok då. Men de har sina egna inomvetenskapliga problem, vilka kommer bli allt mer tydliga dem också över tid. Andra samhällsvetare får fundera i nya banor… samt hålla gevärskrutet torrt och kuken hård som vi säger i söderort ;-)
Det härkänns lite some ett tidsfeonmen. Mätbarhet och en inriktning på kvantifierbara mål sprider sig genom hela samhället. Allting ska passa in i exceldiagramen.
I mjukvaruindustrin ska man producera ett visst antal rader kod. Polisen ska göra ett visst antal kontroller för rattfylla. Forskare ska citeras ett visst antal gånger. Statliga myndigheter får enkla mätbara mål att uppfylla.
Resultatet blir ofta att folk producerar mätresultat istället för faktiska resultat, precis som du säger uppmuntrar mätningar folk att leta efter kryphål i systemet istället för att forska/lösa brott/programmera.
Äsch, gammelforskningen kommer att ersättas av nästa generations forskning, som med hjälp av Internet forskar vitt och brett över jordens alla hörn.
Gammelforskningen kommer att stagnera i sin egen högmodighet och länkfrossa där det inte längre handlar om att skriva om ny orginell forskning, utan att få så mycket berömmelse som möjligt och synas mest. Sensationsforskning kommer kanske att bli stort.
Gammelforskningen måste nu slåss med problem som t ex Google redan löst för längen sen. Kanske dags för ett bättre paper-ranking system? :-)
[...] på hur ofta deras texter citeras i peer reviewade tidskrifter. Problematiskt på flera sätt. Copyriot skriver bra om bibliometri (citeringsanalys) och dess konsekvenser för humaniora och samhällsvetenskaplig [...]
Jag tycker att PloS ONE har en intressant vändning på den där problematiken: Publicera allt som har en ok vetenskaplig metodik, oavsett om det är intressant eller inte. Då blir impact factors betydligt mindre relevanta, och idéerna i sig har större chans att få bäring. Sen funkar et inte riktigt bra i praktiken, men jag tror att det är rätt väg att gå.
[...] Bibliometri inom vetenskap och bloggosfär [...]
Kommentera