25 september 2012


Förbundsredaktören har ordet (september 2012)

Två snabba effekter av Högskoleverkets kvalitetsgranskning var glada twitter-utrop från de rikligen belönade[1] och att de studenter som sökte statsvetenskap inför hösten upplystes – på ett mycket tydligt sätt – om betyget på utbildningen före det avgörande klicket på Högskoleverkets sökportal. Hur många som på grund av orden i svart: ”Studenterna och därmed utbildningen uppnår inte ett eller flera av de utvärderade målen i examensbeskrivningen” valde att inte ge utbildningar med ”bristande kvalitet” en chans är kanske svårt att uppskatta – men rimligen påverkade det årets ansökningar. Särskilt viktigt tycks det då vara att utvärderingen var rättvisande och att effekterna på både kort och lång sikt är eftersträvansvärda.
   Men hur är det egentligen med kvalitetsutvärderingens rättvisa och effekter? Frågan går på dessa förbundssidor till Lena Lindgren[2].

Magnus Erlandsson är förbundsredaktör.
E-post: magnus.erlandsson@mah.se

En utvärderare om Högskoleverkets system för kvalitetsutvärdering 2011-2014

Av redaktören för Statsvetenskapliga förbundets tidskrift fick jag strax innan sommaren det roliga uppdraget att utifrån min utvärderarhorisont reflektera över Högskoleverkets system för kvalitetsutvärdering 2011-2014, inklusive den nyss överlämnade utvärderingen av stats-vetenskapliga utbildningar. Vad är då lämpligare att utgå ifrån än programteorimetoden som de flesta utvärderare anser vara ”standard evaluation procedure”?

PROGRAMTEORIANALYS
Programteorimetoden bygger i grova drag på tanken att alla åtgärder (program, policys, metoder etc.) – även ett utvärderingssystem – vilar på en viss logik (programteori) om hur åtgärden åstadkommer förväntat resultat; gör man A så händer B och det för i sin tur med sig B och C. Namnet till trots är programteori (i normalfallet) inte en teori i vetenskaplig mening som på basis av tillförlitlig kunskap förklarar hur en åtgärd fungerar. Programteori handlar också om förklaring, men förklaringen har sin grund i hur de som skapat eller beslutat om en viss åtgärd tänker sig att den fungerar. Dessa tankar är oftast under-förstådda men kan rekonstrueras med hjälp av policydokument och intervjuer. Den som gör rekonstruktionen har därmed att tolka hur åtgärden ifråga är tänkt att fungera. En rekonstruerad programteori kan sedan användas på olika sätt, vanligen som stöd i samband med planering av en utvärdering. Genom att programteorin tydliggör antagna förlopp och orsakssamband som ofta bara är implicita utgör den också ett utmärkt underlag för ett strukturerat resonemang kring en åtgärds tänkta sätt att fungera.

Programteorianalys kallas den sistnämnda tillämpningen och det är en sådan som avses i denna text. Inspiration till frågorna nedan som mitt resonemang är uppbyggt kring har jag hämtat från utvärderingsforskarna Dahler-Larsen (2000) och Funnel & Rogers (2012).

·         Om utvärderingssystemet är lösningen, vad är problemet?
·         Är den kunskap som utvärderingssystemet genererar relevant som grund för att lösa problemet, dvs. i) ansvarsutkrävande, och ii) vässa utbildningars kvalitet?
·         Vilka är effekterna av systemet, utöver de förväntade?

EN PROGRAMTEORI FÖR HÖGSKOLEVERKETS SYSTEM FÖR KVALITETSUTVÄRDERING
En programteori måste som sagt rekonstrueras. De policydokument som legat till grund för min rekonstruktion av en programteori för Högskoleverkets system för kvalitetsutvärdering 2011-2014 är framförallt regeringens proposition i ärendet samt myndighetens beskrivning av systemet (Prop. 2009:139; Högskoleverket 2012a). Jag har också i efterhand stämt av med personal på Högskoleverket att programteorin reflekterar hur systemet är tänkt att fungera.

Om följande förutsättningar finns…    

·         Varje lärosäte bestämmer själv hur utbildningen ska utformas och genomföras för att nå målen i examensbeskrivningarna.

… och om följande aktiviteter genomförs

·         Utbildningar som kan leda till examen inom huvudområden utvärderas utifrån hur väl studenternas faktiska studieresultat motsvarar de förväntade examensmålen.
·         Bedömarna är externt, oberoende sakkunniga lärare och yrkesverksamma inom huvudområdet samt studenter. De föreslår vilka mål som ska utvärderas samt operationella kriterier för bedömning av dessa. Högskoleverket beslutar i frågan.
·         Bedömningen grundas på ett slumpvis urval av studenternas examensarbeten, lärosätets självvärdering, intervjuer med studenter och resultat från en alumnenkät. I de fall bedömarna anser att det behövs görs också platsbesök.
·         Bedömarna avger ett samlat yttrande om hur väl studenterna nått målen för examen på en tregradig skala (mycket hög kvalitet, hög kvalitet och bristande kvalitet).
·         Högskoleverket håller samman utvärderingarna, ansvarar för att bedömningarna görs på ett transparent och likvärdigt sätt samt fattar beslut om vilket samlat omdöme varje utbildning ska få.

… så får det följande effekter på kort sikt…                                    

·         Utbildningar som bedöms ha bristande kvalitet får sitt examenstillstånd ifrågasatt. Efter ett år följer Högskoleverket upp ifrågasättandet och kan då återkalla examenstillståndet.
·         Utbildningar som bedöms ha bristande kvalitet förbättras genom vidtagna åtgärder från lärosätets alternativt läggs ner.
·         Utbildningar som bedöms ha mycket hög kvalitet premieras genom ekonomisk tilldelning. Tilldelningen utgör incitament för andra lärosätens kvalitetsutveckling.
·         Lärosäten får ett underlag som på ett likvärdigt och transparent sätt tydliggör kvaliteten i sitt utbildningsutbud i f.h.t. olika intressenter, främst staten.

… och följande effekter på lite längre sikt

·         Lärosäten i Sverige och andra länder får förtroende för varandras kvalitet, vilket är en förutsättning för ökat samarbete och rörlighet bland studenter och personal. Blivande studenter kan välja mellan olika utbildningar som alla håller hög kvalitet. Arbetsgivare vet att personer de anställer har de kunskaper och färdigheter som en utbildning enligt lagen ska leda till.
·         Sverige ligger vid en internationell jämförelse i den absoluta framkanten vad gäller kvalitetssäkring av högre utbildning.
·         Lärosätenas autonomi ökar, detaljregleringen minskar.
·         Den högre utbildningen vässas kvalitetsmässigt, vilket är en förutsättning för tillväxt, sysselsättning och framtida välstånd.

OM UTVÄRDERINGSSYSTEMET ÄR LÖSNINGEN, VAD ÄR PROBLEMET?
Utgångspunkten för varje programteori, och den åtgärd som programteorin beskriver, är ett problem som behöver lösas eller en situation som behöver förbättras. En programteori tydliggör hur en åtgärd förmodas lösa det eller de underliggande problem som är motivet till åtgärdens existens. I programteorin för Högskoleverkets system för kvalitetsutvärdering finns ingen distinkt och entydig utsaga om problem som ska lösas. Målen i form av förväntade effekter är av flera slag, riktar sig till flera olika målobjekt eller aktörer och beskrivs utan någon tydlig ordning i de policydokument som systemet vilar på. Om det finns någon på förhand tänkt effektkedja är därför svårt att säga. Den effektkedja som den ovan skissade programteorin ger uttryck för utgör min egen tolkning av hur målen förhåller sig till varandra. Om vi i linje med denna tolkning antar att förväntade effekter på lite längre sikt speglar underliggande problem finns det två, interrelaterade problem som Högskoleverkets utvärderingssystem förväntas lösa.

AUTONOMI OCH DETALJSTYRNING
Det ena handlar om att lärosätenas autonomi begränsas av detaljstyrning, vilket anses hämmande för utvecklingen av utbildningskvalitet och i förlängningen för landets förutsättningar för tillväxt, sysselsättning och framtida välstånd. Ökad lokal frihet och ansvar att utforma sin egen verksamhet kräver emellertid ett ändamålsenligt nationellt system för kvalitetsutvärdering, som inte lägger sig i hur resultaten uppnås, för att ansvarsutkrävande ska fungera. Att målet med ökad autonomi kräver ett ändamålsenligt system för kvalitetsutvärdering finns ingen anledning att ifrågasätta. Det är högst rimligt att en verksamhet som till så stor del finansieras med skattemedel regelbundet utvärderas med avseende på vilket resultat som uppnås. Som Riksrevisionen (2012) påpekat i en aktuell granskning av hur universitet och högskolor styrs behövs det också ett välfungerande utvärderingssystem som motkraft till den risk för generösa bedömningar av studenternas resultat som resurstilldelningssystemet innebär. Om Högskoleverkets nya utvärderings-system är ändamålsenligt i förhållande till detta problem är däremot en annan fråga som jag ska återkomma till.

MÖTA OLIKA SLAGS KUNSKAPSBEHOV
Det andra problemet som kan utläsas ur programteorin är ett kunskapsbehov som, om det tillgodoses, tänkes ha flera positiva effekter. På central nivå finns som sagt ett behov av kvalitetsinformation som kan ligga till grund för ansvarsutkrävande. Lärosätena behöver i sin tur kunna förse ledare på olika nivåer med underlag för att kunna styra och utveckla utbildningarna i rätt riktning. I regeringens proposition talas det om behovet av ”ett kvalitets-drivande system för utbildningsresultat av hög kvalitet” (Prop. 2009/10:139, s 7). Lärosätena behöver också ett bättre kunskapsunderlag för att kunna beskriva och marknadsföra sitt utbildningsutbud. Studenter behöver bättre kvalitetsinformation för att känna sig säkra på att utbildningar håller vad de lovar. Personal från olika lärosäten samarbetar inte i tillräcklig utsträckning och studenter är inte nog rörliga därför att kunskapen om andra lärosätens kvalitet är bristande eller saknas. Även arbetsgivare behöver tillförlitlig kvalitetsinformation så att de kan lita på att personer med en viss examen från ett visst lärosäte har de rätta kunskaperna och färdigheterna.

Om de förväntade kunskapsbehoven motsvaras av en reell efterfrågan hos ovan nämnda målobjekt finns inga direkta belägg för och diskuteras inte heller närmare i de policy-dokument som utvärderingssystemet vilar på. Troligtvis finns det ett sådant behov. Det är väl känt att de flesta universitet och högskolor var kritiska mot den tonvikt på förutsättningar och processer som präglade tidigare utvärderingssystem, och därför efterfrågade ett system som lägger tyngdpunkten på utbildningarnas resultat. Och vem skulle för övrigt svara ja på att bättre kvalitetsinformation om utbildningars resultat är en dålig idé? Dagens förvaltningspolitik är som bekant starkt resultatorienterad. Kraven på offentliga verksamheter att visa att de har god kvalitet och så produktivt som möjligt omvandlar insatta resurser till prestationer och – inte minst – att utförda prestationer har avsedda effekter för dem som de riktas till är i de flesta fall stora. Till avvikelserna hör t.ex. försvaret och den kungliga hovstaten som jämfört med politikområden som skola, vård och omsorg, i många länder inklusive Sverige, har mycket begränsade krav på sig att följa upp och utvärdera resultat (se t.ex. Pollitt 2003). Universitet och högskolor placerar sig kravmässigt enligt min mening i en mellankategori.

KONTROLL OCH UTVECKLING
Att behov av bättre kunskapsunderlag för kvalitetsutveckling i policydokumenten anges som motiv för utvärderingssystemets existens är nu lite märkligt med tanke på att systemet enligt samma dokument samtidigt sägs vara inriktat enbart på kontroll. Detta till skillnad från föregående utvärderingsmodeller som var både kontroll- och utvecklingsinriktade. En tolkning av programteorins logik ger emellertid vid handen att det finns vissa mekanismer för kvalitetsutveckling inbyggda i det nya systemet. En sådan mekanism skulle kunna vara att om utbildningsprogram med bristande kvalitet läggs ner, så främjar det kvaliteten i stort hos svensk högre utbildning. En annan, mer tydligt uttryckt mekanism, är att utbildningar som får omdömet mycket hög kvalitet premieras ekonomiskt, vilket antas utgöra incitament för andra utbildningars och lärosätens kvalitetsutveckling. Hur mera exakt som det ska ske, t.ex. om och i så fall hur bedömargruppernas yttranden kan användas på ett konstruktivt sätt på lärosätes- och programnivå för att ”vässa utbildningen kvalitetsmässigt” framgår inte vare sig i regeringens proposition (2009/10:139), regeringens uppdrag till Högskoleverket (Regeringsbeslut 2010-07-08) eller myndighetens anvisningar till lärosätena (Högskoleverket 2012a).

ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA GENERERAR RELEVANT SOM GRUND FÖR ATT VÄSSA UTBILDNINGARS KVALITET?
I Högskoleverkets kvalitetsutvärderingssystem granskas i vilken utsträckning studenternas s.k. faktiska studieresultat motsvarar förväntade resultat, så som de senare kommer till uttryck i ett urval av de mål som anges i examensordningen. Granskningen av statsveten-skapliga utbildningsprogram (och närliggande utbildningar som t.ex. offentlig förvaltning) har genomförts av en bedömargrupp bestående av externa, oberoende sakkunniga. Bedömargruppen har bestämt valet av examensmål som ska granskas och operationaliserat kriterier för att bedöma måluppfyllelse.

Det primära underlaget för bedömning har utgjorts av ett slumpvis urval av avidentifierade examensarbeten (mest 24 minst 5) som examinerats under läsåret 2010, men i vissa fall finns även arbeten från 2009 i urvalet. Beroende på storleken i urvalsramen av uppsatser har det, som diagrammet nedan vill illustrera, varit stora skillnader i urval mellan lärosäten och utbildningsprogram på olika nivåer. Om vi håller oss till masterprogrammen kan vi t.ex. se att kvalitetsbedömningen vid Stockholms universitet har baserats på 16 uppsatser (vilket är knappt hälften av urvalsramen), medan bedömningen vid Göteborgs universitet har baserats på fem uppsatser (som är hela urvalsramen).

Även andra typer av bedömningsunderlag än examensarbeten har också[LL2]  funnits att tillgå men har inte tillmätts någon större betydelse. Alumnenkäter och studentintervjuer har enligt den statsvetenskapliga bedömargruppens egen utsaga i praktiken varit utan värde för för dess omdömen om utbildningarna, medan självvärderingar och platsbesök sägs ha bidragit till gruppens förståelse av hur utbildningarna fungerar. ”Till syvende och sist är det ändå läsningen och bedömningen av enskilda uppsatser som är vårt bästa material” (Högskoleverket 2012b, bilaga 7, s 3).

Uppsatserna har lästs av en särskild grupp uppsatsläsare (35 personer), men även bedömargruppens medlemmar har läst uppsatser. Med undantag för ett mindre antal (cirka 5 procent) som av olika skäl lästs och bedömts av två läsare, har alla uppsatser lästs och bedömts av en enda läsare. För vart och ett av examensmålen har läsaren avgjort i vilken grad en uppsats visar att målet ifråga har nåtts. Resultatet från läsningen har sedan delgetts bedömargruppen som sammanställt det i en matris som möjliggör en helhetsbedömning och därefter avgett ett yttrande om utbildningarnas kvalitet på en tregradig skala. Yttrandet består dels i ett samlat omdöme där uppfyllelsen för de sex mål man valt att granska vägts samman i ett omdöme (mycket hög kvalitet, hög kvalitet, bristande kvalitet), dels i en kort kommentar på några meningar som förklarar hur man bedömt respektive mål.

EXEMPEL PÅ YTTRANDE
Låt mig för att illustrera hur ett yttrande kan se ut ta bedömargruppens utvärdering av Förvaltningshögskolans masterprogram i offentlig förvaltning som exempel: Sammantaget visade underlaget (11 uppsatser av en urvalsram på 21) enligt bedömarna på mycket hög måluppfyllelse för två mål, och hög måluppfyllelse för övriga fyra av de sex utvalda målen. Den samlade bedömningen blev att programmet håller hög kvalitet.

Hur denna samlade bedömning tagits fram framgår inte av utlåtandet. Det är dock uppenbart att det krävts en hel del såväl kvantitativa som kvalitativa överväganden från bedömargruppens sida för att ta ställning till hur den sammanvägda bedömningen ska gå till samt, dessförinnan, hur måluppfyllelse för vart och ett av de sex målen ska fastställas.

För att söka förstå dessa överväganden kan vi måhända lära av masterprogrammet i statsvetenskap vid Göteborgs universitet som, liksom kandidatprogrammet vid samma lärosäte, fick omdömet mycket hög kvalitet. Inte vid något annat lärosäte i Sverige fick de statsvetenskapliga kandidat- eller masterutbildningarna ett så högt omdöme. Av bedömargruppens yttrande framgår att omdömet baseras på betyget mycket hög måluppfyllelse för fyra mål och hög måluppfyllelse för övriga två. Det borde betyda att det krävs mycket hög måluppfyllelse för en majoritet av de sex målen för att få det högsta betyget. Att försöka lista ut hur bedömargruppen dessförinnan kom fram till hur många av de fem uppsatserna i urvalet som fört vart och ett av de sex målen måste ha fått betyget mycket hög kvalitet för att omdömet ska bli mycket hög kvalitet har jag nu inte orkat ägna någon större kraft åt. Här kan vi tursamt nog ta hjälp av bedömargruppens egna betraktelser över sitt arbete där det framgår att knappt hälften av uppsatserna i ett urval måste ha fått betyget omdömet mycket hög kvalitet för vart och ett av de sex målen för att slutomdömet ska bli mycket hög kvalitet (Högskoleverket 2012b, bilaga 7, s 26ff). Det torde betyda att tre av de fem uppsatser som bedömningen av det statsvetenskapliga masterprogrammet grundades på nådde upp till detta riktmärke.

HUR GÖRA FÖR ATT NÅ OMDÖMET MYCKET HÖG KVALITET?
Sedan en tid tillbaka är jag ansvarig för Förvaltningshögskolans masterprogram i vilket bl.a. ingår ett utvecklingsansvar. Omdömet hög kvalitet i Högskoleverkets utvärdering är förvisso acceptabelt, men givetvis vore mycket hög kvalitet långt bättre och mera ärofyllt. Högskole-verkets system för kvalitetsutvärdering är som sagt primärt inriktat på kontroll, inte utveckling även om systemet innehåller mekanismer som förväntas vara kvalitetsdrivande. Myndigheten ger därför inga rekommendationer om hur en utbildning kan förbättra sitt omdöme, eller hur en utbildning som fått betyget bristande kvalitet ska åtgärda bristerna. Den starka kontrollinriktningen följer av regeringsuppdraget till Högskoleverket där det står att: ”Förklaringar till resultat och åtgärder för att utveckla verksamheten ska framöver sökas av lärosätena själva” (Regeringsbeslut 2010).

Men ponera att jag som programansvarig i enlighet med programteorin triggas av det ekonomiska incitament som utlovas som belöning för utbildningar som får det högsta betyget och vill använda bedömargruppens utlåtande för att motivera lärare och hand-ledare till förbättringar. Hur gör jag då för att få svar på vad som behöver göras annorlunda i den kurs där examensarbetena genomförs, och i masterprogrammets kurser i övrigt?

Ett sätt är förstås att lära av egna och andras utbildningars uppsatser som fått högsta betyget och dra varnande exempel av dem som befunnits ha bristande kvalitet. Det förutsätter att uppsatserna och omdömena är offentliga och att systemet erbjuder möjligheter för detta slags benchmarking. Med hjälp av Högskoleverkets (2012b, bil. 5) rapport går det att koppla varje enskild uppsats till en bedömning men uppsatserna är avidentifierade och anges endast med ett nummer. Förvaltningshögskolans egna uppsatser kan sannolikt identifieras på detta sätt, men för att spåra upp hur enskilda uppsatser från andra institutioner bedömts krävs goda kontakter.

Ett alternativt sätt att söka kunskap om vad som krävs för att en uppsats ska få högsta betyg är att göra sig närmare bekant med bedömargruppens kriterier för operationalisering av måluppfyllelse. Dessa finns formulerade i ett dokument där bedömargruppen kommenterar de sex utvalda målen och kriterier, samt ger instruktioner till uppsatsläsarna vad gäller bedömningsgrunder och betygssättning för varje mål (Högskoleverket 2012b, bil.3 och 4). Dock är det inte alldeles lätt att förstå vilka av de inalles nio bedömningsgrunderna som hör till vilket av de sex utvalda målen eftersom några mål är kopplade till flera bedömningsgrunder. Det tycks mig snarare, vilket också framgår av bedömargruppens betraktelse av sitt arbete, som om bedömargruppen först formulerat sina egna grunder och kriterier för hur en uppsats med hög kvalitet, mycket hög kvalitet respektive bristande kvalitet känns igen, och först därefter kopplat dessa grunder och kriterier till målen i examensordningen (Ibid. bilaga 7, s 10 ff).

SVÅRT ATT DRA SLUTSATSER AV YTTRANDEN
Nåväl, som nämnts fick Förvaltningshögskolans masterprogram betyget mycket hög mål-fyllelse för två mål (mål 1 och 6), och hög måluppfyllelse för övriga fyra (mål 2,3, 4 och 5) av de sex utvalda målen. Beträffande t.ex. mål 1 (kunskap och förståelse inom huvudområdet) som fick omdömet mycket hög måluppfyllelse kan vi läsa att: ”samtliga uppsatser har mycket hög nivå vad avser diskurs- och teorianknytning … mycket god fördjupad insikt om aktuella forskningsfrågor inom huvudområdet … mycket god förmåga att formulera en insiktsfull och motiverad problemställning med anknytning till diskursen, lägstanivån är hög.” Mål 2 (fördjupad metodkunskap inom huvudområdet) nådde bara upp till omdömet hög måluppfyllelse. Det förklaras så här: ”… samtliga uppsatser uppfyller de krav som bör ställas på masternivå vad gäller vetenskaplig metodmedvetenhet. Några av uppsatserna bedöms även hålla mycket hög kvalitet. Lägstanivån är hög.” (Högskoleverket 2012b).

Mitt förbättringsintresse gäller naturligt nog de fyra mål där måluppfyllelsen för Förvaltningshögskolans masterprogram inte bedömdes nå upp till betyget mycket hög kvalitet, vilket t.ex. var fallet med mål 2 – fördjupad metodkunskap. Det högsta betyget får här enligt bedömargruppens operationalisering av kriterier för måluppfyllelse uppsatser där den egna metoden är väl utvecklad i något eller några avseenden, och dessutom premieras kreativitet vad gäller materialinsamling (Högskoleverket 2012b, bilaga 4). För att riktigt förstå vad detta innebär måste man därmed nogsamt fundera över hur uppsatsläsaren som ju är den person som i praktiken satt betyg formulerat sin egen förståelse av kriteriernas termer? Jag besitter inte samma expertis, och möjligen är min förståelse av termerna därför en annan. Så hur har uppsatsläsaren gjort för att ta ställning till huruvida en uppsats har en ”väl utvecklad metod” eller tillämpar ”kreativitet i materialinsamling”? Kan en i mitt (och kanske även uppsatsläsarens) tycke långtråkig ”thick description” som sida efter sida tolkar innebörden i t.ex. chefers upplevelser och erfarenheter av självbild, tilltro till det egna ledarskapet och lust och motivation att genom utbildning bli en bättre ledare passera som väl utvecklad metod? Eller krävs det något i mitt (och kanske även uppsatsläsarens) tycke mera utmanande och hårdfört som ett dubbelblint kontrollerat experiment där chefer som vill bli bättre ledare randomiserats till olika typer av chefsutbildning?

Att dra lärdom av bedömargruppens yttrande kräver som synes ett omfattande detektiv- och tolkningsarbete. Det är likväl ett arbete som jag är övertygad om redan har startat på många håll, både av utbildningar som likt Förvaltningshögskolan fått ett mellanbetyg och av de vars utbildning fått betyget bristfällig kvalitet. Vart det arbetet kan leda och vilka konsekvenser det kan få ska jag återkomma till i slutet av denna text.


ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA GENERERAR RELEVANT SOM GRUND FÖR ANSVARSUTKRÄVANDE?
Högskoleverkets system för kvalitetsutvärdering har en stark inriktning mot kontroll och ansvarsutkrävande. Begreppet ansvarsutkrävande (liksom ansvar och ansvarighet) är mångtydigt och används i delvis olika betydelser inom olika ämnen och sammanhang, men denna promemoria är inte rätt plats att reda ut begreppen. Låt oss bara helt kort slå fast att för att någon ska kunna ställas till ansvar måste det finnas en förväntad bild av vad som ska uppnås som en verksamhet kan jämföras mot, samt information i form av saklig och oberoende granskning som kan ligga till grund för bedömningen av huruvida någon fullgjort sitt uppdrag eller inte. Det måste också finnas mekanismer i form av metoder och processer för att i praktiken utkräva ansvar (Lindström 2011).

I vårt fall är det lärosätena som ställs till ansvar för sina utbildningar. Den förväntade bilden av vad utbildningarna ska uppnå utgörs av det urval av mål i examensordningen som bedömargrupperna valt att fokusera sin granskning på. Det är sedan läsargruppens granskning och bedömargruppens yttrande som ligger till grund för ansvarsutkrävandet. Högskoleverket har såvitt går att se bara konstaterat att man ”instämmer i bedömargruppens ställningstagande” (Högskoleverket 2012b). Mekanismer för ansvarsutkrävande kan se ut på olika sätt i den offentliga förvaltningen och vara mer eller mindre skarpa – allvarliga samtal, minskade resurser, entledigande etc. I vårt fall är det fråga om en skarp metod där de lärosäten vars utbildningar bedöms ha bristande kvalitet, dvs. inte når måluppfyllelse, får sitt examenstillstånd ifrågasatt. De kan också få tillståndet indraget om de inte inom ett år har visat förbättringar. Stora värden står således på spel för varje lärosäte och utbildning.

STORA VÄRDEN PÅ SPEL
Vägen fram till Högskoleverkets nuvarande system för kvalitetsutvärdering har varit kantad av många svårigheter och konflikter, vilket föranlett en ansenlig kritisk debatt som jag väsentligen valt att utelämna i denna PM.[3] Den aspekt av systemet som jag själv ställer mig allra mest kritisk till är den ovan nämnda, dvs. att den typ av granskning som bedömarnas yttrande utgör ligger till grund för ansvarsutkrävande där så stora värden står på spel. Hur kan en bedömning som säger sig spegla ett helt utbildningsprograms kvalitet, men som bygger på underlag från en så bitteliten del av denna utbildning tillåtas få så stora konsekvenser? Ett kandidatprogram har exempelvis fått sitt examenstillstånd ifrågasatt därför att tre uppsatser under ett läsår bedömdes ha bristande kvalitet på mer än hälften av nio bedömningsgrunder. Hur kan å andra sidan en hel utbildning få omdömet mycket hög kvalitet, när omdömet i praktiken bygger på att tre uppsatser bedömts ha hög eller mycket hög måluppfyllelse på mer än hälften av nio bedömningsgrunder?

Att bedömarnas yttrande ges denna centrala roll innebär dessutom i praktiken att bedömarna tillskrivs en politisk funktion att lägga ner utbildningsprogram, även om det formellt är Högskoleverkets generaldirektör som fattar beslutet om ifrågasättande och/eller indragning av examenstillstånd. I förbindelse med det kan man också fråga sig hur de vars examenstillstånd ifrågasätts ska kunna åtgärda den bristande kvaliteten inom ett år. Vad kan ha hänt då, och hur ska Högskoleverkets återkontroll fungera? Vad mera exakt är det man ska kontrollera? I Högskoleverkets anvisningar sägs endast att en analys och åtgärdsredovisning per mål ska göras, samt att myndigheten tar hjälp av en bedömargrupp för att ta ställning till om åtgärderna är tillräckliga. Utöver det finns i linje med policyn om lärosätenas autonomi inga preciseringar av vad som ska anses vara tillräckliga åtgärder (Högskoleverket 2012a) Blir det som Nils Brunsson förmodar därmed en återgång till att granska förutsättningar och processer? (SULF tidningen nr 10/2012


STRUKTUR, PROCESS OCH RESULTAT
I utvärderingslitteraturen brukar man tala om kvalitet som egenskaper som kan knytas till olika faser i en verksamhet. På så vis kan en distinktion göras mellan strukturkvalitet som speglar vad en verksamhet har, processkvalitet som handlar om vad en verksamhet gör, och resultatkvalitet som står för vad den/de som är verksamhetens målobjekt får. Resultat är utan tvekan en viktig aspekt av utbildningskvalitet, sannolikt den viktigaste. Drygt 20 års undervisningserfarenhet säger mig emellertid att resultat av högre utbildning är mycket mer än huruvida ett urval av examensarbeten bedöms leva upp till en handfull mål som brutits ner till (eller som i vårt fall i efterhand kopplats ihop med) nio bedömningsgrunder. De bedömningsgrunder som brukats har dessutom en tydlig, forskningsförberedande karaktär som i stort sett uteslutande speglar den akademiska snarare än den praktiska delen av utbildningar. Det som bedöms blir därmed inte givet det som värderas när studenterna kommer ut i arbetslivet.

BEDÖMNINGARNA GÖR INTE RÄTTVISA ÅT HELHETEN
Utbildningsresultat handlar enligt min mening också om förändringar hos studenterna vad gäller attityder, motivation, förmåga, beteende och anställningsbarhet för att nu nämna några exempel. På Förvaltningshögskolan är vi exempelvis omåttligt stolta över hur väl våra masterstudenters kunskaper, färdigheter och beteende skattas av de myndigheter och organisationer där studenterna tillbringar en praktiktermin, och hur lätt det tycks vara för dem att efter examen få kvalificerade arbeten. Även om vi håller oss till de uppsatskurser som leder fram till ett examensarbete, så är dessa kurser en lång process med många komponenter utöver själva slutprodukten. De bedömningar som utgör kärnan i Högskole-verkets nya utvärderingssystem gör med andra ord inte rättvisa åt helheten i utbildningars resultat, och ändå är det dessa bedömningar som ligger till grund för ansvarsutkrävande.

I förbindelse med det nu sagda ställer jag mig också undrande till varför Högskoleverkets system för kvalitetsutvärdering betecknas som utvärdering när det i praktiken så uppenbart är fråga om tillsyn. Det finns förvisso ett nära släktskap, både utvärdering och tillsyn syftar till att främja måluppfyllelse och effektivitet, men det finns viktiga skillnader. Medan tillsy-naren har att utgå från och acceptera den orsakslogik i form av mål, regler etc. som är för handen, så kan utvärderaren mycket väl ifrågasätta densamma samt föreslå förändringar. Av det följer också att tillsynaren inte kan påverka vilka bedömningskriterier som ska brukas, vilket utvärderaren kan. Den viktigaste skillnaden är dock att utvärderaren endast kan rekommendera att åtgärder ska vidtas, till skillnad från tillsynaren som kan lämna bindande förslag och även har sanktionsmöjligheter till sitt förfogande (Johansson 2006). Högskoleverkets system för kvalitetsutvärdering kan dessutom ses som en hård form av tillsyn där den främjande delen tagits bort och det som återstår är tillsynens inspektionsdel, dvs. granskning för att kontrollera om ett tillsynsobjekt uppfyller de krav och villkor som följer av de regler som finns.

Att vi i själva verket har att göra med en tillsynsaktivitet och inte utvärdering kan möjligen förklara att den i utvärderingssammanhang så viktiga frågan om attribution i stor utsträckning ställts i bakgrunden i debatten om utvärderingssystemet. Som programteorin visar tas det i systemet för givet att det av bedömargruppen uppmätta tillståndet av kvalitet hos en utbildnings examensarbeten är en effekt av de kurser och andra aktiviteter som utbildningen inbegriper. Så behöver inte vara fallet.

VILKA ÄR KONSEKVENSERNA AV UTVÄRDERINGSSYSTEMET, UTÖVER DE FÖRVÄNTADE?
Den sista fråga som jag vill diskutera i denna programteorianalys är vilka konsekvenser – utöver de officiellt förväntade (ansvarsutkrävande och vässad kvalitet) – som kan bli följden av Högskoleverkets utvärderingssystem. En enkel tumregel som hjälper oss att besvara frågan är att fundera över vilken effekt de bedömningsgrunder som tillämpas i ett utvärderingssystem skulle kunna ha på den utvärderade verksamheten om de blev använda som mål (Dahler-Larsen 2000). Med andra ord, kan kvaliteten på ett urval av examensarbeten, så som denna definierats i bedömargruppens bedömningsgrunder för måluppfyllelse, stå som mål för resultatet av ett helt utbildningsprogram på kandidat-, magister eller masternivå? Är svaret nej på denna fråga, vilket jag menar är uppenbart i vårt fall, så är det sannolikt att utvärderingssystemet kommer att producera perversa bieffekter, dvs. besvärliga konsekvenser som är rakt motsatta och möjligen motverkar de förväntade. I min bok Utvärderingsmonstret har jag med utgångspunkt i ett femtiotal artiklar och böcker i ämnet beskrivit ett flertal perversa bieffekter och hur de kan tänkas uppstå (Lindgren 2006). Låt oss titta närmre på några av dem i relation till Högskoleverkets utvärderingssystem.

KREATIV BOKFÖRING OCH URVAL
När (som är fallet med det system vi här talar om) lärare, handledare och examinatorer vet att ett dåligt resultat bestraffas, eller rentav att hela utbildningens framtid är beroende av vissa kvalitetsmått är risken för s.k. kreativ bokföring stor. I litteraturen nämns olika strategier för kreativ bokföring. ”Creaming” betyder att man från en organisations sida medvetet väljer ut bara sådana klienter som man vet kommer att prestera bra i vissa avseenden, medan ”referral” innebär att man hänvisar klienter till andra instanser för att de inte ska ödelägga organisationens resultat. Att välja ut studenter eller hänvisa dem till andra utbildningsprogram kanske inte fullt ut låter sig göras inom svensk högre utbildning. Men risken är stor att berörd personal kommer att utveckla strategier för att den grupp av examensarbeten som kan komma att ingå i urvalet ska bli så bra som möjligt. Det kan t.ex. ske genom att undvika eller skjuta upp godkännande av svaga examensarbetena tills Högskoleverkets urval är genomfört (Lindberg Sand 2011). Det behöver nu inte handla om kreativ bokföring i en strategisk mening. Det kan också, vilket bedömargruppen lyfter fram i sin betraktelse, handla om en institutionaliserad kultur med mycket sträng betygsättning som automatiskt gör att svaga uppsatser inte når så långt som till seminariebehandling och därmed inte kan ingå i en urvalsram (Högskoleverket 2012b, bilaga 3).

En annan potentiell konsekvens som jag redan varit inne på är att universitet och högskolor kommer att ha ögonen på vilka utbildningar som lyckats bra, försöka ta reda på hur argumentationen för det högsta betyget ser ut och anpassa sin egen verksamhet till det. ”Teaching to the test” kallas det i litteraturen när personal lärt sig vilka aspekter som räknas (och vilka som inte räknas) och använder denna kunskap för att rikta in sig på det som betalar sig. Lyckas det höjer utbildningen ifråga nivån på sitt resultat i förhållande till en viss kvalitetsdefinition, men andra kvalitetsaspekter lämnas därhän. Det kan i sin tur leda till ”ossification”, utbildningar förstelnas eftersom innovation och nytänkande inte lönar sig.

STANDARDISERADE UPPSATSER
Som sagt är det en komplicerad uppgift att lära av bedömargruppens utlåtande, det kräver ett omfattande detektiv- och tolkningsarbete. Om det lyckas kommer det med stor sannolikhet att bidra till en standardisering av uppsatser i statsvetenskap i förhållande till bedömargruppens traditionellt akademiska kriterier för vad som är ett förstklassigt examensarbete. Enligt uppgift från Högskoleverket finns ingenting mer än tradition som kräver att ett examensarbete i statsvetenskap har denna karaktär, det går att inkludera även andra aspekter. Men så ser nu traditionen ut och inom överskådlig tid framöver kommer det inte att finnas utrymme för ”vilda” uppsatser med snillrika resonemang eller som upptäckt nya saker, men som i övrigt går utanför ramarna. Varje gång vi träffar på en statsvetenskaplig uppsats kan vi istället vara säkra på att den ser ut enligt normen. För mig framstår detta högst tänkbara framtidsscenario inte bara trist utan också inkonsekvent i f.h.t. programteorins förutsättningar och programmakarnas policy att varje lärosäte själv bestämmer hur utbildningen ska utformas och genomföras för att nå målen i examensbeskrivningarna.

TJÄNSTEMÄN SOM ARBETAR PÅ UPPDRAG AV REGERINGEN
I denna promemoria har jag målat upp en i huvudsak mörk och dyster bild av Högskoleverkets system för kvalitetsutvärdering som ger vid handen att systemet: i) gör det mycket svårt för utbildningar som vill förbättra sig, ii) är undermåligt som informationsgrund för ansvarsutkrävande, iii) sannolikt kommer att generera besvärliga konsekvenser som undergräver systemets förväntade effekter, samt iv) borde betecknas som en tillsynsaktivitet och inte ett utvärderingssystem.

Genomgående har jag talat om Högskoleverkets system för kvalitetsutvärdering, vilket inte är helt rättvist. På uppdrag av regeringen utformade Högskoleverket (2009) ett förslag till utvärderingssystem för perioden 2011-2014. Det förslaget kunde regeringen inte acceptera, främst p.g.a. att det inte var tillräckligt entydigt fokuserat på utbildningsresultat vilket antogs stå i motsättning till autonomiprincipen enligt vilken varje lärosäte själv bestämmer om utbildningars utformning och genomförande. Istället formulerade man på egen hand ett nytt system för kvalitetsutvärdering som detaljrikt preciserade systemets egenskaper och tillämpning (Regeringsbeslut 2010). Högskoleverket har haft och har forfrande till uppgift att finputsa och genomföra ett system för kvalitetsutvärdering med osedvanligt stark styrning från regeringen och dessutom på mycket kort tid. Detsamma kan måhända sägas om bedömargruppen vars ledamöter visserligen frivilligt åtagit sig uppgiften att granska utbildningar och examensarbeten, men som av gruppens betraktelser att döma har haft att hantera ett tvetydigt och svårt uppdrag (Högskoleverket 2012b, bilaga 7).

”I DEN ABSOLUTA FRAMKANTEN VAD GÄLLER KVALITETSSÄKRING AV HÖGRE UTBILDNING”
Som framgår av programteorin i början av denna text är ett av regeringens mål att Sverige, med det nya utvärderingssystemet vid en internationell jämförelse ska ligga i den absoluta framkanten vad gäller kvalitetssäkring av högre utbildning. Denna tanke delas nu inte av den europeiska kvalitetssäkringsorganisationen ENQA (2012) som i en aktuell utvärdering av det svenska systemet fastslagit att det har allvarliga brister och inte längre överensstämmer med den gemensamma standarden ESG (Standards and Guidelines for Quality Assurance in the European Higher Education Area). Det svenska systemet har enligt ENQA för mycket av kontroll och för lite av kvalitetssäkring och utveckling. Vidare är det oklart om och hur de olika bedömningsunderlagen ska vägas samman, och dessutom riktas tvivel mot Högskole-verkets självständighet och förutsättningar att fritt fatta beslut. ENQA har ännu inte fattat något beslut i frågan, men risken finns att Högskoleverket riskerar att uteslutas ur ENQA.  Om så sker kan det, som Sveriges universitets- och högskoleförbund nyligen påpekat i ett pressmeddelande, i sin tur innebära att förtroendet för svensk högre utbildning riskerar att devalveras i ett internationellt sammanhang (SUHF 2012). Även det således i motsättning till programteorins förväntade effekter.

Lena Lindgren
Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Göteborgs universitet


Referenser
Dahler-Larsen, P (2000) Den rituelle reflektion – om evaluering i organisationer.
Odense: Odense universitetsforlag.
ENQA (2012) Swedish National Agency for Higher Education: review of ENQA Membership.
Brussels: European Association for Higher Education.
Funnel, S.C. & Rogers, P.J. (2011) Purposeful program theory. San Fransisco: Jossey-Bass.
Högskoleverket (2009) Kvalitetsutvärdering för lärande. Högskoleverkets förslag till nya kvalitetsutvärderingar för högskoleutbildning.
Högskoleverket (2012a) Högskoleverkets system för kvalitetsutvärdering 2011-2014. Examina på grundnivå och avancerad nivå (fastställd 21/12 2010, reviderad 19/6 2012).
Högskoleverket (2012b) Kvalitetsutvärdering av statsvetenskap, freds- och konfliktstudier, utvecklingsstudier och närliggande huvudområden.
Johansson, V. (2006) Tillsyn och effektivitet. Umeå: Boréa bokförlag.
Lindberg Sand, Å (2011) Koloss på lerfötter? Utveckling av metodik för ett resultatbaserat kvalitetssystem i svensk högre utbildning. CED, Centre for Educational Development, Lunds universitet.
Lindgren, L (2006) Utvärderingsmonstet. Kvalitets- och resultatmätning i den offentliga sektorn. Lund: Studentlitteratur.
Lindström, E. (2012) Statlig styrning och ansvarsutkrävande. Stockholm: Riksbankens Jubileumsfonds områdesgrupp för mål- och resultatstyrning.
Pollit, C. (2003) Performance audit in Western Europé: Trends and choices.
Critical Perspectives on Accounting, vol 14/1-2 (157-170).
Proposition 2009/10:139 Fokus på kunskap – kvalitet i den högre utbildningen.
Regeringsbeslut (2010) Riktlinjer för uppdrag om kvalitetsutvärdering av utbildning på grundnivå och avancerad nivå. Utbildningsdepartementet (2010-07-08)
Riksrevisionen (2012) Att styra självständiga lärosäten.
SUHF (2012) Sveriges utvärderingssystem för högre utbildning underkänns, ENQA-rapport. Pressmeddelande (www.suhf.se/web/Pressmeddelande.aspx).
SULF-tidningen (2012) nr 10.



[1] ”Vill du bli statsvetare ska du förstås läsa bästa statsvetenskapliga utbildningen, vid Göteborgs universitet…” tweet av Henric Oscarsson, 20 juni 2012. ”Utbildningarna i statsvetenskap och i europakunskap i Göteborg bäst i landet…” tweet av Ulf Bjereld, 20 juni 2012.
[2] Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Göteborgs universitet. Hon har omfattande erfarenhet av undervisning och forskning om utvärdering. Hon har också genomfört ett stort antal utvärderingar på beställning av olika myndigheter, har varit ordförande i Svenska utvärderingsföreningen och är ledamot i Högskoleverkets vetenskapliga råd för utvärderingsfrågor.
[3] En grundlig beskrivning av utvärderingssystemets rötter och framväxt som inkluderar de svårigheter och konflikter som funnits återfinns i Lindberg Sand (2011). Där finns för övrigt också en utförlig analys och kritisk diskussion av validiteten i den sorts bedömningsunderlag som Högskoleverkets utvärderingssystem tillämpar.







4 juli 2012

Förbundsredaktören har ordet


(Ur Statsvetenskaplig tidskrift, 2/2012)
____________________________

 Om samhällsvetenskap och "impact"
____________________________

 Än behöver inte den svenska statsvetaren som söker medel redogöra för vilken effekt hens forskning haft eller kan få på policy och ekonomisk tillväxt. Inte heller fördelas medel till forskare, universitet och högskolor utifrån sådana kriterier (bortsett från i de ”prioriterade forskningsområden” där policyrelevans och tillväxt ibland lyfts fram).
    Inte ännu i Sverige. Men i Storbritannien!
    Delar av denna krönika bygger på ett teman diskuterade på en och samma blogg, publicerad av London School of Economics and Political Science (LSE), och kallad ”Impact of social sciences. Maximizing the impact of academic research”[1] (en blogg som ibland twittrats om av svenska statsvetare).
                     
Medel efter kvalitet och effekt
Den brittiska strävan efter att maximera forskningens effekter är inte ny. I Storbritannien har det redan sedan slutet av 1980-talet hetat att akademien ska leverera forskning i ett relativt högt tempo till nytta för offentlig och privat sektor, och mer eller mindre direkt har brittiska regeringar villkorat medelstilldelning med beställningar av den forskning som ska bedrivas.
    Men under senare år har detta inskärpts, i det att en betydande del av statliga medel på universitets- och institutionsnivå nu också fördelas utifrån forskningens kvantitet, kvalitet – och effekter.
    I centrum för denna process står Research Assessment Exercise (RAE)[2] – den översyn och utvärdering som äger rum vart sjätte år och i vilken kvaliteten på den samlade akademiska produktionen från samtliga brittiska universitet granskas (för att alltså i sin tur ligga till grund för hur resurserna fördelas). År 2008, då den senaste utvärderingen ägde rum, levererade 52 409 brittiska akademiker sammanlagt cirka 200 000 böcker, monografier, artiklar som alla betygsattes på en femgradig skala av 67 olika granskningspaneler, med upp till 20 specialister i varje panel.[3] (Högskoleverkets utvärdering av högre utbildning i Sverige blir i jämförelse lite futtig.)
                     
Maktförskjutning och ekonomi
Det finns åtminstone några möjliga problematiska konsekvenser av produktivitetskraven (och som vi i tidigare förbundssidor resonerat lite kring, men då i svensk kontext)[4]. En är att makt kan ha förskjutits från forskare till chefer och managers, som av ekonomiska skäl pressar anställda forskare att leverera. En annan att forskare kanske uppmanas att leverera just sådana forskningsalster som inte tar lång tid att producera, som är konformistiska nog att passa in i tidskrifters ofta fasta ramar, och som kan tänkas, bland annat i termer av ”effekter”, ge utslag i de finansiellt betydelsefulla utvärderingarna.
    Så här säger en ung engelsk historiker om de senaste årens bibliometriska revolution:

“The bureaucratization of scholarship in the humanities is simply spirit-crushing. I may prepare an article on extremism, my research area, for publication in a learned journal, and my RAE line manager focuses immediately on the influence of the journal, the number of citations of my text, the amount of pages written, or the journal’s publisher. Interference by these academic managers is pervasive and creeping. Whether my article is any good, or advances scholarship in the field, are quickly becoming secondary issues. All this may add to academic ‘productivity’ but is it worth selling our collective soul for?” [5]

James Ladyman, professor i filosofi på universitetet i Bristol, menar att universiteten – och särkilt den nya kategorin ”impact managers” på universitet och institutioner – skapat “en incitamentsstruktur och en miljö där de som bedriver forskning på mindre uppmärksammade fält känner det som om deras arbete inte värderas alls”.[6]

Fokus på effekter får effekter
Om effekterna vägs in i bedömningen, betyder det att forskare nu kommer att flockas kring de fält där samhällsnyttan förväntas vara störst, att de även de “bästa” lyfts in på det ”löpande bandet” och därmed inte får vika sitt liv åt att söka svaren på de stora samhällsfrågorna, eller att de projekt som inte på förhand kan garantera effekter eller betydelsefulla resultat, därför inte blir av?[7]
    Och om så vore, skulle det vara något att beklaga?
    Konstruktörerna bakom och förespråkarna för en mer effektfokuserad värdering av samhällsvetenskaplig forskning, menar att syftet inte är att ändra forskarnas intressen eller beteenden, utan att få en bättre och samlad bild av det fulla värdet av allt det som forskarna redan gör, en bild som sedan kan användas i dialogen med de politiker som tar beslut om omfattningen och fördelningen forskningsmedel.

"We need a broader set of justifications for what we do, some of which has to be based on the contribution research makes to society”.[8]
  
Blogg med ärende
Produktivitet och kvalitet är en sak (om än inte alldeles enkelt att mäta). Effekter på politik och tillväxt en annan (och minst lika svåra att mäta).
    Här är LSE-bloggens motto: “to demonstrate how academic research in the social sciences achieves public policy impacts, contributes to economic prosperity and informs public understanding of policy issues and economic and social changes”[9].
    Det sista ledet, om medborgares förståelse, låter som en fin devis även för svenska statsvetare, medan de förra är något mer kontroversiella, särskilt om de skulle formuleras som tydliga krav eller förväntningar på den forskning vi producerar och ligga till grund för nästa projektanslag.
    Men låt säga att det är effekter på samhälle och näringsliv som är forskningens huvudsyfte, hur når man dem bäst? Ja, inte ens LSE lyckas i sina råd att skriva ut enkla recept för hur man fångar och delar den externa nyttan av sin forskning.             
    LSE-bloggen är fönstret utåt för ett projekt med det huvudsakliga målet att utveckla metoder för att mäta och värdera den samhällsvetenskapliga forskningens effekter på det omgivande samhället. Man har tagit fram en handbok – på knappt 300(!) sidor – i konsten att få (framförallt) externt genomslag för samhällsvetenskaplig forskning[10].
                     
Från bästa titeln till samhällsrelevans
Ämnena på bloggen – ofta relaterade till den ovan nämnda handboken – skiftar, men kretsar överlag, liksom handboken, mer kring frågor om interdisciplinärt och medialt genomslag av forskning än kring möjliga konkreta effekter på samhällspolicy och tillväxt. En illustration, kanske, på att de ”samhällsrelevanta samhällsforskarna” fortfarande är få, och att de som vill nå dit måste kunna kombinera en specialiserad, disciplinär karriär med rollen som säljare, uppvaktare, påtryckare.
    En bloggpost handlar om hur man finner den bästa titeln på sin artikel för att öka chanserna till citering. En annan om att e-publicering ökar spridningen av forskningsresultat. En bloggare diskuterar om effekt på samhälle också kan vara att hindra något från att hända. Här är ytterligare några exempel på teman, från bloggens förstasida, i början av juni 2012 (och just säljande titlar verkar vara en brittisk specialitet):

·         “The road to academic success is paved with stylish academic writing”
·         “The data confirms: If you want to stay in science and see your children grow up don’t have children before you have tenure”
·         “Podcasts are a natural fit for communication of academic ideas”
·         “We should aim for open refereeing of academic articles in the information age”
·         “Public engagement requires little more than embracing that of which most academics are afraid – looking like an idiot”
·         “The verdict: is blogging or tweeting about research papers worth it?”
·         “More ‘hybrid’ academic and policy researchers are needed to increase effective communication between the political and academic spheres”
·         “How relevant is UK political science?” (en diskussion med följande ingress, och som ringer lite av svensk statsvetenskaps bristande samhällsrelevans: “the professionalisation of the study of politics have detached the subject from the practice of politics and public life, creating a profession that is more interested in talking to each other than to the outside world”.[11]

Resultaten eller expertisen?
Låt för oss enkelhetens skull säga att det politikerna som finansierar forskningen. Vad vill de ha i utbyte? Goda råd, kanske? Men är goda råd sådana som faller ut av en fallstudie, artikel, ett bokkapitel eller seminarium?
    Nej, menar Jane Tinkler, manager på LSE Public Policy Group.[12] Politiker går inte till tidskrifterna, läser inte monografierna eller antologierna i jakt på idéer och lösningar på konkreta samhällsproblem. De tror inte att lösningarna finns där – och de skulle ändå inte ha tid att leta efter dem. De lyssnar bara till de forskare som bjudits in till utredningar, kommittéer, expertpaneler och hearings. Men på dessa stolar hamnar inte alltid den mest internationellt citerade, eller en snabbt stigande stjärna på forskarhimlen. Och frågorna till forskaren kanske inte alls har med forskningsfronten att göra.

“When those in power seek academics out, they usually want the result of experience and expertise built up over an academic’s career (…) these ‘academic service’ roles can sometimes not be directly related to the academics core research: instead it may be that the academic’s expertise provides a fresh perspective or match well with others on the panel”.[13]

Mäter man det man vill mäta?
Kan brittiska forskares besök i egenskap av experter i paneler och policyprocesser räknas till effekter på policy (och därmed ge viktiga poäng i jakten på finansiering)? Jo – men bara under särskilda villkor! Så här står det i en passus i de 100-sidiga riktlinjerna för de granskningspaneler som under 2014 på nytt ska utvärdera den samlade akademiska aktiviteten i Storbritannien (riktlinjerna ska läsas av alla er som vill ha ett både underhållande och skrämmande exempel på ”managementbyråkrati”[14] driven till sin spets – och kanske kan läsningen stimulera någon att redan nu försöka förebygga att ett liknande system implementeras i Sverige).

“Acting as an adviser to a public body, for example, does not of itself represent impact. However, providing advice based on research findings from the submitted unit, which has influenced a policy, strategy or public debate would constitute impact if there is evidence that the advice has had some effect or influence.” [15]

Det här betyder alltså att forskare måste ha turen eller skickligheten att anpassa sina nu pågående projekt eller ansökningar till plötsliga, förväntade eller framtida möjliga policybehov. Och turen, som det nog måste handla om här, att politiker faktiskt frågar efter ens reflektioner och att de idéer man presenterar får tillräckligt genomslag i policyprocessen för att mätinstrumenten ska reagera. Granskarna kräver ju ”evidence that the advice has had some effect or influence”. (Forskaren Alexander Lukas råkar säga de avgörande orden när han möter en ”policy maker” i Konsumkön, medan Kalle Anka når ett genombrott i sin forskning strax före det att en ny politisk majoritet förklarar sitt ointresse för det studerade policyområdet.)

Ett gott råd sällan enkelt
Att kritiskt granska makten, vilka skepnader den än antar, kan säkert ge effekter på både policy och tillväxt, men det tycks inte vara sådana effekter som politikerna vill finansiera.[16] Och frågan är om politiker verkligen söker akademikernas ”goda råd”. Politiker vet ju att många av oss har svårt att formulera en rak, tydlig lösning på komplexa problem. Och om vi någon skulle, förbehåller vi oss rätten att när som helst ompröva detta recept.

“We academics (…) have the reputation of ‘sitting on the fence’ and not making conclusive judgements which is seen at best as unhelpful and at worst as obstructive. But it is this exactly this rigour, comprehensiveness and quality that are the values of academic work.  (…) Working with and creating research findings is a dynamic and iterative process that sometimes involves rethinking what we thought we knew. This is not a comfortable position for policymakers to be in. [17]

MAGNUS ERLANDSSON,
INSTITUTIONEN FÖR GLOBALA POLITISKA STUDIER,
MALMÖ HÖGSKOLA
  


[1] http://blogs.lse.ac.uk/impactofsocialsciences/
[2] Inför 2014 kallas processen istället Research Excellence Framework (RAF)
[3] Head, Simon (2010), The Grim Threat to British Universities, i New York Review of Books, January 2011. (http://www.nybooks.com/articles/archives/2011/jan/13/grim-threat-british-universities).
[4] Se ”Förbundsredaktören har ordet” i Statsvetenskaplig tidskrift nr 1/2011 samt nr 3/2011.
[5] Head, Simon (2010), The Grim Threat to British Universities, i New York Review of Books, January 2011. (http://www.nybooks.com/articles/archives/2011/jan/13/grim-threat-british-universities).
[6] Jump, Paul (2012), Overreacting' managers take impact too far, debate hears, i The Times Higher Education 26 april 2012, min översättning (http://www.timeshighereducation.co.uk/story.asp?storycode=419727)
[7] Jump, Paul (2012), Overreacting' managers take impact too far, debate hears, i The Times Higher Education 26 april 2012 (http://www.timeshighereducation.co.uk/story.asp?storycode=419727).
[8] Ibid. (Uttalande av David Sweeney, chef för avdelningen för forskning, innovation och kompetens vid Higher Education Funding Council for England.)
[9] http://blogs.lse.ac.uk/impactofsocialsciences/about-the-project/, per den 1 juni 2012.
[10]LSE Public Policy Group (2010), Handbook on Maximizing the Impacts of Your Research.
(http://www2.lse.ac.uk/government/research/resgroups/LSEPublicPolicy/Docs/LSE_Impact_Handbook_April_2011.pdf).
[11] http://blogs.lse.ac.uk/impactofsocialsciences, per den 1 juni 2012.
[12] Tinkler, Jane (2012), The REF doesn’t capture what government wants from academics or how academic impact on policymaking takes place, publicerad på bloggen Impact of Social Sciences den 27 mars 2012 (http://blogs.lse.ac.uk/impactofsocialsciences/2012/03/27/ref-doesnt-capture-impact-policymaking/#more-6226)
[13] Tinkler, Jane (2012), The REF doesn’t capture what government wants from academics or how academic impact on policymaking takes place, publicerad på bloggen Impact of Social Sciences den 27 mars 2012, min kursivering (http://blogs.lse.ac.uk/impactofsocialsciences/2012/03/27/ref-doesnt-capture-impact-policymaking/#more-6226)
[14] Hall, Patrik (2012), Managementbyråkrati: organisationspolitisk makt i svensk offentlig förvaltning, Stockholm: Liber.
[15] REF 2014 (2012), Panel Criteria and working methods, Research Exellence Framwork, sid 71 (http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf)
[16] Se ”Förbundsredaktören har ordet” i Statsvetenskaplig tidskrift nr 1/2011.
[17] REF 2014 (2012), Panel Criteria and working methods, Research Exellence Framwork, sid 71. (http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf)

Vad finns här?

Vad finns här?
Anoto Pen and Paper