25 september 2012


Förbundsredaktören har ordet (september 2012)

Två snabba effekter av Högskoleverkets kvalitetsgranskning var glada twitter-utrop från de rikligen belönade[1] och att de studenter som sökte statsvetenskap inför hösten upplystes – på ett mycket tydligt sätt – om betyget på utbildningen före det avgörande klicket på Högskoleverkets sökportal. Hur många som på grund av orden i svart: ”Studenterna och därmed utbildningen uppnår inte ett eller flera av de utvärderade målen i examensbeskrivningen” valde att inte ge utbildningar med ”bristande kvalitet” en chans är kanske svårt att uppskatta – men rimligen påverkade det årets ansökningar. Särskilt viktigt tycks det då vara att utvärderingen var rättvisande och att effekterna på både kort och lång sikt är eftersträvansvärda.
   Men hur är det egentligen med kvalitetsutvärderingens rättvisa och effekter? Frågan går på dessa förbundssidor till Lena Lindgren[2].

Magnus Erlandsson är förbundsredaktör.
E-post: magnus.erlandsson@mah.se

En utvärderare om Högskoleverkets system för kvalitetsutvärdering 2011-2014

Av redaktören för Statsvetenskapliga förbundets tidskrift fick jag strax innan sommaren det roliga uppdraget att utifrån min utvärderarhorisont reflektera över Högskoleverkets system för kvalitetsutvärdering 2011-2014, inklusive den nyss överlämnade utvärderingen av stats-vetenskapliga utbildningar. Vad är då lämpligare att utgå ifrån än programteorimetoden som de flesta utvärderare anser vara ”standard evaluation procedure”?

PROGRAMTEORIANALYS
Programteorimetoden bygger i grova drag på tanken att alla åtgärder (program, policys, metoder etc.) – även ett utvärderingssystem – vilar på en viss logik (programteori) om hur åtgärden åstadkommer förväntat resultat; gör man A så händer B och det för i sin tur med sig B och C. Namnet till trots är programteori (i normalfallet) inte en teori i vetenskaplig mening som på basis av tillförlitlig kunskap förklarar hur en åtgärd fungerar. Programteori handlar också om förklaring, men förklaringen har sin grund i hur de som skapat eller beslutat om en viss åtgärd tänker sig att den fungerar. Dessa tankar är oftast under-förstådda men kan rekonstrueras med hjälp av policydokument och intervjuer. Den som gör rekonstruktionen har därmed att tolka hur åtgärden ifråga är tänkt att fungera. En rekonstruerad programteori kan sedan användas på olika sätt, vanligen som stöd i samband med planering av en utvärdering. Genom att programteorin tydliggör antagna förlopp och orsakssamband som ofta bara är implicita utgör den också ett utmärkt underlag för ett strukturerat resonemang kring en åtgärds tänkta sätt att fungera.

Programteorianalys kallas den sistnämnda tillämpningen och det är en sådan som avses i denna text. Inspiration till frågorna nedan som mitt resonemang är uppbyggt kring har jag hämtat från utvärderingsforskarna Dahler-Larsen (2000) och Funnel & Rogers (2012).

·         Om utvärderingssystemet är lösningen, vad är problemet?
·         Är den kunskap som utvärderingssystemet genererar relevant som grund för att lösa problemet, dvs. i) ansvarsutkrävande, och ii) vässa utbildningars kvalitet?
·         Vilka är effekterna av systemet, utöver de förväntade?

EN PROGRAMTEORI FÖR HÖGSKOLEVERKETS SYSTEM FÖR KVALITETSUTVÄRDERING
En programteori måste som sagt rekonstrueras. De policydokument som legat till grund för min rekonstruktion av en programteori för Högskoleverkets system för kvalitetsutvärdering 2011-2014 är framförallt regeringens proposition i ärendet samt myndighetens beskrivning av systemet (Prop. 2009:139; Högskoleverket 2012a). Jag har också i efterhand stämt av med personal på Högskoleverket att programteorin reflekterar hur systemet är tänkt att fungera.

Om följande förutsättningar finns…    

·         Varje lärosäte bestämmer själv hur utbildningen ska utformas och genomföras för att nå målen i examensbeskrivningarna.

… och om följande aktiviteter genomförs

·         Utbildningar som kan leda till examen inom huvudområden utvärderas utifrån hur väl studenternas faktiska studieresultat motsvarar de förväntade examensmålen.
·         Bedömarna är externt, oberoende sakkunniga lärare och yrkesverksamma inom huvudområdet samt studenter. De föreslår vilka mål som ska utvärderas samt operationella kriterier för bedömning av dessa. Högskoleverket beslutar i frågan.
·         Bedömningen grundas på ett slumpvis urval av studenternas examensarbeten, lärosätets självvärdering, intervjuer med studenter och resultat från en alumnenkät. I de fall bedömarna anser att det behövs görs också platsbesök.
·         Bedömarna avger ett samlat yttrande om hur väl studenterna nått målen för examen på en tregradig skala (mycket hög kvalitet, hög kvalitet och bristande kvalitet).
·         Högskoleverket håller samman utvärderingarna, ansvarar för att bedömningarna görs på ett transparent och likvärdigt sätt samt fattar beslut om vilket samlat omdöme varje utbildning ska få.

… så får det följande effekter på kort sikt…                                    

·         Utbildningar som bedöms ha bristande kvalitet får sitt examenstillstånd ifrågasatt. Efter ett år följer Högskoleverket upp ifrågasättandet och kan då återkalla examenstillståndet.
·         Utbildningar som bedöms ha bristande kvalitet förbättras genom vidtagna åtgärder från lärosätets alternativt läggs ner.
·         Utbildningar som bedöms ha mycket hög kvalitet premieras genom ekonomisk tilldelning. Tilldelningen utgör incitament för andra lärosätens kvalitetsutveckling.
·         Lärosäten får ett underlag som på ett likvärdigt och transparent sätt tydliggör kvaliteten i sitt utbildningsutbud i f.h.t. olika intressenter, främst staten.

… och följande effekter på lite längre sikt

·         Lärosäten i Sverige och andra länder får förtroende för varandras kvalitet, vilket är en förutsättning för ökat samarbete och rörlighet bland studenter och personal. Blivande studenter kan välja mellan olika utbildningar som alla håller hög kvalitet. Arbetsgivare vet att personer de anställer har de kunskaper och färdigheter som en utbildning enligt lagen ska leda till.
·         Sverige ligger vid en internationell jämförelse i den absoluta framkanten vad gäller kvalitetssäkring av högre utbildning.
·         Lärosätenas autonomi ökar, detaljregleringen minskar.
·         Den högre utbildningen vässas kvalitetsmässigt, vilket är en förutsättning för tillväxt, sysselsättning och framtida välstånd.

OM UTVÄRDERINGSSYSTEMET ÄR LÖSNINGEN, VAD ÄR PROBLEMET?
Utgångspunkten för varje programteori, och den åtgärd som programteorin beskriver, är ett problem som behöver lösas eller en situation som behöver förbättras. En programteori tydliggör hur en åtgärd förmodas lösa det eller de underliggande problem som är motivet till åtgärdens existens. I programteorin för Högskoleverkets system för kvalitetsutvärdering finns ingen distinkt och entydig utsaga om problem som ska lösas. Målen i form av förväntade effekter är av flera slag, riktar sig till flera olika målobjekt eller aktörer och beskrivs utan någon tydlig ordning i de policydokument som systemet vilar på. Om det finns någon på förhand tänkt effektkedja är därför svårt att säga. Den effektkedja som den ovan skissade programteorin ger uttryck för utgör min egen tolkning av hur målen förhåller sig till varandra. Om vi i linje med denna tolkning antar att förväntade effekter på lite längre sikt speglar underliggande problem finns det två, interrelaterade problem som Högskoleverkets utvärderingssystem förväntas lösa.

AUTONOMI OCH DETALJSTYRNING
Det ena handlar om att lärosätenas autonomi begränsas av detaljstyrning, vilket anses hämmande för utvecklingen av utbildningskvalitet och i förlängningen för landets förutsättningar för tillväxt, sysselsättning och framtida välstånd. Ökad lokal frihet och ansvar att utforma sin egen verksamhet kräver emellertid ett ändamålsenligt nationellt system för kvalitetsutvärdering, som inte lägger sig i hur resultaten uppnås, för att ansvarsutkrävande ska fungera. Att målet med ökad autonomi kräver ett ändamålsenligt system för kvalitetsutvärdering finns ingen anledning att ifrågasätta. Det är högst rimligt att en verksamhet som till så stor del finansieras med skattemedel regelbundet utvärderas med avseende på vilket resultat som uppnås. Som Riksrevisionen (2012) påpekat i en aktuell granskning av hur universitet och högskolor styrs behövs det också ett välfungerande utvärderingssystem som motkraft till den risk för generösa bedömningar av studenternas resultat som resurstilldelningssystemet innebär. Om Högskoleverkets nya utvärderings-system är ändamålsenligt i förhållande till detta problem är däremot en annan fråga som jag ska återkomma till.

MÖTA OLIKA SLAGS KUNSKAPSBEHOV
Det andra problemet som kan utläsas ur programteorin är ett kunskapsbehov som, om det tillgodoses, tänkes ha flera positiva effekter. På central nivå finns som sagt ett behov av kvalitetsinformation som kan ligga till grund för ansvarsutkrävande. Lärosätena behöver i sin tur kunna förse ledare på olika nivåer med underlag för att kunna styra och utveckla utbildningarna i rätt riktning. I regeringens proposition talas det om behovet av ”ett kvalitets-drivande system för utbildningsresultat av hög kvalitet” (Prop. 2009/10:139, s 7). Lärosätena behöver också ett bättre kunskapsunderlag för att kunna beskriva och marknadsföra sitt utbildningsutbud. Studenter behöver bättre kvalitetsinformation för att känna sig säkra på att utbildningar håller vad de lovar. Personal från olika lärosäten samarbetar inte i tillräcklig utsträckning och studenter är inte nog rörliga därför att kunskapen om andra lärosätens kvalitet är bristande eller saknas. Även arbetsgivare behöver tillförlitlig kvalitetsinformation så att de kan lita på att personer med en viss examen från ett visst lärosäte har de rätta kunskaperna och färdigheterna.

Om de förväntade kunskapsbehoven motsvaras av en reell efterfrågan hos ovan nämnda målobjekt finns inga direkta belägg för och diskuteras inte heller närmare i de policy-dokument som utvärderingssystemet vilar på. Troligtvis finns det ett sådant behov. Det är väl känt att de flesta universitet och högskolor var kritiska mot den tonvikt på förutsättningar och processer som präglade tidigare utvärderingssystem, och därför efterfrågade ett system som lägger tyngdpunkten på utbildningarnas resultat. Och vem skulle för övrigt svara ja på att bättre kvalitetsinformation om utbildningars resultat är en dålig idé? Dagens förvaltningspolitik är som bekant starkt resultatorienterad. Kraven på offentliga verksamheter att visa att de har god kvalitet och så produktivt som möjligt omvandlar insatta resurser till prestationer och – inte minst – att utförda prestationer har avsedda effekter för dem som de riktas till är i de flesta fall stora. Till avvikelserna hör t.ex. försvaret och den kungliga hovstaten som jämfört med politikområden som skola, vård och omsorg, i många länder inklusive Sverige, har mycket begränsade krav på sig att följa upp och utvärdera resultat (se t.ex. Pollitt 2003). Universitet och högskolor placerar sig kravmässigt enligt min mening i en mellankategori.

KONTROLL OCH UTVECKLING
Att behov av bättre kunskapsunderlag för kvalitetsutveckling i policydokumenten anges som motiv för utvärderingssystemets existens är nu lite märkligt med tanke på att systemet enligt samma dokument samtidigt sägs vara inriktat enbart på kontroll. Detta till skillnad från föregående utvärderingsmodeller som var både kontroll- och utvecklingsinriktade. En tolkning av programteorins logik ger emellertid vid handen att det finns vissa mekanismer för kvalitetsutveckling inbyggda i det nya systemet. En sådan mekanism skulle kunna vara att om utbildningsprogram med bristande kvalitet läggs ner, så främjar det kvaliteten i stort hos svensk högre utbildning. En annan, mer tydligt uttryckt mekanism, är att utbildningar som får omdömet mycket hög kvalitet premieras ekonomiskt, vilket antas utgöra incitament för andra utbildningars och lärosätens kvalitetsutveckling. Hur mera exakt som det ska ske, t.ex. om och i så fall hur bedömargruppernas yttranden kan användas på ett konstruktivt sätt på lärosätes- och programnivå för att ”vässa utbildningen kvalitetsmässigt” framgår inte vare sig i regeringens proposition (2009/10:139), regeringens uppdrag till Högskoleverket (Regeringsbeslut 2010-07-08) eller myndighetens anvisningar till lärosätena (Högskoleverket 2012a).

ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA GENERERAR RELEVANT SOM GRUND FÖR ATT VÄSSA UTBILDNINGARS KVALITET?
I Högskoleverkets kvalitetsutvärderingssystem granskas i vilken utsträckning studenternas s.k. faktiska studieresultat motsvarar förväntade resultat, så som de senare kommer till uttryck i ett urval av de mål som anges i examensordningen. Granskningen av statsveten-skapliga utbildningsprogram (och närliggande utbildningar som t.ex. offentlig förvaltning) har genomförts av en bedömargrupp bestående av externa, oberoende sakkunniga. Bedömargruppen har bestämt valet av examensmål som ska granskas och operationaliserat kriterier för att bedöma måluppfyllelse.

Det primära underlaget för bedömning har utgjorts av ett slumpvis urval av avidentifierade examensarbeten (mest 24 minst 5) som examinerats under läsåret 2010, men i vissa fall finns även arbeten från 2009 i urvalet. Beroende på storleken i urvalsramen av uppsatser har det, som diagrammet nedan vill illustrera, varit stora skillnader i urval mellan lärosäten och utbildningsprogram på olika nivåer. Om vi håller oss till masterprogrammen kan vi t.ex. se att kvalitetsbedömningen vid Stockholms universitet har baserats på 16 uppsatser (vilket är knappt hälften av urvalsramen), medan bedömningen vid Göteborgs universitet har baserats på fem uppsatser (som är hela urvalsramen).

Även andra typer av bedömningsunderlag än examensarbeten har också[LL2]  funnits att tillgå men har inte tillmätts någon större betydelse. Alumnenkäter och studentintervjuer har enligt den statsvetenskapliga bedömargruppens egen utsaga i praktiken varit utan värde för för dess omdömen om utbildningarna, medan självvärderingar och platsbesök sägs ha bidragit till gruppens förståelse av hur utbildningarna fungerar. ”Till syvende och sist är det ändå läsningen och bedömningen av enskilda uppsatser som är vårt bästa material” (Högskoleverket 2012b, bilaga 7, s 3).

Uppsatserna har lästs av en särskild grupp uppsatsläsare (35 personer), men även bedömargruppens medlemmar har läst uppsatser. Med undantag för ett mindre antal (cirka 5 procent) som av olika skäl lästs och bedömts av två läsare, har alla uppsatser lästs och bedömts av en enda läsare. För vart och ett av examensmålen har läsaren avgjort i vilken grad en uppsats visar att målet ifråga har nåtts. Resultatet från läsningen har sedan delgetts bedömargruppen som sammanställt det i en matris som möjliggör en helhetsbedömning och därefter avgett ett yttrande om utbildningarnas kvalitet på en tregradig skala. Yttrandet består dels i ett samlat omdöme där uppfyllelsen för de sex mål man valt att granska vägts samman i ett omdöme (mycket hög kvalitet, hög kvalitet, bristande kvalitet), dels i en kort kommentar på några meningar som förklarar hur man bedömt respektive mål.

EXEMPEL PÅ YTTRANDE
Låt mig för att illustrera hur ett yttrande kan se ut ta bedömargruppens utvärdering av Förvaltningshögskolans masterprogram i offentlig förvaltning som exempel: Sammantaget visade underlaget (11 uppsatser av en urvalsram på 21) enligt bedömarna på mycket hög måluppfyllelse för två mål, och hög måluppfyllelse för övriga fyra av de sex utvalda målen. Den samlade bedömningen blev att programmet håller hög kvalitet.

Hur denna samlade bedömning tagits fram framgår inte av utlåtandet. Det är dock uppenbart att det krävts en hel del såväl kvantitativa som kvalitativa överväganden från bedömargruppens sida för att ta ställning till hur den sammanvägda bedömningen ska gå till samt, dessförinnan, hur måluppfyllelse för vart och ett av de sex målen ska fastställas.

För att söka förstå dessa överväganden kan vi måhända lära av masterprogrammet i statsvetenskap vid Göteborgs universitet som, liksom kandidatprogrammet vid samma lärosäte, fick omdömet mycket hög kvalitet. Inte vid något annat lärosäte i Sverige fick de statsvetenskapliga kandidat- eller masterutbildningarna ett så högt omdöme. Av bedömargruppens yttrande framgår att omdömet baseras på betyget mycket hög måluppfyllelse för fyra mål och hög måluppfyllelse för övriga två. Det borde betyda att det krävs mycket hög måluppfyllelse för en majoritet av de sex målen för att få det högsta betyget. Att försöka lista ut hur bedömargruppen dessförinnan kom fram till hur många av de fem uppsatserna i urvalet som fört vart och ett av de sex målen måste ha fått betyget mycket hög kvalitet för att omdömet ska bli mycket hög kvalitet har jag nu inte orkat ägna någon större kraft åt. Här kan vi tursamt nog ta hjälp av bedömargruppens egna betraktelser över sitt arbete där det framgår att knappt hälften av uppsatserna i ett urval måste ha fått betyget omdömet mycket hög kvalitet för vart och ett av de sex målen för att slutomdömet ska bli mycket hög kvalitet (Högskoleverket 2012b, bilaga 7, s 26ff). Det torde betyda att tre av de fem uppsatser som bedömningen av det statsvetenskapliga masterprogrammet grundades på nådde upp till detta riktmärke.

HUR GÖRA FÖR ATT NÅ OMDÖMET MYCKET HÖG KVALITET?
Sedan en tid tillbaka är jag ansvarig för Förvaltningshögskolans masterprogram i vilket bl.a. ingår ett utvecklingsansvar. Omdömet hög kvalitet i Högskoleverkets utvärdering är förvisso acceptabelt, men givetvis vore mycket hög kvalitet långt bättre och mera ärofyllt. Högskole-verkets system för kvalitetsutvärdering är som sagt primärt inriktat på kontroll, inte utveckling även om systemet innehåller mekanismer som förväntas vara kvalitetsdrivande. Myndigheten ger därför inga rekommendationer om hur en utbildning kan förbättra sitt omdöme, eller hur en utbildning som fått betyget bristande kvalitet ska åtgärda bristerna. Den starka kontrollinriktningen följer av regeringsuppdraget till Högskoleverket där det står att: ”Förklaringar till resultat och åtgärder för att utveckla verksamheten ska framöver sökas av lärosätena själva” (Regeringsbeslut 2010).

Men ponera att jag som programansvarig i enlighet med programteorin triggas av det ekonomiska incitament som utlovas som belöning för utbildningar som får det högsta betyget och vill använda bedömargruppens utlåtande för att motivera lärare och hand-ledare till förbättringar. Hur gör jag då för att få svar på vad som behöver göras annorlunda i den kurs där examensarbetena genomförs, och i masterprogrammets kurser i övrigt?

Ett sätt är förstås att lära av egna och andras utbildningars uppsatser som fått högsta betyget och dra varnande exempel av dem som befunnits ha bristande kvalitet. Det förutsätter att uppsatserna och omdömena är offentliga och att systemet erbjuder möjligheter för detta slags benchmarking. Med hjälp av Högskoleverkets (2012b, bil. 5) rapport går det att koppla varje enskild uppsats till en bedömning men uppsatserna är avidentifierade och anges endast med ett nummer. Förvaltningshögskolans egna uppsatser kan sannolikt identifieras på detta sätt, men för att spåra upp hur enskilda uppsatser från andra institutioner bedömts krävs goda kontakter.

Ett alternativt sätt att söka kunskap om vad som krävs för att en uppsats ska få högsta betyg är att göra sig närmare bekant med bedömargruppens kriterier för operationalisering av måluppfyllelse. Dessa finns formulerade i ett dokument där bedömargruppen kommenterar de sex utvalda målen och kriterier, samt ger instruktioner till uppsatsläsarna vad gäller bedömningsgrunder och betygssättning för varje mål (Högskoleverket 2012b, bil.3 och 4). Dock är det inte alldeles lätt att förstå vilka av de inalles nio bedömningsgrunderna som hör till vilket av de sex utvalda målen eftersom några mål är kopplade till flera bedömningsgrunder. Det tycks mig snarare, vilket också framgår av bedömargruppens betraktelse av sitt arbete, som om bedömargruppen först formulerat sina egna grunder och kriterier för hur en uppsats med hög kvalitet, mycket hög kvalitet respektive bristande kvalitet känns igen, och först därefter kopplat dessa grunder och kriterier till målen i examensordningen (Ibid. bilaga 7, s 10 ff).

SVÅRT ATT DRA SLUTSATSER AV YTTRANDEN
Nåväl, som nämnts fick Förvaltningshögskolans masterprogram betyget mycket hög mål-fyllelse för två mål (mål 1 och 6), och hög måluppfyllelse för övriga fyra (mål 2,3, 4 och 5) av de sex utvalda målen. Beträffande t.ex. mål 1 (kunskap och förståelse inom huvudområdet) som fick omdömet mycket hög måluppfyllelse kan vi läsa att: ”samtliga uppsatser har mycket hög nivå vad avser diskurs- och teorianknytning … mycket god fördjupad insikt om aktuella forskningsfrågor inom huvudområdet … mycket god förmåga att formulera en insiktsfull och motiverad problemställning med anknytning till diskursen, lägstanivån är hög.” Mål 2 (fördjupad metodkunskap inom huvudområdet) nådde bara upp till omdömet hög måluppfyllelse. Det förklaras så här: ”… samtliga uppsatser uppfyller de krav som bör ställas på masternivå vad gäller vetenskaplig metodmedvetenhet. Några av uppsatserna bedöms även hålla mycket hög kvalitet. Lägstanivån är hög.” (Högskoleverket 2012b).

Mitt förbättringsintresse gäller naturligt nog de fyra mål där måluppfyllelsen för Förvaltningshögskolans masterprogram inte bedömdes nå upp till betyget mycket hög kvalitet, vilket t.ex. var fallet med mål 2 – fördjupad metodkunskap. Det högsta betyget får här enligt bedömargruppens operationalisering av kriterier för måluppfyllelse uppsatser där den egna metoden är väl utvecklad i något eller några avseenden, och dessutom premieras kreativitet vad gäller materialinsamling (Högskoleverket 2012b, bilaga 4). För att riktigt förstå vad detta innebär måste man därmed nogsamt fundera över hur uppsatsläsaren som ju är den person som i praktiken satt betyg formulerat sin egen förståelse av kriteriernas termer? Jag besitter inte samma expertis, och möjligen är min förståelse av termerna därför en annan. Så hur har uppsatsläsaren gjort för att ta ställning till huruvida en uppsats har en ”väl utvecklad metod” eller tillämpar ”kreativitet i materialinsamling”? Kan en i mitt (och kanske även uppsatsläsarens) tycke långtråkig ”thick description” som sida efter sida tolkar innebörden i t.ex. chefers upplevelser och erfarenheter av självbild, tilltro till det egna ledarskapet och lust och motivation att genom utbildning bli en bättre ledare passera som väl utvecklad metod? Eller krävs det något i mitt (och kanske även uppsatsläsarens) tycke mera utmanande och hårdfört som ett dubbelblint kontrollerat experiment där chefer som vill bli bättre ledare randomiserats till olika typer av chefsutbildning?

Att dra lärdom av bedömargruppens yttrande kräver som synes ett omfattande detektiv- och tolkningsarbete. Det är likväl ett arbete som jag är övertygad om redan har startat på många håll, både av utbildningar som likt Förvaltningshögskolan fått ett mellanbetyg och av de vars utbildning fått betyget bristfällig kvalitet. Vart det arbetet kan leda och vilka konsekvenser det kan få ska jag återkomma till i slutet av denna text.


ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA GENERERAR RELEVANT SOM GRUND FÖR ANSVARSUTKRÄVANDE?
Högskoleverkets system för kvalitetsutvärdering har en stark inriktning mot kontroll och ansvarsutkrävande. Begreppet ansvarsutkrävande (liksom ansvar och ansvarighet) är mångtydigt och används i delvis olika betydelser inom olika ämnen och sammanhang, men denna promemoria är inte rätt plats att reda ut begreppen. Låt oss bara helt kort slå fast att för att någon ska kunna ställas till ansvar måste det finnas en förväntad bild av vad som ska uppnås som en verksamhet kan jämföras mot, samt information i form av saklig och oberoende granskning som kan ligga till grund för bedömningen av huruvida någon fullgjort sitt uppdrag eller inte. Det måste också finnas mekanismer i form av metoder och processer för att i praktiken utkräva ansvar (Lindström 2011).

I vårt fall är det lärosätena som ställs till ansvar för sina utbildningar. Den förväntade bilden av vad utbildningarna ska uppnå utgörs av det urval av mål i examensordningen som bedömargrupperna valt att fokusera sin granskning på. Det är sedan läsargruppens granskning och bedömargruppens yttrande som ligger till grund för ansvarsutkrävandet. Högskoleverket har såvitt går att se bara konstaterat att man ”instämmer i bedömargruppens ställningstagande” (Högskoleverket 2012b). Mekanismer för ansvarsutkrävande kan se ut på olika sätt i den offentliga förvaltningen och vara mer eller mindre skarpa – allvarliga samtal, minskade resurser, entledigande etc. I vårt fall är det fråga om en skarp metod där de lärosäten vars utbildningar bedöms ha bristande kvalitet, dvs. inte når måluppfyllelse, får sitt examenstillstånd ifrågasatt. De kan också få tillståndet indraget om de inte inom ett år har visat förbättringar. Stora värden står således på spel för varje lärosäte och utbildning.

STORA VÄRDEN PÅ SPEL
Vägen fram till Högskoleverkets nuvarande system för kvalitetsutvärdering har varit kantad av många svårigheter och konflikter, vilket föranlett en ansenlig kritisk debatt som jag väsentligen valt att utelämna i denna PM.[3] Den aspekt av systemet som jag själv ställer mig allra mest kritisk till är den ovan nämnda, dvs. att den typ av granskning som bedömarnas yttrande utgör ligger till grund för ansvarsutkrävande där så stora värden står på spel. Hur kan en bedömning som säger sig spegla ett helt utbildningsprograms kvalitet, men som bygger på underlag från en så bitteliten del av denna utbildning tillåtas få så stora konsekvenser? Ett kandidatprogram har exempelvis fått sitt examenstillstånd ifrågasatt därför att tre uppsatser under ett läsår bedömdes ha bristande kvalitet på mer än hälften av nio bedömningsgrunder. Hur kan å andra sidan en hel utbildning få omdömet mycket hög kvalitet, när omdömet i praktiken bygger på att tre uppsatser bedömts ha hög eller mycket hög måluppfyllelse på mer än hälften av nio bedömningsgrunder?

Att bedömarnas yttrande ges denna centrala roll innebär dessutom i praktiken att bedömarna tillskrivs en politisk funktion att lägga ner utbildningsprogram, även om det formellt är Högskoleverkets generaldirektör som fattar beslutet om ifrågasättande och/eller indragning av examenstillstånd. I förbindelse med det kan man också fråga sig hur de vars examenstillstånd ifrågasätts ska kunna åtgärda den bristande kvaliteten inom ett år. Vad kan ha hänt då, och hur ska Högskoleverkets återkontroll fungera? Vad mera exakt är det man ska kontrollera? I Högskoleverkets anvisningar sägs endast att en analys och åtgärdsredovisning per mål ska göras, samt att myndigheten tar hjälp av en bedömargrupp för att ta ställning till om åtgärderna är tillräckliga. Utöver det finns i linje med policyn om lärosätenas autonomi inga preciseringar av vad som ska anses vara tillräckliga åtgärder (Högskoleverket 2012a) Blir det som Nils Brunsson förmodar därmed en återgång till att granska förutsättningar och processer? (SULF tidningen nr 10/2012


STRUKTUR, PROCESS OCH RESULTAT
I utvärderingslitteraturen brukar man tala om kvalitet som egenskaper som kan knytas till olika faser i en verksamhet. På så vis kan en distinktion göras mellan strukturkvalitet som speglar vad en verksamhet har, processkvalitet som handlar om vad en verksamhet gör, och resultatkvalitet som står för vad den/de som är verksamhetens målobjekt får. Resultat är utan tvekan en viktig aspekt av utbildningskvalitet, sannolikt den viktigaste. Drygt 20 års undervisningserfarenhet säger mig emellertid att resultat av högre utbildning är mycket mer än huruvida ett urval av examensarbeten bedöms leva upp till en handfull mål som brutits ner till (eller som i vårt fall i efterhand kopplats ihop med) nio bedömningsgrunder. De bedömningsgrunder som brukats har dessutom en tydlig, forskningsförberedande karaktär som i stort sett uteslutande speglar den akademiska snarare än den praktiska delen av utbildningar. Det som bedöms blir därmed inte givet det som värderas när studenterna kommer ut i arbetslivet.

BEDÖMNINGARNA GÖR INTE RÄTTVISA ÅT HELHETEN
Utbildningsresultat handlar enligt min mening också om förändringar hos studenterna vad gäller attityder, motivation, förmåga, beteende och anställningsbarhet för att nu nämna några exempel. På Förvaltningshögskolan är vi exempelvis omåttligt stolta över hur väl våra masterstudenters kunskaper, färdigheter och beteende skattas av de myndigheter och organisationer där studenterna tillbringar en praktiktermin, och hur lätt det tycks vara för dem att efter examen få kvalificerade arbeten. Även om vi håller oss till de uppsatskurser som leder fram till ett examensarbete, så är dessa kurser en lång process med många komponenter utöver själva slutprodukten. De bedömningar som utgör kärnan i Högskole-verkets nya utvärderingssystem gör med andra ord inte rättvisa åt helheten i utbildningars resultat, och ändå är det dessa bedömningar som ligger till grund för ansvarsutkrävande.

I förbindelse med det nu sagda ställer jag mig också undrande till varför Högskoleverkets system för kvalitetsutvärdering betecknas som utvärdering när det i praktiken så uppenbart är fråga om tillsyn. Det finns förvisso ett nära släktskap, både utvärdering och tillsyn syftar till att främja måluppfyllelse och effektivitet, men det finns viktiga skillnader. Medan tillsy-naren har att utgå från och acceptera den orsakslogik i form av mål, regler etc. som är för handen, så kan utvärderaren mycket väl ifrågasätta densamma samt föreslå förändringar. Av det följer också att tillsynaren inte kan påverka vilka bedömningskriterier som ska brukas, vilket utvärderaren kan. Den viktigaste skillnaden är dock att utvärderaren endast kan rekommendera att åtgärder ska vidtas, till skillnad från tillsynaren som kan lämna bindande förslag och även har sanktionsmöjligheter till sitt förfogande (Johansson 2006). Högskoleverkets system för kvalitetsutvärdering kan dessutom ses som en hård form av tillsyn där den främjande delen tagits bort och det som återstår är tillsynens inspektionsdel, dvs. granskning för att kontrollera om ett tillsynsobjekt uppfyller de krav och villkor som följer av de regler som finns.

Att vi i själva verket har att göra med en tillsynsaktivitet och inte utvärdering kan möjligen förklara att den i utvärderingssammanhang så viktiga frågan om attribution i stor utsträckning ställts i bakgrunden i debatten om utvärderingssystemet. Som programteorin visar tas det i systemet för givet att det av bedömargruppen uppmätta tillståndet av kvalitet hos en utbildnings examensarbeten är en effekt av de kurser och andra aktiviteter som utbildningen inbegriper. Så behöver inte vara fallet.

VILKA ÄR KONSEKVENSERNA AV UTVÄRDERINGSSYSTEMET, UTÖVER DE FÖRVÄNTADE?
Den sista fråga som jag vill diskutera i denna programteorianalys är vilka konsekvenser – utöver de officiellt förväntade (ansvarsutkrävande och vässad kvalitet) – som kan bli följden av Högskoleverkets utvärderingssystem. En enkel tumregel som hjälper oss att besvara frågan är att fundera över vilken effekt de bedömningsgrunder som tillämpas i ett utvärderingssystem skulle kunna ha på den utvärderade verksamheten om de blev använda som mål (Dahler-Larsen 2000). Med andra ord, kan kvaliteten på ett urval av examensarbeten, så som denna definierats i bedömargruppens bedömningsgrunder för måluppfyllelse, stå som mål för resultatet av ett helt utbildningsprogram på kandidat-, magister eller masternivå? Är svaret nej på denna fråga, vilket jag menar är uppenbart i vårt fall, så är det sannolikt att utvärderingssystemet kommer att producera perversa bieffekter, dvs. besvärliga konsekvenser som är rakt motsatta och möjligen motverkar de förväntade. I min bok Utvärderingsmonstret har jag med utgångspunkt i ett femtiotal artiklar och böcker i ämnet beskrivit ett flertal perversa bieffekter och hur de kan tänkas uppstå (Lindgren 2006). Låt oss titta närmre på några av dem i relation till Högskoleverkets utvärderingssystem.

KREATIV BOKFÖRING OCH URVAL
När (som är fallet med det system vi här talar om) lärare, handledare och examinatorer vet att ett dåligt resultat bestraffas, eller rentav att hela utbildningens framtid är beroende av vissa kvalitetsmått är risken för s.k. kreativ bokföring stor. I litteraturen nämns olika strategier för kreativ bokföring. ”Creaming” betyder att man från en organisations sida medvetet väljer ut bara sådana klienter som man vet kommer att prestera bra i vissa avseenden, medan ”referral” innebär att man hänvisar klienter till andra instanser för att de inte ska ödelägga organisationens resultat. Att välja ut studenter eller hänvisa dem till andra utbildningsprogram kanske inte fullt ut låter sig göras inom svensk högre utbildning. Men risken är stor att berörd personal kommer att utveckla strategier för att den grupp av examensarbeten som kan komma att ingå i urvalet ska bli så bra som möjligt. Det kan t.ex. ske genom att undvika eller skjuta upp godkännande av svaga examensarbetena tills Högskoleverkets urval är genomfört (Lindberg Sand 2011). Det behöver nu inte handla om kreativ bokföring i en strategisk mening. Det kan också, vilket bedömargruppen lyfter fram i sin betraktelse, handla om en institutionaliserad kultur med mycket sträng betygsättning som automatiskt gör att svaga uppsatser inte når så långt som till seminariebehandling och därmed inte kan ingå i en urvalsram (Högskoleverket 2012b, bilaga 3).

En annan potentiell konsekvens som jag redan varit inne på är att universitet och högskolor kommer att ha ögonen på vilka utbildningar som lyckats bra, försöka ta reda på hur argumentationen för det högsta betyget ser ut och anpassa sin egen verksamhet till det. ”Teaching to the test” kallas det i litteraturen när personal lärt sig vilka aspekter som räknas (och vilka som inte räknas) och använder denna kunskap för att rikta in sig på det som betalar sig. Lyckas det höjer utbildningen ifråga nivån på sitt resultat i förhållande till en viss kvalitetsdefinition, men andra kvalitetsaspekter lämnas därhän. Det kan i sin tur leda till ”ossification”, utbildningar förstelnas eftersom innovation och nytänkande inte lönar sig.

STANDARDISERADE UPPSATSER
Som sagt är det en komplicerad uppgift att lära av bedömargruppens utlåtande, det kräver ett omfattande detektiv- och tolkningsarbete. Om det lyckas kommer det med stor sannolikhet att bidra till en standardisering av uppsatser i statsvetenskap i förhållande till bedömargruppens traditionellt akademiska kriterier för vad som är ett förstklassigt examensarbete. Enligt uppgift från Högskoleverket finns ingenting mer än tradition som kräver att ett examensarbete i statsvetenskap har denna karaktär, det går att inkludera även andra aspekter. Men så ser nu traditionen ut och inom överskådlig tid framöver kommer det inte att finnas utrymme för ”vilda” uppsatser med snillrika resonemang eller som upptäckt nya saker, men som i övrigt går utanför ramarna. Varje gång vi träffar på en statsvetenskaplig uppsats kan vi istället vara säkra på att den ser ut enligt normen. För mig framstår detta högst tänkbara framtidsscenario inte bara trist utan också inkonsekvent i f.h.t. programteorins förutsättningar och programmakarnas policy att varje lärosäte själv bestämmer hur utbildningen ska utformas och genomföras för att nå målen i examensbeskrivningarna.

TJÄNSTEMÄN SOM ARBETAR PÅ UPPDRAG AV REGERINGEN
I denna promemoria har jag målat upp en i huvudsak mörk och dyster bild av Högskoleverkets system för kvalitetsutvärdering som ger vid handen att systemet: i) gör det mycket svårt för utbildningar som vill förbättra sig, ii) är undermåligt som informationsgrund för ansvarsutkrävande, iii) sannolikt kommer att generera besvärliga konsekvenser som undergräver systemets förväntade effekter, samt iv) borde betecknas som en tillsynsaktivitet och inte ett utvärderingssystem.

Genomgående har jag talat om Högskoleverkets system för kvalitetsutvärdering, vilket inte är helt rättvist. På uppdrag av regeringen utformade Högskoleverket (2009) ett förslag till utvärderingssystem för perioden 2011-2014. Det förslaget kunde regeringen inte acceptera, främst p.g.a. att det inte var tillräckligt entydigt fokuserat på utbildningsresultat vilket antogs stå i motsättning till autonomiprincipen enligt vilken varje lärosäte själv bestämmer om utbildningars utformning och genomförande. Istället formulerade man på egen hand ett nytt system för kvalitetsutvärdering som detaljrikt preciserade systemets egenskaper och tillämpning (Regeringsbeslut 2010). Högskoleverket har haft och har forfrande till uppgift att finputsa och genomföra ett system för kvalitetsutvärdering med osedvanligt stark styrning från regeringen och dessutom på mycket kort tid. Detsamma kan måhända sägas om bedömargruppen vars ledamöter visserligen frivilligt åtagit sig uppgiften att granska utbildningar och examensarbeten, men som av gruppens betraktelser att döma har haft att hantera ett tvetydigt och svårt uppdrag (Högskoleverket 2012b, bilaga 7).

”I DEN ABSOLUTA FRAMKANTEN VAD GÄLLER KVALITETSSÄKRING AV HÖGRE UTBILDNING”
Som framgår av programteorin i början av denna text är ett av regeringens mål att Sverige, med det nya utvärderingssystemet vid en internationell jämförelse ska ligga i den absoluta framkanten vad gäller kvalitetssäkring av högre utbildning. Denna tanke delas nu inte av den europeiska kvalitetssäkringsorganisationen ENQA (2012) som i en aktuell utvärdering av det svenska systemet fastslagit att det har allvarliga brister och inte längre överensstämmer med den gemensamma standarden ESG (Standards and Guidelines for Quality Assurance in the European Higher Education Area). Det svenska systemet har enligt ENQA för mycket av kontroll och för lite av kvalitetssäkring och utveckling. Vidare är det oklart om och hur de olika bedömningsunderlagen ska vägas samman, och dessutom riktas tvivel mot Högskole-verkets självständighet och förutsättningar att fritt fatta beslut. ENQA har ännu inte fattat något beslut i frågan, men risken finns att Högskoleverket riskerar att uteslutas ur ENQA.  Om så sker kan det, som Sveriges universitets- och högskoleförbund nyligen påpekat i ett pressmeddelande, i sin tur innebära att förtroendet för svensk högre utbildning riskerar att devalveras i ett internationellt sammanhang (SUHF 2012). Även det således i motsättning till programteorins förväntade effekter.

Lena Lindgren
Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Göteborgs universitet


Referenser
Dahler-Larsen, P (2000) Den rituelle reflektion – om evaluering i organisationer.
Odense: Odense universitetsforlag.
ENQA (2012) Swedish National Agency for Higher Education: review of ENQA Membership.
Brussels: European Association for Higher Education.
Funnel, S.C. & Rogers, P.J. (2011) Purposeful program theory. San Fransisco: Jossey-Bass.
Högskoleverket (2009) Kvalitetsutvärdering för lärande. Högskoleverkets förslag till nya kvalitetsutvärderingar för högskoleutbildning.
Högskoleverket (2012a) Högskoleverkets system för kvalitetsutvärdering 2011-2014. Examina på grundnivå och avancerad nivå (fastställd 21/12 2010, reviderad 19/6 2012).
Högskoleverket (2012b) Kvalitetsutvärdering av statsvetenskap, freds- och konfliktstudier, utvecklingsstudier och närliggande huvudområden.
Johansson, V. (2006) Tillsyn och effektivitet. Umeå: Boréa bokförlag.
Lindberg Sand, Å (2011) Koloss på lerfötter? Utveckling av metodik för ett resultatbaserat kvalitetssystem i svensk högre utbildning. CED, Centre for Educational Development, Lunds universitet.
Lindgren, L (2006) Utvärderingsmonstet. Kvalitets- och resultatmätning i den offentliga sektorn. Lund: Studentlitteratur.
Lindström, E. (2012) Statlig styrning och ansvarsutkrävande. Stockholm: Riksbankens Jubileumsfonds områdesgrupp för mål- och resultatstyrning.
Pollit, C. (2003) Performance audit in Western Europé: Trends and choices.
Critical Perspectives on Accounting, vol 14/1-2 (157-170).
Proposition 2009/10:139 Fokus på kunskap – kvalitet i den högre utbildningen.
Regeringsbeslut (2010) Riktlinjer för uppdrag om kvalitetsutvärdering av utbildning på grundnivå och avancerad nivå. Utbildningsdepartementet (2010-07-08)
Riksrevisionen (2012) Att styra självständiga lärosäten.
SUHF (2012) Sveriges utvärderingssystem för högre utbildning underkänns, ENQA-rapport. Pressmeddelande (www.suhf.se/web/Pressmeddelande.aspx).
SULF-tidningen (2012) nr 10.



[1] ”Vill du bli statsvetare ska du förstås läsa bästa statsvetenskapliga utbildningen, vid Göteborgs universitet…” tweet av Henric Oscarsson, 20 juni 2012. ”Utbildningarna i statsvetenskap och i europakunskap i Göteborg bäst i landet…” tweet av Ulf Bjereld, 20 juni 2012.
[2] Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Göteborgs universitet. Hon har omfattande erfarenhet av undervisning och forskning om utvärdering. Hon har också genomfört ett stort antal utvärderingar på beställning av olika myndigheter, har varit ordförande i Svenska utvärderingsföreningen och är ledamot i Högskoleverkets vetenskapliga råd för utvärderingsfrågor.
[3] En grundlig beskrivning av utvärderingssystemets rötter och framväxt som inkluderar de svårigheter och konflikter som funnits återfinns i Lindberg Sand (2011). Där finns för övrigt också en utförlig analys och kritisk diskussion av validiteten i den sorts bedömningsunderlag som Högskoleverkets utvärderingssystem tillämpar.







Vad finns här?

Vad finns här?
Anoto Pen and Paper