Förbundsredaktören har ordet (september 2012)
Två snabba effekter av Högskoleverkets
kvalitetsgranskning var glada twitter-utrop från de rikligen belönade[1]
och att de studenter som sökte statsvetenskap inför hösten upplystes – på ett
mycket tydligt sätt – om betyget på utbildningen före det avgörande klicket på
Högskoleverkets sökportal. Hur många som på grund av orden i svart: ”Studenterna
och därmed utbildningen uppnår inte ett eller flera av de utvärderade målen i
examensbeskrivningen” valde att inte ge utbildningar med ”bristande kvalitet” en
chans är kanske svårt att uppskatta – men rimligen påverkade det årets
ansökningar. Särskilt viktigt tycks det då vara att utvärderingen var
rättvisande och att effekterna på både kort och lång sikt är eftersträvansvärda.
Men
hur är det egentligen med kvalitetsutvärderingens rättvisa och effekter? Frågan
går på dessa förbundssidor till Lena Lindgren[2].
Magnus Erlandsson är förbundsredaktör.
E-post: magnus.erlandsson@mah.se
En utvärderare om Högskoleverkets system
för kvalitetsutvärdering 2011-2014
Av redaktören för
Statsvetenskapliga förbundets tidskrift fick jag strax innan sommaren det roliga
uppdraget att utifrån min utvärderarhorisont reflektera över Högskoleverkets
system för kvalitetsutvärdering 2011-2014, inklusive den nyss överlämnade
utvärderingen av stats-vetenskapliga utbildningar. Vad är då lämpligare att
utgå ifrån än programteorimetoden som de flesta utvärderare anser vara ”standard
evaluation procedure”?
PROGRAMTEORIANALYS
Programteorimetoden
bygger i grova drag på tanken att alla åtgärder (program, policys, metoder
etc.) – även ett utvärderingssystem – vilar på en viss logik (programteori) om
hur åtgärden åstadkommer förväntat resultat; gör man A så händer B och det för
i sin tur med sig B och C. Namnet till trots är programteori (i normalfallet)
inte en teori i vetenskaplig mening som på basis av tillförlitlig kunskap
förklarar hur en åtgärd fungerar. Programteori handlar också om förklaring, men
förklaringen har sin grund i hur de som skapat eller beslutat om en viss åtgärd
tänker sig att den fungerar. Dessa tankar är oftast under-förstådda men kan
rekonstrueras med hjälp av policydokument och intervjuer. Den som gör
rekonstruktionen har därmed att tolka hur åtgärden ifråga är tänkt att fungera.
En rekonstruerad programteori kan sedan användas på olika sätt, vanligen som
stöd i samband med planering av en utvärdering. Genom att programteorin tydliggör
antagna förlopp och orsakssamband som ofta bara är implicita utgör den också ett
utmärkt underlag för ett strukturerat resonemang kring en åtgärds tänkta sätt
att fungera.
Programteorianalys kallas
den sistnämnda tillämpningen och det är en sådan som avses i denna text. Inspiration
till frågorna nedan som mitt resonemang är uppbyggt kring har jag hämtat från utvärderingsforskarna
Dahler-Larsen (2000) och Funnel & Rogers (2012).
·
Om
utvärderingssystemet är lösningen, vad är problemet?
·
Är den kunskap
som utvärderingssystemet genererar relevant som grund för att lösa problemet,
dvs. i) ansvarsutkrävande, och ii) vässa utbildningars kvalitet?
·
Vilka är effekterna
av systemet, utöver de förväntade?
EN
PROGRAMTEORI FÖR HÖGSKOLEVERKETS SYSTEM FÖR KVALITETSUTVÄRDERING
En programteori
måste som sagt rekonstrueras. De policydokument som legat till grund för min
rekonstruktion av en programteori för Högskoleverkets system för kvalitetsutvärdering
2011-2014 är framförallt regeringens proposition i ärendet samt myndighetens
beskrivning av systemet (Prop. 2009:139; Högskoleverket 2012a). Jag har också i
efterhand stämt av med personal på Högskoleverket att programteorin reflekterar
hur systemet är tänkt att fungera.
Om följande förutsättningar finns…
·
Varje lärosäte
bestämmer själv hur utbildningen ska utformas och genomföras för att nå målen i
examensbeskrivningarna.
… och om följande aktiviteter
genomförs…
·
Utbildningar som kan leda till examen inom huvudområden utvärderas
utifrån hur väl studenternas faktiska studieresultat motsvarar de förväntade
examensmålen.
·
Bedömarna är externt, oberoende sakkunniga lärare och
yrkesverksamma inom huvudområdet samt studenter. De föreslår vilka mål som ska
utvärderas samt operationella kriterier för bedömning av dessa. Högskoleverket
beslutar i frågan.
·
Bedömningen grundas på ett slumpvis urval av studenternas
examensarbeten, lärosätets självvärdering, intervjuer med studenter och
resultat från en alumnenkät. I de fall bedömarna anser att det behövs görs
också platsbesök.
·
Bedömarna avger ett samlat yttrande om hur väl studenterna nått målen
för examen på en tregradig skala (mycket hög kvalitet, hög kvalitet och
bristande kvalitet).
·
Högskoleverket håller samman utvärderingarna, ansvarar för att
bedömningarna görs på ett transparent och likvärdigt sätt samt fattar beslut om
vilket samlat omdöme varje utbildning ska få.
… så får det följande effekter på kort
sikt…
·
Utbildningar som bedöms ha bristande kvalitet får sitt
examenstillstånd ifrågasatt. Efter ett år följer Högskoleverket upp
ifrågasättandet och kan då återkalla examenstillståndet.
·
Utbildningar som bedöms ha bristande kvalitet förbättras genom
vidtagna åtgärder från lärosätets alternativt läggs ner.
·
Utbildningar som bedöms ha mycket hög kvalitet premieras genom
ekonomisk tilldelning. Tilldelningen utgör incitament för andra lärosätens
kvalitetsutveckling.
·
Lärosäten får ett underlag som på ett likvärdigt och transparent
sätt tydliggör kvaliteten i sitt utbildningsutbud i f.h.t. olika intressenter,
främst staten.
… och följande effekter på lite längre sikt
·
Lärosäten i Sverige och andra länder får förtroende för varandras
kvalitet, vilket är en förutsättning för ökat samarbete och rörlighet bland
studenter och personal. Blivande studenter kan välja mellan olika utbildningar
som alla håller hög kvalitet. Arbetsgivare vet att personer de anställer har de
kunskaper och färdigheter som en utbildning enligt lagen ska leda till.
·
Sverige ligger vid en internationell jämförelse i den absoluta
framkanten vad gäller kvalitetssäkring av högre utbildning.
·
Lärosätenas autonomi ökar, detaljregleringen minskar.
·
Den högre utbildningen vässas kvalitetsmässigt, vilket är en
förutsättning för tillväxt, sysselsättning och framtida välstånd.
OM UTVÄRDERINGSSYSTEMET ÄR LÖSNINGEN,
VAD ÄR PROBLEMET?
Utgångspunkten
för varje programteori, och den åtgärd som programteorin beskriver, är ett problem
som behöver lösas eller en situation som behöver förbättras. En programteori tydliggör
hur en åtgärd förmodas lösa det eller de underliggande problem som är motivet
till åtgärdens existens. I programteorin för Högskoleverkets system för kvalitetsutvärdering
finns ingen distinkt och entydig utsaga om problem som ska lösas. Målen i form
av förväntade effekter är av flera slag, riktar sig till flera olika målobjekt eller
aktörer och beskrivs utan någon tydlig ordning i de policydokument som systemet
vilar på. Om det finns någon på förhand tänkt effektkedja är därför svårt att
säga. Den effektkedja som den ovan skissade programteorin ger uttryck för utgör
min egen tolkning av hur målen förhåller sig till varandra. Om vi i linje med
denna tolkning antar att förväntade effekter på lite längre sikt speglar underliggande
problem finns det två, interrelaterade problem som Högskoleverkets utvärderingssystem
förväntas lösa.
AUTONOMI OCH DETALJSTYRNING
Det ena handlar
om att lärosätenas autonomi begränsas av detaljstyrning, vilket anses hämmande
för utvecklingen av utbildningskvalitet och i förlängningen för landets förutsättningar
för tillväxt, sysselsättning och framtida välstånd. Ökad lokal frihet och
ansvar att utforma sin egen verksamhet kräver emellertid ett ändamålsenligt nationellt
system för kvalitetsutvärdering, som inte lägger sig i hur resultaten uppnås, för
att ansvarsutkrävande ska fungera. Att målet med ökad autonomi kräver ett
ändamålsenligt system för kvalitetsutvärdering finns ingen anledning att
ifrågasätta. Det är högst rimligt att en verksamhet som till så stor del finansieras
med skattemedel regelbundet utvärderas med avseende på vilket resultat som
uppnås. Som Riksrevisionen (2012) påpekat i en aktuell granskning av hur
universitet och högskolor styrs behövs det också ett välfungerande
utvärderingssystem som motkraft till den risk för generösa bedömningar av
studenternas resultat som resurstilldelningssystemet innebär. Om
Högskoleverkets nya utvärderings-system är ändamålsenligt i förhållande till detta
problem är däremot en annan fråga som jag ska återkomma till.
MÖTA OLIKA SLAGS KUNSKAPSBEHOV
Det andra
problemet som kan utläsas ur programteorin är ett kunskapsbehov som, om det tillgodoses,
tänkes ha flera positiva effekter. På central nivå finns som sagt ett behov av
kvalitetsinformation som kan ligga till grund för ansvarsutkrävande. Lärosätena
behöver i sin tur kunna förse ledare på olika nivåer med underlag för att kunna
styra och utveckla utbildningarna i rätt riktning. I regeringens proposition
talas det om behovet av ”ett kvalitets-drivande system för utbildningsresultat
av hög kvalitet” (Prop. 2009/10:139, s 7). Lärosätena behöver också ett bättre
kunskapsunderlag för att kunna beskriva och marknadsföra sitt utbildningsutbud.
Studenter behöver bättre kvalitetsinformation för att känna sig säkra på att
utbildningar håller vad de lovar. Personal från olika lärosäten samarbetar inte
i tillräcklig utsträckning och studenter är inte nog rörliga därför att
kunskapen om andra lärosätens kvalitet är bristande eller saknas. Även arbetsgivare
behöver tillförlitlig kvalitetsinformation så att de kan lita på att personer med
en viss examen från ett visst lärosäte har de rätta kunskaperna och
färdigheterna.
Om de förväntade kunskapsbehoven
motsvaras av en reell efterfrågan hos ovan nämnda målobjekt finns inga direkta belägg
för och diskuteras inte heller närmare i de policy-dokument som utvärderingssystemet
vilar på. Troligtvis finns det ett sådant behov. Det är väl känt att de flesta
universitet och högskolor var kritiska mot den tonvikt på förutsättningar och
processer som präglade tidigare utvärderingssystem, och därför efterfrågade ett
system som lägger tyngdpunkten på utbildningarnas resultat. Och vem skulle för
övrigt svara ja på att bättre
kvalitetsinformation om utbildningars resultat är en dålig idé? Dagens förvaltningspolitik
är som bekant starkt resultatorienterad. Kraven på offentliga verksamheter att visa
att de har god kvalitet och så produktivt som möjligt omvandlar insatta
resurser till prestationer och – inte minst – att utförda prestationer har
avsedda effekter för dem som de riktas till är i de flesta fall stora. Till avvikelserna hör t.ex. försvaret och
den kungliga hovstaten som jämfört med politikområden som skola, vård och
omsorg, i många länder inklusive Sverige, har mycket begränsade krav på sig att
följa upp och utvärdera resultat (se t.ex. Pollitt 2003). Universitet och högskolor placerar sig
kravmässigt enligt min mening i en mellankategori.
KONTROLL OCH UTVECKLING
Att behov av bättre
kunskapsunderlag för kvalitetsutveckling i policydokumenten anges som motiv för
utvärderingssystemets existens är nu lite märkligt med tanke på att systemet
enligt samma dokument samtidigt sägs vara inriktat enbart på kontroll. Detta
till skillnad från föregående utvärderingsmodeller som var både kontroll- och
utvecklingsinriktade. En tolkning av programteorins logik ger emellertid vid
handen att det finns vissa mekanismer för kvalitetsutveckling inbyggda i det
nya systemet. En sådan mekanism skulle kunna vara att om utbildningsprogram med
bristande kvalitet läggs ner, så främjar det kvaliteten i stort hos svensk
högre utbildning. En annan, mer tydligt uttryckt mekanism, är att utbildningar som
får omdömet mycket hög kvalitet premieras ekonomiskt, vilket antas utgöra
incitament för andra utbildningars och lärosätens kvalitetsutveckling. Hur mera
exakt som det ska ske, t.ex. om och i så fall hur bedömargruppernas yttranden kan
användas på ett konstruktivt sätt på lärosätes- och programnivå för att ”vässa
utbildningen kvalitetsmässigt” framgår inte vare sig i regeringens proposition
(2009/10:139), regeringens uppdrag till Högskoleverket (Regeringsbeslut 2010-07-08)
eller myndighetens anvisningar till lärosätena (Högskoleverket 2012a).
ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA
GENERERAR RELEVANT SOM GRUND FÖR ATT VÄSSA UTBILDNINGARS KVALITET?
I Högskoleverkets
kvalitetsutvärderingssystem granskas i vilken utsträckning studenternas s.k. faktiska
studieresultat motsvarar förväntade resultat, så som de senare kommer till
uttryck i ett urval av de mål som anges i examensordningen. Granskningen av
statsveten-skapliga utbildningsprogram (och närliggande utbildningar som t.ex.
offentlig förvaltning) har genomförts av en bedömargrupp bestående av externa,
oberoende sakkunniga. Bedömargruppen har bestämt valet av examensmål som ska
granskas och operationaliserat kriterier för att bedöma måluppfyllelse.
Det primära underlaget
för bedömning har utgjorts av ett slumpvis urval av avidentifierade examensarbeten
(mest 24 minst 5) som examinerats under läsåret 2010, men i vissa fall finns
även arbeten från 2009 i urvalet. Beroende på storleken i urvalsramen av uppsatser
har det, som diagrammet nedan vill illustrera, varit stora skillnader i urval
mellan lärosäten och utbildningsprogram på olika nivåer. Om vi håller oss till masterprogrammen
kan vi t.ex. se att kvalitetsbedömningen vid Stockholms universitet har baserats
på 16 uppsatser (vilket är knappt hälften av urvalsramen), medan bedömningen
vid Göteborgs universitet har baserats på fem uppsatser (som är hela urvalsramen).
Även andra typer
av bedömningsunderlag än examensarbeten har också[LL2] funnits att tillgå men har inte tillmätts
någon större betydelse. Alumnenkäter och studentintervjuer har enligt den
statsvetenskapliga bedömargruppens egen utsaga i praktiken varit utan värde för
för dess omdömen om utbildningarna, medan självvärderingar och platsbesök sägs
ha bidragit till gruppens förståelse av hur utbildningarna fungerar. ”Till
syvende och sist är det ändå läsningen och bedömningen av enskilda uppsatser
som är vårt bästa material” (Högskoleverket 2012b, bilaga 7, s 3).
Uppsatserna har lästs av
en särskild grupp uppsatsläsare (35 personer), men även bedömargruppens
medlemmar har läst uppsatser. Med undantag för ett mindre antal (cirka 5
procent) som av olika skäl lästs och bedömts av två läsare, har alla uppsatser
lästs och bedömts av en enda läsare. För vart och ett av examensmålen har
läsaren avgjort i vilken grad en uppsats visar att målet ifråga har nåtts. Resultatet
från läsningen har sedan delgetts bedömargruppen som sammanställt det i en
matris som möjliggör en helhetsbedömning och därefter avgett ett yttrande om
utbildningarnas kvalitet på en tregradig skala. Yttrandet består dels i ett
samlat omdöme där uppfyllelsen för de sex mål man valt att granska vägts samman
i ett omdöme (mycket hög kvalitet, hög kvalitet, bristande kvalitet), dels i en
kort kommentar på några meningar som förklarar hur man bedömt respektive mål.
EXEMPEL PÅ YTTRANDE
Låt mig för att
illustrera hur ett yttrande kan se ut ta bedömargruppens utvärdering av
Förvaltningshögskolans masterprogram i offentlig förvaltning som exempel: Sammantaget
visade underlaget (11 uppsatser av en urvalsram på 21) enligt bedömarna på mycket hög
måluppfyllelse för två mål, och hög måluppfyllelse för övriga fyra av de sex
utvalda målen. Den samlade bedömningen blev att programmet håller hög kvalitet.
Hur
denna samlade bedömning tagits fram framgår inte av utlåtandet. Det är dock uppenbart
att det krävts en hel del såväl kvantitativa som kvalitativa överväganden från
bedömargruppens sida för att ta ställning till hur den sammanvägda bedömningen
ska gå till samt, dessförinnan, hur måluppfyllelse för vart och ett av de sex
målen ska fastställas.
För
att söka förstå dessa överväganden kan vi måhända lära av masterprogrammet i
statsvetenskap vid Göteborgs universitet som, liksom kandidatprogrammet vid
samma lärosäte, fick omdömet mycket hög kvalitet. Inte
vid något annat lärosäte i Sverige fick de statsvetenskapliga kandidat- eller
masterutbildningarna ett så högt omdöme. Av bedömargruppens yttrande framgår
att omdömet baseras
på betyget mycket hög måluppfyllelse för fyra mål och hög måluppfyllelse för övriga
två. Det borde betyda att det krävs mycket hög måluppfyllelse för en majoritet av
de sex målen för att få det högsta betyget. Att försöka lista ut hur
bedömargruppen dessförinnan kom fram till hur många av de fem uppsatserna i urvalet
som fört vart och ett av de sex målen måste ha fått betyget mycket hög kvalitet
för att omdömet ska bli mycket hög kvalitet har jag nu inte orkat ägna någon
större kraft åt. Här kan vi tursamt nog ta hjälp av bedömargruppens egna betraktelser
över sitt arbete där det framgår att knappt hälften av uppsatserna i ett urval måste
ha fått betyget omdömet mycket hög kvalitet för vart och ett av de sex målen
för att slutomdömet ska bli mycket hög kvalitet (Högskoleverket 2012b, bilaga 7,
s 26ff). Det torde betyda att tre av de fem uppsatser som bedömningen av det
statsvetenskapliga masterprogrammet grundades på nådde upp till detta
riktmärke.
HUR GÖRA FÖR ATT NÅ OMDÖMET MYCKET HÖG
KVALITET?
Sedan en tid
tillbaka är jag ansvarig för Förvaltningshögskolans masterprogram i vilket
bl.a. ingår ett utvecklingsansvar. Omdömet hög kvalitet i Högskoleverkets
utvärdering är förvisso acceptabelt, men givetvis vore mycket hög kvalitet långt
bättre och mera ärofyllt. Högskole-verkets system för kvalitetsutvärdering är
som sagt primärt inriktat på kontroll, inte utveckling även om systemet
innehåller mekanismer som förväntas vara kvalitetsdrivande. Myndigheten ger
därför inga rekommendationer om hur en utbildning kan förbättra sitt omdöme,
eller hur en utbildning som fått betyget bristande kvalitet ska åtgärda
bristerna. Den starka kontrollinriktningen följer av regeringsuppdraget till
Högskoleverket där det står att: ”Förklaringar till resultat och åtgärder för
att utveckla verksamheten ska framöver sökas av lärosätena själva” (Regeringsbeslut
2010).
Men ponera att jag som
programansvarig i enlighet med programteorin triggas av det ekonomiska
incitament som utlovas som belöning för utbildningar som får det högsta betyget
och vill använda bedömargruppens utlåtande för att motivera lärare och
hand-ledare till förbättringar. Hur gör jag då för att få svar på vad som
behöver göras annorlunda i den kurs där examensarbetena genomförs, och i
masterprogrammets kurser i övrigt?
Ett sätt är förstås att
lära av egna och andras utbildningars uppsatser som fått högsta betyget och dra
varnande exempel av dem som befunnits ha bristande kvalitet. Det förutsätter
att uppsatserna och omdömena är offentliga och att systemet erbjuder
möjligheter för detta slags benchmarking. Med hjälp av Högskoleverkets (2012b,
bil. 5) rapport går det att koppla varje enskild uppsats till en bedömning men
uppsatserna är avidentifierade och anges endast med ett nummer.
Förvaltningshögskolans egna uppsatser kan sannolikt identifieras på detta sätt,
men för att spåra upp hur enskilda uppsatser från andra institutioner bedömts
krävs goda kontakter.
Ett alternativt
sätt att söka kunskap om vad som krävs för att en uppsats ska få högsta betyg
är att göra sig närmare bekant med bedömargruppens kriterier för
operationalisering av måluppfyllelse. Dessa finns formulerade i ett dokument
där bedömargruppen kommenterar de sex utvalda målen och kriterier, samt ger
instruktioner till uppsatsläsarna vad gäller bedömningsgrunder och
betygssättning för varje mål (Högskoleverket 2012b, bil.3 och 4). Dock är det
inte alldeles lätt att förstå vilka av de inalles nio bedömningsgrunderna som
hör till vilket av de sex utvalda målen eftersom några mål är kopplade till
flera bedömningsgrunder. Det tycks mig snarare, vilket också framgår av
bedömargruppens betraktelse av sitt arbete, som om bedömargruppen först
formulerat sina egna grunder och kriterier för hur en uppsats med hög kvalitet,
mycket hög kvalitet respektive bristande kvalitet känns igen, och först
därefter kopplat dessa grunder och kriterier till målen i examensordningen (Ibid.
bilaga 7, s 10 ff).
SVÅRT ATT DRA SLUTSATSER AV YTTRANDEN
Nåväl, som nämnts
fick Förvaltningshögskolans masterprogram betyget mycket hög mål-fyllelse för två mål (mål 1
och 6), och hög måluppfyllelse för övriga fyra (mål 2,3, 4 och 5) av de sex
utvalda målen. Beträffande t.ex. mål 1 (kunskap och förståelse inom
huvudområdet) som fick omdömet mycket hög måluppfyllelse kan vi läsa att:
”samtliga uppsatser har mycket hög nivå vad avser diskurs- och teorianknytning
… mycket god fördjupad insikt om aktuella forskningsfrågor inom huvudområdet …
mycket god förmåga att formulera en insiktsfull och motiverad problemställning
med anknytning till diskursen, lägstanivån är hög.” Mål 2 (fördjupad
metodkunskap inom huvudområdet) nådde bara upp till omdömet hög måluppfyllelse.
Det förklaras så här: ”… samtliga uppsatser uppfyller de krav som bör ställas
på masternivå vad gäller vetenskaplig metodmedvetenhet. Några av uppsatserna
bedöms även hålla mycket hög kvalitet. Lägstanivån är hög.” (Högskoleverket
2012b).
Mitt förbättringsintresse gäller naturligt nog de
fyra mål där måluppfyllelsen för Förvaltningshögskolans masterprogram inte
bedömdes nå upp till betyget mycket hög kvalitet, vilket t.ex. var fallet med
mål 2 – fördjupad metodkunskap. Det högsta betyget får här enligt bedömargruppens
operationalisering av kriterier för måluppfyllelse uppsatser där den egna
metoden är väl utvecklad i något eller några avseenden, och dessutom premieras
kreativitet vad gäller materialinsamling (Högskoleverket 2012b, bilaga 4). För
att riktigt förstå vad detta innebär måste man därmed nogsamt fundera över hur
uppsatsläsaren som ju är den person som i praktiken satt betyg formulerat sin
egen förståelse av kriteriernas termer? Jag besitter inte samma expertis, och
möjligen är min förståelse av termerna därför en annan. Så hur har
uppsatsläsaren gjort för att ta ställning till huruvida en uppsats har en ”väl
utvecklad metod” eller tillämpar ”kreativitet i materialinsamling”? Kan en i
mitt (och kanske även uppsatsläsarens) tycke långtråkig ”thick description” som
sida efter sida tolkar innebörden i t.ex. chefers upplevelser och erfarenheter
av självbild, tilltro till det egna ledarskapet och lust och motivation att genom
utbildning bli en bättre ledare passera som väl utvecklad metod? Eller krävs
det något i mitt (och kanske även uppsatsläsarens) tycke mera utmanande och
hårdfört som ett dubbelblint kontrollerat experiment där chefer som vill bli
bättre ledare randomiserats till olika typer av chefsutbildning?
Att dra lärdom av bedömargruppens yttrande kräver
som synes ett omfattande detektiv- och tolkningsarbete. Det är likväl ett
arbete som jag är övertygad om redan har startat på många håll, både av utbildningar
som likt Förvaltningshögskolan fått ett mellanbetyg och av de vars utbildning
fått betyget bristfällig kvalitet. Vart det arbetet kan leda och vilka
konsekvenser det kan få ska jag återkomma till i slutet av denna text.
ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA
GENERERAR RELEVANT SOM GRUND FÖR ANSVARSUTKRÄVANDE?
Högskoleverkets
system för kvalitetsutvärdering har en stark inriktning mot kontroll och
ansvarsutkrävande. Begreppet ansvarsutkrävande (liksom ansvar och ansvarighet) är
mångtydigt och används i delvis olika betydelser inom olika ämnen och
sammanhang, men denna promemoria är inte rätt plats att reda ut begreppen. Låt
oss bara helt kort slå fast att för att någon ska kunna ställas till ansvar
måste det finnas en förväntad bild av vad som ska uppnås som en verksamhet kan
jämföras mot, samt information i form av saklig och oberoende granskning som
kan ligga till grund för bedömningen av huruvida någon fullgjort sitt uppdrag
eller inte. Det måste också finnas mekanismer i form av metoder och processer
för att i praktiken utkräva ansvar (Lindström 2011).
I vårt fall är det
lärosätena som ställs till ansvar för sina utbildningar. Den förväntade bilden
av vad utbildningarna ska uppnå utgörs av det urval av mål i examensordningen
som bedömargrupperna valt att fokusera sin granskning på. Det är sedan läsargruppens
granskning och bedömargruppens yttrande som ligger till grund för
ansvarsutkrävandet. Högskoleverket har såvitt går att se bara konstaterat att
man ”instämmer i bedömargruppens ställningstagande” (Högskoleverket 2012b). Mekanismer
för ansvarsutkrävande kan se ut på olika sätt i den offentliga förvaltningen och
vara mer eller mindre skarpa – allvarliga samtal, minskade resurser, entledigande
etc. I vårt fall är det fråga om en skarp metod där de lärosäten vars
utbildningar bedöms ha bristande kvalitet, dvs. inte når måluppfyllelse, får
sitt examenstillstånd ifrågasatt. De kan också få tillståndet indraget om de
inte inom ett år har visat förbättringar. Stora värden står således på spel för
varje lärosäte och utbildning.
STORA VÄRDEN PÅ SPEL
Vägen fram till Högskoleverkets
nuvarande system för kvalitetsutvärdering har varit kantad av många svårigheter
och konflikter, vilket föranlett en ansenlig kritisk debatt som jag väsentligen
valt att utelämna i denna PM.[3]
Den aspekt av systemet som jag själv ställer mig allra mest kritisk till är den
ovan nämnda, dvs. att den typ av granskning som bedömarnas yttrande utgör ligger
till grund för ansvarsutkrävande där så stora värden står på spel. Hur kan en
bedömning som säger sig spegla ett helt utbildningsprograms kvalitet, men som
bygger på underlag från en så bitteliten del av denna utbildning tillåtas få så
stora konsekvenser? Ett kandidatprogram har exempelvis fått sitt examenstillstånd
ifrågasatt därför att tre uppsatser under ett läsår bedömdes ha bristande
kvalitet på mer än hälften av nio bedömningsgrunder. Hur kan å andra sidan en hel
utbildning få omdömet mycket hög kvalitet, när omdömet i praktiken bygger på
att tre uppsatser bedömts ha hög eller mycket hög måluppfyllelse på mer än hälften
av nio bedömningsgrunder?
Att bedömarnas yttrande ges
denna centrala roll innebär dessutom i praktiken att bedömarna tillskrivs en
politisk funktion att lägga ner utbildningsprogram, även om det formellt är
Högskoleverkets generaldirektör som fattar beslutet om ifrågasättande och/eller
indragning av examenstillstånd. I förbindelse med det kan man också fråga sig
hur de vars examenstillstånd ifrågasätts ska kunna åtgärda den bristande
kvaliteten inom ett år. Vad kan ha hänt då, och hur ska Högskoleverkets återkontroll
fungera? Vad mera exakt är det man ska kontrollera? I Högskoleverkets
anvisningar sägs endast att en analys och åtgärdsredovisning per mål ska göras,
samt att myndigheten tar hjälp av en bedömargrupp för att ta ställning till om
åtgärderna är tillräckliga. Utöver det finns i linje med policyn om lärosätenas
autonomi inga preciseringar av vad som ska anses vara tillräckliga åtgärder
(Högskoleverket 2012a) Blir det som Nils Brunsson förmodar därmed en återgång
till att granska förutsättningar och processer? (SULF tidningen nr 10/2012
STRUKTUR, PROCESS OCH RESULTAT
I
utvärderingslitteraturen brukar man tala om kvalitet som egenskaper som kan
knytas till olika faser i en verksamhet. På så vis kan en distinktion göras
mellan strukturkvalitet som speglar vad en verksamhet har, processkvalitet som
handlar om vad en verksamhet gör, och resultatkvalitet som står för vad den/de
som är verksamhetens målobjekt får. Resultat är utan tvekan en viktig aspekt av
utbildningskvalitet, sannolikt den viktigaste. Drygt 20 års undervisningserfarenhet
säger mig emellertid att resultat av högre utbildning är mycket mer än huruvida
ett urval av examensarbeten bedöms leva upp till en handfull mål som brutits
ner till (eller som i vårt fall i efterhand kopplats ihop med) nio bedömningsgrunder.
De bedömningsgrunder som brukats har dessutom en tydlig, forskningsförberedande
karaktär som i stort sett uteslutande speglar den akademiska snarare än den
praktiska delen av utbildningar. Det som bedöms blir därmed inte givet det som
värderas när studenterna kommer ut i arbetslivet.
BEDÖMNINGARNA GÖR INTE RÄTTVISA ÅT
HELHETEN
Utbildningsresultat
handlar enligt min mening också om förändringar hos studenterna vad gäller
attityder, motivation, förmåga, beteende och anställningsbarhet för att nu
nämna några exempel. På Förvaltningshögskolan är vi exempelvis omåttligt stolta
över hur väl våra masterstudenters kunskaper, färdigheter och beteende skattas
av de myndigheter och organisationer där studenterna tillbringar en
praktiktermin, och hur lätt det tycks vara för dem att efter examen få kvalificerade
arbeten. Även om vi håller oss till de uppsatskurser som leder fram till ett
examensarbete, så är dessa kurser en lång process med många komponenter utöver
själva slutprodukten. De bedömningar som utgör kärnan i Högskole-verkets nya utvärderingssystem
gör med andra ord inte rättvisa åt helheten i utbildningars resultat, och ändå
är det dessa bedömningar som ligger till grund för ansvarsutkrävande.
I förbindelse med det nu
sagda ställer jag mig också undrande till varför Högskoleverkets system för
kvalitetsutvärdering betecknas som utvärdering när det i praktiken så uppenbart
är fråga om tillsyn. Det finns förvisso ett nära släktskap, både utvärdering
och tillsyn syftar till att främja måluppfyllelse och effektivitet, men det
finns viktiga skillnader. Medan tillsy-naren har att utgå från och acceptera
den orsakslogik i form av mål, regler etc. som är för handen, så kan
utvärderaren mycket väl ifrågasätta densamma samt föreslå förändringar. Av det
följer också att tillsynaren inte kan påverka vilka bedömningskriterier som ska
brukas, vilket utvärderaren kan. Den viktigaste skillnaden är dock att
utvärderaren endast kan rekommendera att åtgärder ska vidtas, till skillnad
från tillsynaren som kan lämna bindande förslag och även har sanktionsmöjligheter
till sitt förfogande (Johansson 2006). Högskoleverkets system för
kvalitetsutvärdering kan dessutom ses som en hård form av tillsyn där den
främjande delen tagits bort och det som återstår är tillsynens inspektionsdel,
dvs. granskning för att kontrollera om ett tillsynsobjekt uppfyller de krav och
villkor som följer av de regler som finns.
Att vi i själva verket har
att göra med en tillsynsaktivitet och inte utvärdering kan möjligen förklara
att den i utvärderingssammanhang så viktiga frågan om attribution i stor
utsträckning ställts i bakgrunden i debatten om utvärderingssystemet. Som
programteorin visar tas det i systemet för givet att det av bedömargruppen
uppmätta tillståndet av kvalitet hos en utbildnings examensarbeten är en effekt
av de kurser och andra aktiviteter som utbildningen inbegriper. Så behöver inte
vara fallet.
VILKA ÄR KONSEKVENSERNA AV
UTVÄRDERINGSSYSTEMET, UTÖVER DE FÖRVÄNTADE?
Den sista fråga
som jag vill diskutera i denna programteorianalys är vilka konsekvenser – utöver
de officiellt förväntade (ansvarsutkrävande och vässad kvalitet) – som kan bli
följden av Högskoleverkets utvärderingssystem. En enkel tumregel som hjälper
oss att besvara frågan är att fundera över vilken effekt de bedömningsgrunder
som tillämpas i ett utvärderingssystem skulle kunna ha på den utvärderade
verksamheten om de blev använda som mål (Dahler-Larsen 2000). Med andra ord,
kan kvaliteten på ett urval av examensarbeten, så som denna definierats i
bedömargruppens bedömningsgrunder för måluppfyllelse, stå som mål för
resultatet av ett helt utbildningsprogram på kandidat-, magister eller masternivå?
Är svaret nej på denna fråga, vilket jag menar är uppenbart i vårt fall, så är
det sannolikt att utvärderingssystemet kommer att producera perversa
bieffekter, dvs. besvärliga konsekvenser som är rakt motsatta och möjligen
motverkar de förväntade. I min bok Utvärderingsmonstret har jag med utgångspunkt
i ett femtiotal artiklar och böcker i ämnet beskrivit ett flertal perversa
bieffekter och hur de kan tänkas uppstå (Lindgren 2006). Låt oss titta närmre
på några av dem i relation till Högskoleverkets utvärderingssystem.
KREATIV BOKFÖRING OCH URVAL
När (som är
fallet med det system vi här talar om) lärare, handledare och examinatorer vet att
ett dåligt resultat bestraffas, eller rentav att hela utbildningens framtid är
beroende av vissa kvalitetsmått är risken för s.k. kreativ bokföring stor. I
litteraturen nämns olika strategier för kreativ bokföring. ”Creaming” betyder
att man från en organisations sida medvetet väljer ut bara sådana klienter som
man vet kommer att prestera bra i vissa avseenden, medan ”referral” innebär att
man hänvisar klienter till andra instanser för att de inte ska ödelägga organisationens
resultat. Att välja ut studenter eller hänvisa dem till andra utbildningsprogram
kanske inte fullt ut låter sig göras inom svensk högre utbildning. Men risken
är stor att berörd personal kommer att utveckla strategier för att den grupp av
examensarbeten som kan komma att ingå i urvalet ska bli så bra som möjligt. Det
kan t.ex. ske genom att undvika eller skjuta upp godkännande av svaga
examensarbetena tills Högskoleverkets urval är genomfört (Lindberg Sand 2011). Det
behöver nu inte handla om kreativ bokföring i en strategisk mening. Det kan
också, vilket bedömargruppen lyfter fram i sin betraktelse, handla om en
institutionaliserad kultur med mycket sträng betygsättning som automatiskt gör
att svaga uppsatser inte når så långt som till seminariebehandling och därmed
inte kan ingå i en urvalsram (Högskoleverket 2012b, bilaga 3).
En annan potentiell
konsekvens som jag redan varit inne på är att universitet och högskolor kommer
att ha ögonen på vilka utbildningar som lyckats bra, försöka ta reda på hur
argumentationen för det högsta betyget ser ut och anpassa sin egen verksamhet
till det. ”Teaching to the test” kallas det i litteraturen när personal lärt
sig vilka aspekter som räknas (och vilka som inte räknas) och använder denna kunskap
för att rikta in sig på det som betalar sig. Lyckas det höjer utbildningen
ifråga nivån på sitt resultat i förhållande till en viss kvalitetsdefinition, men
andra kvalitetsaspekter lämnas därhän. Det kan i sin tur leda till ”ossification”,
utbildningar förstelnas eftersom innovation och nytänkande inte lönar sig.
STANDARDISERADE UPPSATSER
Som sagt är det
en komplicerad uppgift att lära av bedömargruppens utlåtande, det kräver ett
omfattande detektiv- och tolkningsarbete. Om det lyckas kommer det med stor sannolikhet
att bidra till en standardisering av uppsatser i statsvetenskap i förhållande
till bedömargruppens traditionellt akademiska kriterier för vad som är ett
förstklassigt examensarbete. Enligt uppgift från Högskoleverket finns ingenting
mer än tradition som kräver att ett examensarbete i statsvetenskap har denna
karaktär, det går att inkludera även andra aspekter. Men så ser nu traditionen ut
och inom överskådlig tid framöver kommer det inte att finnas utrymme för ”vilda”
uppsatser med snillrika resonemang eller som upptäckt nya saker, men som i
övrigt går utanför ramarna. Varje gång vi träffar på en statsvetenskaplig
uppsats kan vi istället vara säkra på att den ser ut enligt normen. För mig
framstår detta högst tänkbara framtidsscenario inte bara trist utan också
inkonsekvent i f.h.t. programteorins förutsättningar och programmakarnas policy
att varje lärosäte själv bestämmer hur utbildningen ska utformas och genomföras
för att nå målen i examensbeskrivningarna.
TJÄNSTEMÄN SOM
ARBETAR PÅ UPPDRAG AV REGERINGEN
I denna
promemoria har jag målat upp en i huvudsak mörk och dyster bild av Högskoleverkets
system för kvalitetsutvärdering som ger vid handen att systemet: i) gör det mycket
svårt för utbildningar som vill förbättra sig, ii) är undermåligt som informationsgrund
för ansvarsutkrävande, iii) sannolikt kommer att generera besvärliga
konsekvenser som undergräver systemets förväntade effekter, samt iv) borde
betecknas som en tillsynsaktivitet och inte ett utvärderingssystem.
Genomgående har jag talat
om Högskoleverkets system för kvalitetsutvärdering, vilket inte är helt
rättvist. På uppdrag av regeringen utformade Högskoleverket (2009) ett förslag
till utvärderingssystem för perioden 2011-2014. Det förslaget kunde regeringen
inte acceptera, främst p.g.a. att det inte var tillräckligt entydigt fokuserat
på utbildningsresultat vilket antogs stå i motsättning till autonomiprincipen
enligt vilken varje lärosäte själv bestämmer om utbildningars utformning och
genomförande. Istället formulerade man på egen hand ett nytt system för
kvalitetsutvärdering som detaljrikt preciserade systemets egenskaper och
tillämpning (Regeringsbeslut 2010). Högskoleverket har haft och har forfrande till
uppgift att finputsa och genomföra ett system för kvalitetsutvärdering med
osedvanligt stark styrning från regeringen och dessutom på mycket kort tid.
Detsamma kan måhända sägas om bedömargruppen vars
ledamöter visserligen frivilligt åtagit sig uppgiften att granska utbildningar
och examensarbeten, men som av gruppens betraktelser att döma har haft att
hantera ett tvetydigt och svårt uppdrag (Högskoleverket 2012b, bilaga 7).
”I
DEN ABSOLUTA FRAMKANTEN VAD GÄLLER KVALITETSSÄKRING AV HÖGRE UTBILDNING”
Som
framgår av programteorin i början av denna text är ett av regeringens mål att
Sverige, med det nya utvärderingssystemet vid en internationell jämförelse ska
ligga i den absoluta framkanten vad gäller kvalitetssäkring av högre
utbildning. Denna tanke delas nu inte av den europeiska
kvalitetssäkringsorganisationen ENQA (2012) som i en aktuell utvärdering av det
svenska systemet fastslagit att det har allvarliga brister och inte längre
överensstämmer med den gemensamma standarden ESG (Standards and Guidelines for
Quality Assurance in the European Higher Education Area). Det svenska systemet
har enligt ENQA för mycket av kontroll och för lite av kvalitetssäkring och
utveckling. Vidare är det oklart om och hur de olika bedömningsunderlagen ska
vägas samman, och dessutom riktas tvivel mot Högskole-verkets självständighet
och förutsättningar att fritt fatta beslut. ENQA har ännu inte fattat något
beslut i frågan, men risken finns att Högskoleverket riskerar att uteslutas ur
ENQA. Om så sker kan det, som Sveriges
universitets- och högskoleförbund nyligen påpekat i ett pressmeddelande, i sin
tur innebära att förtroendet för svensk högre utbildning riskerar att
devalveras i ett internationellt sammanhang (SUHF 2012). Även det således i
motsättning till programteorins förväntade effekter.
Lena Lindgren
Lena Lindgren är fil dr i statsvetenskap och
docent i offentlig förvaltning vid Göteborgs universitet
Referenser
Dahler-Larsen, P (2000) Den rituelle reflektion – om evaluering i
organisationer.
Odense: Odense
universitetsforlag.
ENQA (2012) Swedish National Agency for Higher
Education: review of ENQA Membership.
Brussels: European
Association for Higher Education.
Funnel, S.C.
& Rogers, P.J. (2011) Purposeful
program theory. San Fransisco:
Jossey-Bass.
Högskoleverket (2009) Kvalitetsutvärdering för lärande.
Högskoleverkets förslag till nya kvalitetsutvärderingar för högskoleutbildning.
Högskoleverket (2012a) Högskoleverkets system för
kvalitetsutvärdering 2011-2014. Examina på grundnivå och avancerad nivå (fastställd
21/12 2010, reviderad 19/6 2012).
Högskoleverket (2012b) Kvalitetsutvärdering av statsvetenskap,
freds- och konfliktstudier, utvecklingsstudier och närliggande huvudområden.
Johansson, V. (2006) Tillsyn och effektivitet. Umeå: Boréa
bokförlag.
Lindberg Sand, Å (2011) Koloss på lerfötter? Utveckling av metodik
för ett resultatbaserat kvalitetssystem i svensk högre utbildning. CED,
Centre for Educational Development, Lunds universitet.
Lindgren, L (2006) Utvärderingsmonstet. Kvalitets- och
resultatmätning i den offentliga sektorn. Lund: Studentlitteratur.
Lindström, E. (2012) Statlig styrning och ansvarsutkrävande.
Stockholm: Riksbankens Jubileumsfonds områdesgrupp för mål- och
resultatstyrning.
Pollit, C.
(2003) Performance audit in Western Europé: Trends and choices.
Critical Perspectives on Accounting, vol 14/1-2
(157-170).
Proposition 2009/10:139 Fokus på kunskap – kvalitet i den högre
utbildningen.
Regeringsbeslut (2010) Riktlinjer för uppdrag om kvalitetsutvärdering
av utbildning på grundnivå och avancerad nivå. Utbildningsdepartementet
(2010-07-08)
Riksrevisionen (2012) Att styra självständiga lärosäten.
SUHF (2012) Sveriges utvärderingssystem för högre utbildning underkänns,
ENQA-rapport. Pressmeddelande (www.suhf.se/web/Pressmeddelande.aspx).
SULF-tidningen (2012) nr 10.
[1] ”Vill du bli statsvetare ska du
förstås läsa bästa statsvetenskapliga utbildningen, vid Göteborgs universitet…”
tweet av Henric Oscarsson, 20 juni 2012. ”Utbildningarna i statsvetenskap och i
europakunskap i Göteborg bäst i landet…” tweet av Ulf Bjereld, 20 juni 2012.
[2] Lena Lindgren är fil dr i statsvetenskap och docent
i offentlig förvaltning vid Göteborgs universitet. Hon har omfattande
erfarenhet av undervisning och forskning om utvärdering. Hon har också genomfört
ett stort antal utvärderingar på beställning av olika myndigheter, har varit
ordförande i Svenska utvärderingsföreningen och är ledamot i Högskoleverkets
vetenskapliga råd för utvärderingsfrågor.
[3] En grundlig beskrivning av utvärderingssystemets rötter och
framväxt som inkluderar de svårigheter och konflikter som funnits återfinns i
Lindberg Sand (2011). Där finns för övrigt också en utförlig analys och kritisk
diskussion av validiteten i den sorts bedömningsunderlag som Högskoleverkets
utvärderingssystem tillämpar.
