Högskolans kvalitetsmätning kritiseras internationellt

Hur man ska mäta kvalitén av en högre utbildning är inte självklart. Kaliber berättar historien om hur Utbildningsdepartementet drev igenom en utvärderingsmodell, trots protester från både lärosäten, studenter och högskoleverket - en modell som nu kritiseras internationellt och riskerar att sätta den svenska högskolan i ett europeiskt B-lag.

Lyssna på alla avsnitt i Sveriges Radios app.

Statens utvärderingssystem för högskolan drevs igenom av regeringen trots protester från både lärosäten, studenter och regeringens egen expertmyndighet. I efterhand visade det sig att protesterna var befogade.

Det är juni 2010 och en universitetskansler avgår.

– Jag tror första gången jag sa det var under ett insynsrådsmöte. Då hade jag redan meddelat Peter Honeth, statsekreteraren, att det fick bli på det här sättet.

– Med det förslag som låg i propositionen om hur man skulle mätte kvalitet på svenska studenter och utbildningar, jag såg att systemet inte skulle göra jobbet. Och systemet skulle ha alla möjligheter att bli djupt orättvist.

Anders Flodström hade tillträtt jobbet som chef för expertmyndighet för Högskoleverket 2007. Han kom närmast från KTH där han varit rektor i åtta år. Men i början av juni 2010 beslutar han att avgå som universitetskansler omgående. Vi sitter på Kungliga Tekniska Högskolans bibliotek i Stockholm.

– Det växte väl fram, men det växte fram ganska fort.

Anders Flodströms avgång är slutet på en process som börjar ett drygt år tidigare. Vi backar till 2009. Expertmyndigheten, Högskoleverket, har fått i uppdrag av regeringen att lämna in ett förslag på kvalitetsutvärderingssystem med större fokus på utbildningarnas resultat. I september lämnar de in förslaget till Utbildningsdepartementet. Högskoleverket föreslår att man ska titta på tre saker när man bedömer kvalitén i landets utbildningar. Dels hur utbildningarna är utformade, studenternas examensarbeten, och hur studenterna upplever sin utbildning. Förslaget har tagits fram i samarbete med landets högskolor, universitet och studentorganisationer. Täta avstämningar har hållits mellan Högskoleverket och departementet under det senaste halvåret.

– Efter den femtonde september tystnade den dialogen. Vi hade inga fler möten omkring det här.

Lena Adamson är vid den här tiden huvudsekreterare och ställföreträdande myndighetschef på Högskoleverket och universitetskanslerns högra hand. Det är hon som i praktiken har tagit fram förslaget till utvärderingssystemet.
– Vi fick ingen feedback på vad de tyckte om systemet förrän vi började höra utifrån att statssekretereraren är ute och pratar med bland annat förvaltningscheferna på universiteten och är mycket missnöjd med systemet och säger i princip att det ska slängas.

I förra veckans Kaliber berättade vi om problemen med det utvärderingssystem av högskoleutbildningar som sedan infördes. Vi visade att metoden brister.

Idag berättar vi vad som hände när regeringsdepartementet och dess expertmyndighet Högskoleverket blev oense om hur systemet skulle utformas. Svensk förvaltning bygger på att myndigheterna står så självständiga från regeringen. Och det är på myndigheterna, inte i regeringskansliet, som man tar fram de konkreta förslagen på hur regeringens politik ska genomföras. I det här fallet var det Högskoleverket som skulle utvärdera svenska högskolor och det var de som skulle utarbeta en metod för det.

Tillbaka till hösten 2009. Huvudsekreteraren Lena Adamson och universitetskanslern Anders Flodström på Högskoleverket inser till slut att deras förslag på utvärderingssystem inte har godkänts på departementet.

– Då startade processen om hur ett förändrat förslag skulle se ut och den hade en hel del humor. Departementets sakkunniga förvandlades till ett minihögskoleverk, det hyrdes in expertis från Lund. För mig var det lite som ett korplag skulle representera Sverige i VM.

På Utbildningsdepartementet har nu delar av Högskoleverkets förslag hamnat i papperskorgen och departementet tar fram eget förslag till utvärderingssystem. En ovanlig ordning, då det alltså oftast inom svensk statsförvaltning är expertmyndigheten som tar fram underlag till nya propositioner på regeringens uppdrag.

Men på Högskoleverket råder stiltje. Joakim Palestro är biträdande chef på utvärderingsavdelningen där under den här tiden.
– Det kom inte några besked. Ju längre tiden gick, ju mer ansträngande tyckte jag personligen att det var att vi inte fick ett tydligt uppdrag. Vad ska vi göra? Det kom signaler om att vi ska göra om detta, och med tanke på att det hade tagit ett halvår att göra det förra förslaget så hoppades jag att det skulle gå tämligen fort.

När ryktet sprids att departementet håller på att utveckla sitt egna förslag skriver ordföranden för universitet och högskolornas samarbetsorganisation, SUHF, i februari 2010 ett brev till högskoleministern. Hon uttrycker, å förbundets vägnar, oro för att departementet ska strunta i Högskoleverkets förslag, som är väl förankrat hos lärosätena.

En kort tid innan förslaget på utvärderingssystem för högskolan ska klubbas i riksdagen bjuder departementet in representanter för högskolesektorn till ett möte. På det mötet presenteras ett helt nytt förslag på utvärderingssystem.

– Där fick vi se en powerpointpresentation av ett nytt förslag för första gången och det var ju väldigt underligt att det kom ett nytt förslag på så kort varsel innan det skulle in till riksdagen, som presenteras med en powerpoint bara. Vi var ganska upprörda över det här.

Klas-Herman Lundgren, ordförande för Sveriges Förenade Studentkårer vid den här tiden, är med på mötet. Vi har stämt träff på en konferensanläggning. Bredvid porlar en fontän.

– Man hade gått från ett förslag som hade diskuterats med sektorn till att departementet på så kort tid innan la fram ett helt eget förslag utan några reella underlag, utan bara en dragning i storsal. Man förstod att ett sånt förslag kanske inte skulle förändras så mycket innan det kom till riksdagen eftersom det var så kort tid kvar.

Ledningen på Högskoleverket, den myndighet som haft till uppdrag att ta fram förslaget, får däremot inte komma på mötet. Lena Adamson:

– Den inbjudan, där blev alltså Anders Flodström och jag nekade att komma till det mötet.

– Vi fick ju höra förstås om detta möte från tredje part, men vi som skulle göra själva jobbet var inte erbjudna att delta.

Joakim Palestro, fortfarande kvar på samma arbetsplats, före detta Högskoleverket som idag heter Universitetskanslersämbetet.

– Och då var förtroendeklyftan monumental. Då tror jag många upplevde att det här kommer inte gå. Anders Flodström kommer att hoppa av.

De som är inbjudna på mötet, har alltså bara en powerpointpresentation och några dagar på sig att lämna synpunkter på departementets förslag. Klas-Herman Lundgren, f d ordförande på Sveriges förenade studentkårer igen.

– Från studenternas håll ifrågasatte vi att departementet hade gjort sitt egna förslag och struntat i sin expertmyndighet och åsikterna från sektorn. Speciellt som man samtidigt pratade om från departementets håll att det var väldigt viktigt med frihet inom högskolesektorn. Det var ändå ett ledord som man hade från departementet, att det var viktigt med frihet och autonomi. Att samtidigt göra så här med ett förslag, det var vi väldigt kritiska till.

Det vanliga är att alla berörda remissinstanser har omkring tre månader på sig att läsa igenom utförliga skriftliga förslag och komma med synpunkter innan en proposition ska klubbas i riksdagen. Den här gången har de bara en powepointpresentation som underlag och några dagar på sig.

Av de 28 synpunkter på departementets förslag som kommer in är 3 positivt inställda. Där finns rektorerna vid Uppsala universitet, KI, SLU och KTH. Övriga 25 är emot departementets förslag, bland andra Sveriges förenade studentkårer, 9 lärosäten och universitetslärarnas fackförbund SULF. Ann Fritzell som vid den här tiden är förbundets chefsutredare skriver att förslaget är “olämpligt, olyckligt, otydligt och delvis obegripligt”.

– Ilskan var i första hand kopplat till processen, både själva hearingen och den orimligt korta tid vi fick på oss för att reagera. Eftersom jag vet hur arbetet går till i regeringskansliet, så innebar det ju att de ändrade ju inte en stavelse på någonting som man hade tänkt. Det var ju praktiskt taget omöjligt med den tidsplan man hade. Det var ju bara ett spel för gallerierna. Jag var också frustrerad över att detta blev slutet på den process som redan från början hade varit tveksam.

Och det var då du skrev det här remissvaret?

– Ja, jag har skrivit många remissvar genom åren. Det här är det mest ilskna, frustrerade remissvar jag någonsin har skrivit.

– Det här som vi brukar berömma oss med i Sverige att vi har den svenska modellen och att experter utreder och att man försöker belysa saker från olika håll och titta på konsekvenser och så, och att det sen remissbehandlas innan man lägger förslag i proposition till riksdagen, hela den processen var ju helt överspelad och ignorerad.

På Utbildningsdepartementet möter vi statssekreterare Peter Honeth, ministerns närmaste man och den som ledde arbetet med förslaget till ett nytt utvärderingssystem. Han menar att det inte är anmärkningsvärt att departementet frångick Högskoleverkets förslag och istället gjorde ett eget.

– Det är inget konstigt med det. Och sen stämde vi av det lite snabbt innan vi la en proposition. Men det är fel att kalla det här ett hastverk. Det hade en lång historia med flera remisser.

I propositionen ingick också andra förslag som remissbehandlats i traditionell ordning, men det gäller inte utvärderingssystemet.

– Till syvende och sist måste det vara regeringen som tar ansvar för de förslag som föreläggs riksdagen. Myndigheten är just en expertmyndighet som tar fram ett förslag. Och sen är det inte alls ovanligt att det behöver ändras på olika sätt. Och speciellt som man i det här fallet inte hade följt de direktiv som man hade fått från regeringen. Resultatet blev något som vi inte tyckte stämde med uppdraget och inte heller något som var rimligt utifrån det här med vad som är statens roll. Statens roll är att se om resultatet av utbildningen blir det som förskrivs. Universitetskanslersämbetets förslag fokuserade inte tillräckligt tydligt på det utan gick mycket in i hur verksamheten skulle bedrivas. Det tycker vi är universitets och högskolors ansvar, inte statens att ha uppfattningar om. Det var en ganska viktig principiell grund för det förslag som sen lades fram.

– De direktiv som förelåg var att ni ska utarbeta ett utvärderingssystem som ska ha fokus mot resultat och mot de självständiga arbetena. Och det tyckte vi ändå att det var det vi levererade.
Joakim Palestro igen, vid den här tiden biträdande chef på Högskoleverkets utvärderingsavdelning.
– Vi fick inget direkt uppdrag att det här ville man inte ha. Säkert antydningar, men det är väl symptomatiskt i statens nya styrning av myndigheter är att det sker via det som kallas mjuk styrning. Vi har mycket dialoger med regeringskansliet istället för konkreta uppdrag där man har ett underlag, det vill säga ett beslut och förordningar och regleringsbrev som underlag. Då kan man gå tillbaka. Här är lite svårare. Framför allt att kontrollera hur det faktiskt gick till. Det förekom i slutna rum mellan olika personer.

Lena Adamson, dåvarande huvudsekreterare på Högskoleverket:
– Vi följde allt det som fanns skriftligt beslutat. Och jag tycker fortfarande att vi försökte på alla sätt hitta en väg ut och det gjorde vi tills den dagen som riksdagen fattade sitt beslut och då gick vi därifrån. Och det tycker jag är det hederliga sättet att göra så.

Efter det skriftliga regeringsuppdraget hölls det flera informella möten mellan departementet och expertmyndigheten för att följa upp arbetet med utvärderingssystemet.

– Jag tror faktiskt, men det är min högst personliga uppfattning, att de nog var lite rädda att vi inte skulle göra som de sa. Att vi var sossifierade, eller hur man nu ska uttrycka det. Att vi under så lång tid blivit påverkad av den socialdemokratiska regeringen att vi inte ville förändra oss. Det vänder jag mig väldigt starkt emot. Vi som jobbar på myndigheter är väldig professionella. Vi lyssnar av och har ett uppdrag att leverera underlag. Sen är det våra politiker som beslutar. Men det fanns en vilja att kolla upp, och detta skedde i princip genom olika typer av möten som ägde rum, så ofta som en gång i veckan. Och det kan jag tycka att det är nästan ett orimligt inflytande ett regeringskansli kan ha på en myndighet, att man ska träffas så ofta för att stämma av saker. Det borde kanske kunna skötas en gång i månaden.

I våras presenterade Statskontoret en rapport som visar att regeringen sen 2009 i högre grad än tidigare styr sina myndigheter informellt, alltså med tätare möten och avstämningar som komplement till den formella myndighetsstyrningen. Det finns fördelar med det, men det ställer också höga krav på både Regeringskansliet och myndighetsföreträdarna, så att informationsutbytet inte går utanför den formella styrningen.

Tillbaka till tidig vår 2010 och den tidpunkt då Utbildningsdepartementet redovisar sitt förslag på nytt utvärderingssystem med hjälp av en powerpointpresentation. Istället för att vara med på det stora mötet med lärosätena och studenterna får Högskoleverkets ledning komma på ett enskilt möte före det stora. Det är Lena Adamson som går.

– Och då var det så att Anders och jag hade ju pratat om det här och hade en misstanke om varför vi skulle se det här först. Man skulle vilja säga att det var förankrat på Högskoleverket. Jag hade ett uppdrag på det mötet och det var att göra tydligt att det här är inget som är förankrat hos Högskoleverket. Jag sa det vid tre tillfällen på det mötet så att det inte skulle kunna misstolkas. Det var inget roligt möte. Vid ett tillfälle sa jag att det här kommer inte att bli godkänt av ENQA, det uppfyller inte European Standards and Guidelines. Då säger han att regeringen kan bestämma vad den vill. Den kan bestämma vad du har för färg på väggarna på Högskoleverket. Det var den tonen som var.

Tidigare under våren har Lena Adamson skrivit en debattartikel i Sveriges universitetslärarares facktidning. I artikeln varnar hon för att Sveriges nya utvärderingssystem kan bli underkänt av det Europeiska kvalitetsorganet för högre utbildning, ENQA. Hon skriver att regeringen har blandat sig i systemets utformning i allt för hög grad, vilket är förbjudet enligt ENQAs regler. Detta för att förhindra att länder med auktoritära statsskick lägger sig i sina myndigheters arbete för mycket. “Det är i det sällskapet vi befinner oss idag”, avslutar hon artikeln.

– Som anställd på en myndighet ska man naturligtvis inte gå in i en politisk diskussion med departementet, det är inte alls ens roll. Men jag såg inte att jag gjorde det. Jag diskuterade metoden och försökte få dem att förstå att det här kommer inte att bli godkänt. Jag tycker att det var mitt ansvar i den här frågan. Jag visste, vi visste - vi visste att de visste - att det här systemet blir inte godkänt. Jag tycker att det är en enormt allvarlig fråga och då måste jag ta mitt ansvar att på olika sätt försöka förändra den situationen.

Om man tyckte redan från departementets håll att Högskoleverket gör inte som vi säger och nu tycker de dessutom att vi är en diktatorisk regering?
– Men då får man fråga sig, vad skulle vi göra? Skulle vi följa vår instruktion och regleringsbrev och regeringsuppdrag eller skulle vi följa det som sades informellt i sammanhang där man inte förde några minnesanteckningar? Det här är det man kallar för double bind. Att ge dubbla budskap. Man vet inte åt vilket håll man ska vända sig åt.

Efter att regeringen till slut lagt fram sin proposition, Fokus på kunskap - kvalitet i den högre utbildningen, anmäler socialdemokraten Marie Granlund processen till Konstitutionsutskottet. Bland annat skriver hon att regeringens samlade agerande väcker en hel del allvarliga frågor kring hur styrningen av högskolan egentligen fungerar.

Men Konstitutionsutskottet framför ingen kritik, utan pekar på de relativt stora befogenheter regeringen har att styra sina myndigheter. Anders Flodström, f d universitetskansler och chef för Högskoleverket:
Ingår det inte i jobbet att lyda departementet?
– Nej det tycker jag inte att det gör. Myndigheterna representerar en sakkunskap - som Högskoleverket, som forskningsråden, som universiteten och Socialstyrelsen, ska ha en egen kraft genom att låta sakkunskapen synas gentemot politiken.

Regeringen ska lyssna på sina expertmyndigheter säger den f d myndighetschefen.

Det är regeringen som ansvarar för politiken, säger statssekreteraren på Utbildningsdepartementet. Häri ligger konflikten, regeringen har ansvar för politiken, men den ska också lyssna på sina expertmyndigheter. I det här fallet är de två inte överens om vem som ska lyssna på vem, och hur mycket.

Ann Fritzell, som tidigare arbetat på både universitetslärarfacket och på Utbildningsdepartementet, liknar processen vid ministerstyre.

– Statssekreterarstyre skulle jag kalla det för, men det är ju samma sak som man brukar mena med ministerstyre. Att ministern lägger sig i detaljer och styr under myndighetens arbete.

Statssekreterarstyre, hur reagerar du på det?
Statssekreterare Peter Honeth igen.

– Då har man inte förstått hur ett departement fungerar, för det är inte så enkelt att en enskild person - allra minst en statssekreterare kan sitta och bestämma på egen hand. Det kan inte ens ett statsråd göra. Det är ändå en omfattande beredningsprocess också i regeringskansliet före ett beslut.

Förra veckan berättade Kaliber om de problem som finns med det nuvarande systemet för utvärdering av högskoleutbildningar. Idag berättar vi om hur systemet drevs igenom av Utbildningsdepartementet.

Sedan den borgerliga regeringen tillträdde 2006 har reformerna duggat tätt från Utbildningsdepartementet. Man har fattat snabba beslut som man sedan delvis fått backa från, kring t ex nationella prov, individuella utvecklingsplaner och lärarlegitimationer. När det gäller högskoleutbildning har lärosätena fått mindre eller mer pengar om vartannat. Och det nya utvärderingssystemet fick myndigheten sjösätta mycket snabbt. Man fick lägga rälsen medan man körde, enligt tjänstemän där.

I september förra året kom beslutet från den europeiska kvalitetsorganisationen för högre utbildning, ENQA.

– The agency should have played a bigger role in the development of the system.

Myndigheten borde ha haft en större roll i utvecklandet av utvärderingssystemet, säger Achim Hopbach, styrelseorförande på ENQA, som också menar att det finns storabrister i utvärderingsmetoden.
– När vi då får så skarp kritik från ENQA som vi har fått, då skadas anseendet för svensk högre utbildning internationellt sett.

Erik Arroy, ordförande för Sveriges förenade studentkårer:

– Det påverkar ju förtroendet för svensk högre utbildning och de studenter som gått där.

Joakim Palestro om kritiken från ENQA:

– Den är mycket allvarlig. Det känns jobbigt att jobba utifrån de premisserna. Högskoleverket var en av de första organisationerna som blev ackrediterade. Vi har en bred internationell ansats där vi verkligen vill delta i internationella sammanhang och uppleva att det vi gör håller en bra kvalitet. Det påverkar vårt arbete och det kommer behöva göras ett antal åtgärder för att vi ska överstämma med ENQAs krav. Vissa saker måste vi revidera.

Sverige är nu satt under granskning och kan uteslutas ur det europeiska samarbetet om bristerna inte rättas till.

En universitetskansler avgår. Sverige får ett nytt utvärderingssystem för att mäta kvalitén i högre utbildning. Systemet underkänns av viktiga aktörer inom sektorn och av den Europeiska kvalitetsorganisationen ENQA. Peter Honeth på Utbildningsdepartementet igen.

– Jag tycker att de i vissa delar har rätt, i andra delar har de inte riktigt förstått hela systemet. Nu håller Universitetskanslersämbetet på med en förnyad ansökan och så får vi väl se hur ENQA bedömer den.
Men då skulle det kräva att myndigheten hade större självständighet när det gäller att utforma utvärderingssystem?
– Ja, eftersom det blev den här debatten så gick ju vi förhållandevis lite längre än vad vi hade önskat i att gentemot riksdagen beskriva hur det här nya systemet skulle fungera. Den typen av detaljer hade vi kanske normalt inte gjort. Och det har vi också sen sagt att Universitetskanslersämbetet måste få ett större ansvar att närmare utforma systemet.

Peter Honeth tycker att det är naturligt att utvärderingssystemet nu justeras i efterhand. Och enligt den senaste budgetpropositionen kommer man att fortsätta med det nuvarande systemet.
Är du självkritisk i någon mening?
– Ja, det måste ju vi också vara, för det blev ingen bra process mellan oss och dåvarande Högskoleverket. Det är bara att konstatera. Det var ju inte bra. Och vi hade säkert skuld i detta och det hade säkert Högskoleverkets dåvarande ledning, och vi får väl på båda sidor fundera över vad det berodde på. Vi har ändå som resultat av den här processen ett system som fungerar. Det kan behöva justeras i vissa detaljer, men det fungerar.
Hur tror du att det kommer sig att det blev så infekterat att den dåvarande universitetskanslern avgick?
– Ja, det får du fråga honom om. I mina ögon är det inte konstigt att en myndighet och regeringen har olika uppfattningar.

Tillbaka till Kungliga Tekniska Högskolans bibliotek dit den förre universitetskanslern Anders Flodström återvände till jobbet som professor efter sin avgång.

Hur kunde det gå sådan prestige i det här, hur kunde det bli så låsta positioner?
– Det är en sådan fråga som jag fortfarande rannsakar mig själv. Det är en fråga som får ställas till mig, som du gör nu, och till Peter Honeth. Och jag tror tyvärr att även mot den erfarenhet vi har nu efter tre år, om vi skulle diskutera det här igen, så tror jag inte vi skulle hitta någon annan lösning. Jag tycker att ett system att mäta de verkliga resultaten från utbildningarna är alldeles utomordentligt, men problemet ligger i att utföra den här politiska logiken, så har man varit fruktansvärt usel och man har ställt till en helvetes massa bekymmer.

Reportrar: Anna Iversen och Maja Lagercrantz