Utnytter ikke reformene

Kommentar: Både offentlige og private virksomheter prøver stadig ut nye måter å gjøre ting på, men de lærer mindre av slike tiltak enn de kunne ha gjort, skriver professor Alexander W. Cappelen i «Fredagskronikken» i Dagens Næringsliv 1. februar 2013.

01.02.2013 - Alexander W. Cappelen

Offentlig sektor gjennomfører stadig nye reformer. Ikke minst i skolevesenet og helsevesenet blir den ene reformen avløst av den andre. Ambisjonene for reformene er typisk at det offentlige skal utføre sitt samfunnsoppdrag på en bedre og mer effektiv måte.

I lys av denne viljen til å finne nye og bedre måter å gjøre ting på, er det slående at man ikke tar enkle grep for å lære mer om effekten av reformene.

Det mangler definitivt ikke på evalueringer av reformene i offentlig sektor, men slike evalueringer sliter under det faktum at man sjelden har en kontrollgruppe å sammenligne med. Typisk gjennomføres reformer samtidig for alle.

For å illustrere problemet, tenk på en undervisningsreform som gjennomføres på alle norske skoler. Hvis vi etter noen år finner at norske elever gjør det bedre på de nasjonale prøvene, har vi da lært at reformen var vellykket?

Absolutt ikke. Vi kan ikke vite om endringen skyldes reformen eller andre endringer som har skjedd i samme periode.

Så hvordan bør myndighetene ideelt sett gå fram dersom man ønsker å undersøke virkningen av reformer?

De bør lære av det som er den metodiske gullstandarden i mange vitenskaper: De må etablere kontrollgrupper. Fremgangsmåten man benytter i medisin for å studere effekten av et nytt medikament, er et godt eksempel. Man tar en gruppe pasienter som er villige til å prøve ut det nye medikamentet, og så deler man pasientene tilfeldig i to grupper: en behandlingsgruppe og en kontrollgruppe. Behandlingsgruppen får piller med medikamentet, mens kontrollgruppen får piller uten medikamentet.

Tilfeldig plassering i to grupper innebærer at det ikke vil være noen systematiske forskjeller mellom de to gruppene, hverken med hensyn til observerbare eller ikke-observerbare egenskaper. Siden de to gruppene av pasienter i utgangspunktet er like, vet man at enhver forskjell i hvordan det går med dem, må være forårsaket av medikamentet.

Det finnes opplagt noen reformer i offentlig sektor hvor det ikke er mulig å benytte seg av kontrollgrupper. Noen reformer påvirker nødvendigvis alle, og i enkelte tilfeller kan det være lovstridig å behandle folk ulikt. Men ofte er det slående enkelt å etablere en kontrollgruppe. Det er mange hundre offentlige skoler i Norge - et ypperlig utgangspunkt for gjennomføring av eksperimenter med kontrollgrupper.

Og det er et paradoks at helsevesenet, som bruker eksperimentell metode og kontrollgrupper når det tester ut nye medikamenter, synes ute av stand til å etablere kontrollgrupper når det tester ut nye måter å organisere virksomheten på.

Det er ikke bare offentlig sektor som bør bli flinkere til å bruke kontrollgrupper for å undersøke effekten av nye tiltak. Både private bedrifter og frivillige organisasjoner har samme utfordring - de lærer mindre enn de kunne ha gjort.

For eksempel bør en butikkjede som ønsker å finne ut om en ny bonusordning for selgerne er vellykket, sørge for å beholde en kontrollgruppe som ikke introduserer ordningen.

Tilsvarende bør en frivillig organisasjon som vil prøve ut en ny kampanje overfor potensielle givere, sørge for at de har en kontrollgruppe som ikke eksponeres.

Økonomifaget har de siste tiårene omfavnet bruken av eksperimentell metode. Vernon Smith, som fikk Nobelprisen i 2002 sammen med Daniel Kahneman, var en pioner. I dag har eksperimentell metode blitt en viktig tilnærming i økonomifaget, i alt fra utviklingsøkonomi til finans. Hovedgrunnen til at økonomifaget har trykket metoden til sitt bryst, er nettopp at bruken av kontrollgrupper gjør det mulig å få bedre kunnskap om virkningen av økonomiske virkemidler.

Forhåpentligvis vil den nye interessen for eksperimentell metode i økonomifaget føre til at våre kommende ledere i offentlig og private virksomheter får øynene opp for verdien av å eksperimentere og av å benytte kontrollgrupper.