dcsimg Hvordan får vi viden om, hvad der virker? - Rambøll i Danmark
     
|
 
 
 
 
 
 
 
 
 
 

Hvordan får vi viden om, hvad der virker?

Uanset om det gælder beskæftigelse, uddannelse eller socialområdet, er det en politisk varm kartoffel at prioritere mellem velfærdsindsatserne. Nøglen til at få det maksimale ud af de begrænsede offentlige midler kan meget vel ligge i kontrollerede lodtrækningsforsøg (RCT). Få forklaringen i dette ekspertindlæg.

 
 

Af Line Renate Hanssen, Manager i Public Policy, Rambøll Management Consulting

Øges elevers indlæring ved at modtage undervisning med to lærere fremfor en? Medfører ekstra timer i dansk bedre skoleresultater for elever end det normale timetal? Medfører et curriculum, hvor pædagoger læser bøger med børn på en bestemt måde, at børns sprog stimuleres mere end almindelig oplæsning gør?

Politikere såvel som praktikere står overfor svære valg, når de skal vælge, hvilke indsatser de skal iværksætte overfor de udfordringer, der er på velfærdsområderne.

Kontrollerede lodtrækningsforsøg (RCT) er et af de absolut stærkeste værktøjer til at undersøge effekten af indsatser og er med til at give politiske beslutningstagere input til at træffe svære prioriteringsvalg, ud fra den bedst tilgængelige viden om, hvad der virker.

I Rambøll har vi gennem de seneste par år været med til at gennemføre knap 20 RCT’er på beskæftigelses, dagtilbuds- og uddannelsesområdet (bl.a. i samarbejde med forskere fra TrygFondens Børneforskningscenter) og har i den forbindelse gjort os en række erfaringer.

Jeg vil i dette indlæg dele ud af mine erfaringer. For at et RCT kan give de ønskede, klare og sammenhængende konklusioner om, hvilke indsatser der skaber de største resultater for de relevante målgrupper, er det nødvendigt, at følgende er opfyldt:

Hvornår: Iværksæt et RCT, når du vil kende en indsats’ kausale effekt og gør det i et programs pilotfase eller inden programmets opskalering.

Hvordan: Udover at have gode effektmål, skal du indsamle data om indsatsens implementering (om indsatsen implementeres loyalt, institutionens ledelse, medarbejdernes forandringsparathed, osv.) for at få viden om, hvorfor der er en effekt.

Hvem: Sørg for at have et projektteam med kompetencer inden for effektevaluering, indsatsudvikling og implementeringsunderstøttelse. Det vil ofte indebære en høj grad af tværfaglighed og dyb sektorindsigt samt et indgående samarbejde med praksis.

Hvad er et RCT?

Kontrollerede lodtrækningsforsøg (RCT) er et af de absolut stærkeste værktøjer til at undersøge effekten af en politisk indsats. Kort fortalt er et RCT et forsøg, hvor personer tilfældigt udtrækkes til at modtage en af flere mulige indsatser. En af disse indsatser er en kontrol- eller sammenligningsindsats og består som oftest af den nuværende praksis. Derefter sammenligner man indsatsgrupperne på et eller flere kvantificerbare outcomes, og hvis der er forskel, antager man, at denne skyldes indsats, og at der således er en kausal sammenhæng mellem indsats og resultaterne.

Illustration af randomisering

Illustration: Randomisering

En korrekt udført lodtrækning – randomisering – medfører, at deltagerne i indsats- og sammenligningsgrupperne ikke adskiller sig systematisk fra hinanden, inden forsøget igangsættes. Således kan vi tillægge efterfølgende forskelle mellem grupperne som værende et resultat af indsatsen i stedet for andre faktorer. Sammenlignet med alternative effektevalueringsmetoder er den store metodiske fordel ved RCT nemlig, at randomiseringen eliminerer muligheden for, at en række såvel observerbare som u-observerbare faktorer kan skævvride evalueringens resultat.

Fra en politisk beslutningstagers synspunkt tilbyder RCT klare og sammenhængende konklusioner om, hvilke indsatser der skaber de største resultater for de relevante målgrupper.

Hvornår giver det mening at gennemføre et RCT?

Inden man iværksætter et RCT-design, er det værd at gøre sig nogle overvejelser om, hvorvidt designet er hensigtsmæssigt i den konkrete situation. Her vil jeg opsummere, hvornår man kan overveje et RCT, og også hvornår man ikke bør tilbyde et RCT-design.

Et RCT vil ofte være relevant, hvis formålet med evalueringen er at vurdere, om en indsats:

  • Har signifikant effekt
  • Er omkostningseffektiv
  • Virker bedre for en gruppe frem for andre grupper
  • Har bestemte elementer, der virker bedre end andre

Ud over at overveje, hvad evalueringen skal bruges til, bør du overveje tidspunktet for at iværksætte et RCT. Et RCT bør ikke iværksættes for tidligt, men heller ikke for sent. Det ideelle tidspunkt at iværksætte et RCT er således i et programs pilotfase, eller inden et program opskaleres og gøres landsdækkende. I pilotfasen planlægger man måske at teste et nyt program eller at implementere et kendt program for en ny målgruppe. I disse tilfælde ønsker man sandsynligvis at få kendskab til programmets effektivitet eller viden om, hvordan man kan forbedre programmet. Ligeledes vil et pilotstudie som oftest kun blive testet på en udvalgt gruppe mennesker, hvorfor det ofte vil være muligt at etablere en kontrolgruppe.

Et RCT-studie bør også implementeres inden opskalering. Såfremt et program udrulles på nationalt niveau, vil det som udgangspunkt ikke være muligt at anvende en kontrolgruppe, og det umuliggør et RCT-studie, idet vi ikke kan undersøge, hvad der ville ske i fraværet af indsatsen

Hvordan bliver et RCT meningsfuldt?

For at et RCT giver mest mulig relevant viden, skal det designes, så vi ikke kun får viden om effekten af en indsats, men også hvorfor og hvordan og for hvem indsatserne virker.Nogle mennesker er skeptiske overfor, om man overhovedet kan anvende RCT på velfærdsområdet, og mener, at det udelukkende kan anvendes i et kontrolleret laboratoriemiljø:

”The RCT design is a theoretical construct of considerable interest, but it has essentially zero practical application to the field of human affairs” (Scrivens, 2008).

Jeg er uenig i dette argument og mener grundlæggende, at selv om real-life RCTs er mere udfordrende at gennemføre end kliniske RCTs, så er disse udfordringer dels håndterbare, og dels gør ”real-life settings”, at den eksterne validitet (generealiserbarheden) af resultaterne er meget højere.

Illustration: Forskelle typer af RCT’er

Kontekst og design

En anden ofte anført indvending imod RCT handler om, hvad man kan bruge RCTs til:

“Black box RCTs ”only address one, limited, evaluation question, and that a broader range of evaluation approaches are available and should be used to address questions of relevance” (White, 2013).

Et RCT-design alene (et såkaldt Black box RCT) besvarer kun spørgsmål om effekt. Derfor gennemfører Rambøll som udgangspunkt altid White box RCTs, hvor kontroldesignet suppleres af fidelitets- og implementeringsanalyser.

Fidelitetsanalyser måler, om programmets indsatser implementeres som forudsat i interventionsmodellen, altså om målgrupperne får den indsats, de skal, på de rigtige tidspunkter, i den rigtige dosis, rækkefølge, med de rigtige metoder og tilgange. Implementeringsanalyser afdækker, som begrebet antyder, hvordan programmet implementeres. På den måde opnår man mere rig viden, både om effekten af indsatserne og betydning af måden, indsatserne er implementeret på, og den kontekst de implementeres i.

Tilgangen giver solid viden, der kan kvalificere effektanalyserne af RCT’et. Hvis vi fx i effektanalysen ser, at nogle organisationer eller enheder opnår bedre effekter end andre, kan vi åbne Black box’en og vurdere, om forskelle i organisationer og deres måde at implementere på, kan sandsynliggøre forskelle i effekter. Vi får samtidig bedre muligheder for at rådgive om, hvordan fremtidige tiltag bør organiseres og tilrettelægges, og hvordan en myndighed kan understøtte implementering mest effektivt.   

Hvem er med til at gøre RCT meningsfuldt?

Når mange mennesker hører om kontrollede lodtrækningsforsøg, tænker de straks, at det er noget der kræver statistisk ekspertise. Det gør det – også!

At gennemføre et RCT er dog en kompleks proces som, udover effektevalueringer, også handler om at understøtte implementeringen af en eller flere indsatser. Derudover vil det nogle gange også indebære, at man udvikler selve den indsats, der afprøves.

Der er ofte flere spor, når man skal gennemføre et RCT:

  • Indsatsudvikling: Indebærer at sikre, at indsatserne er evidensbaserede, behovsrelaterede, realistiske og tilgængelige for den målgruppe, der skal implementere indsatsen.
  • Implementeringsunderstøttelse: Dette handler om at muliggøre gennemførelsen af indsatsen ved at målgruppen har den nødvendige viden, motivation og kompetencer.
  • Implementerings- og effektanalyser: Denne del handler om at dokumentere, hvordan forløbet er gennemført, og hvilke effekter der er resulteret heraf. I de to sidstnævnte spor er der aktiviteter før, under og efter forsøget.
Alle tre spor leder frem til en omfattende spredning af viden om effektfulde forløb med henblik på opskalering. Således er det centralt at have team-medlemmer med indsigt i formidling og kommunikation, der kan være med til at sprede viden fra forsøget, så en større målgruppe kan få glæde af erfaringerne.
Det betyder, at det at gennemføre og evaluere et RCT kræver mange forskelligartede kompetencer, så man sikrer, at man har et projektteam med indsigt i forsøgsdesign, statistik, dataindsamling, det givne sektorområde og ofte en eller flere konkrete metoder og samtidig har indsigt i, hvordan man kan bedst man understøtte implementering.

Line Renate Gustafsson
Line Renate Hanssen
Manager
M5161 8186
Elieg@ramboll.com