Realisme, rettidighed og målbarhed er nøgleordene i det gode undersøgelsesdesign

Det kan være svært at holde sig i ro, hvis man er en vaskeægte ildsjæl. Civilsamfundet vrimler med dedikerede mennesker, der brænder efter at gøre en forskel her og nu, men nogle gange er det bedst, hvis man venter en lille smule med at kaste sig ud i sit projekt. 

For hvis man vil vide med sikkerhed, om man gør en forskel, er det vigtigt, at man kan dokumentere sine resultater, både internt og eksternt. Det kræver, at projektevalueringen hviler på et solidt undersøgelsesdesign. 

“Tit er man jo gået i gang med sit projekt, inden man kommer i tanke om, at man også skal evaluere det, og det er uhensigtmæssigt,” forklarer Camilla Thorgaard, områdechef og evalueringsekspert i EVA (Danmarks Evalueringsinstitut). 

“Det er altid bedst at være enige om vilkårene på forhånd med dem, der skal bruge evalueringen. Uanset om det er din ledelse, en fond eller dine frivillige. På den måde sparer du tid og ressourcer på senere i projektet.”

Stil de rigtige spørgsmål fra start
Der er særligt ét vigtigt spørgsmål, man bør indlede med at stille sig selv, når der skal bygges et solidt undersøgelsesdesign, fortæller Camilla Thorgaard.

“Start med at overveje, hvad du egentligt ønsker  at få evalueret. Er det en enkeltindsats, jeres organisering, selve tilbuddet eller måske målgruppens fremskridt?”

“Det lyder måske lidt banalt, men ofte viser det sig faktisk, at mange har nogle lidt vage forestillinger om, hvad det er, der skal evalueres.”

Næste skridt er at se på, hvad det er for nogle konkrete evalueringsspørgsmål, man vil arbejde med, fortæller Camilla Thorgaard. 

“Hvis vi skulle omformulere vores kerneindsats til et spørgsmål, som vi kan undersøge, hvad er det så for et spørgsmål?” spørger hun og uddyber. 

“Ofte vil man starte med at spørge sig selv: Virker det vi gør? Men det spørgsmål bør du lige genoverveje. For hvad er det, det skal virke i forhold til? Og kan du overhovedet måle det?”

Hun foreslår derfor, at man finder nogle klare parametre, der er realistiske at måle på inden for projektets tidsramme.

Lad evalueringen hjælpe dig undervejs
Evalueringen kan være meget mere end en støvet rapport, der først afleveres, når projektet er slut. Faktisk kan man med det rigtige undersøgelsesdesign løbende evaluere på sin indsats, og derved bruge evalueringen til at forbedre sin indsats undervejs. 

“Spørg jer selv, hvilken viden, der virkelig ville kunne hjælpe jer til at rykke ved tingene? På den måde kan I knytte evalueringen op på nogle af de vigtige beslutninger, I skal træffe senere i forløbet.”

Mindre kan også gøre det, forklarer Camilla Thorgaard. Man kan godt have et velfungerende projekt, selvom man nøjes med at måle på nogle meget simple parametre, eksempelvis gennem optællinger af antal brugere.

“Det er måske rigeligt, men hvis I gerne vil bruge evalueringen til at styrke jeres indsats, så handler det om at finde frem til de målbare parametre, der reelt kan påvirke jeres beslutninger til det bedre i fremtiden.”

Guldstandarden du bør undgå
Når parametrene er udvalgt skal man overveje, hvordan man rent faktisk måler på dem. Der er flere metoder, der kan være relevante, men også faldgruber, man skal undgå, forklarer Camilla Thorgaard.

Guldstandarden er ofte den såkaldte effektmåling, men den kan være rigtig svær at gennemføre i praksis.

“Vi kan se, at det er en udfordring mange steder, at man gerne vil kunne se effekten i det man laver, når man laver indsatser i civilsamfundsorganisationer. Samtidig står vi tit i nogle situationer, hvor det kan være meget svært at lave sådan en effektmåling,” siger Camilla Thorgaard og forklarer.

“En effekt vil altid være et mål af en forskel mellem noget. Derfor skal man have en kontrolgruppe, så man kan se forskellen på dem i indsatsen og dem uden for indsatsen. Det princip er rigtigt godt til at måle effekt, men det kan være rigtig svært at overføre til de typer af indsatser, man laver i foreninger og i mange organisationer.”

Hvorfor er det svært at overføre? 

“Det kræver tit nogle ret avancerede kompetencer at få et godt effektstudie. Man risikerer, at selve evalueringen bliver lige så dyr eller dyrere end indsatsen. Der er en risiko for, at det hele kommer til at handle om at organisere indsatsen på en måde, så man kan foretage målingen. En tilgang, som kan være urealistisk  i forhold til den kontekst, de fleste civilsamfundsorganisationer befinder sig i.”

Realistiske metoder til civilsamfundet
Hvis man ser bort fra den ressourcetunge effektmåling, er der andre, mere tilgængelige metoder, til rådighed for civilsamfundet. 

Camilla Thorgaard fremhæver den klassiske målopfyldelsesevaluering, hvor man i modsætning til effektmålingen udelukkende måler på selve målsætningen, og ikke de tilsigtede og utilsigtede effekter. 

“Det kan være nemmere, fordi man her sætter sig nogle konkrete mål for en aktivitet - at ville have et bestemt antal unge i uddannelse - og så følger man op på, om det er lykkedes gennem en optælling.”

Det kan lyde simpelt, men en god målopfyldelsesevaluering kræver også en sikker hånd. Målsætningerne skal være meget klare, ellers risikerer man problemer, forklarer Camilla Thorgaard.

“Hvis ikke man har afgrænsningen på plads, risikerer man en knopskydning senere i processen. Man risikerer, at dataindsamlingsdelen vokser helt vildt, og man kan hurtigt sidde med et evalueringsprojekt, der sluger alle de ressourcer, man har.”

Derfor anbefaler hun, at ethvert undersøgelsesdesign hviler på et realistisk grundlag.

“I mange fondsansøgninger bliver der indskrevet meget store mål. Man vil måske mindske børneovervægt i Danmark, men det kan være meget svært at måle og dokumentere, hvis man er en lille forening eller organisation."

“Derfor er det altid en rigtigt god idé at være realistisk omkring sit undersøgelsesdesign. Udvælg nogle parametre, I ved I kan måle systematisk på. Så vil evalueringen hvile på et solidt grundlag, og det vil helt sikkert komme projektet til gavn undervejs.”