Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter

Spørgeskemaer, eksterne konsulenter og traditionel datafortolkning: Glem alt om gamle evalueringsmetoder. Outcome harvesting er det nye sort.

Forestil dig, at en organisation afholder en workshop, som skal oplyse kvinder i Egypten om deres rettigheder. Workshoppen er organisationens output. Forestil dig så, at kvinderne går på gaden i Kairo og demonstrerer for bedre rettigheder, de skriver læserbreve til medierne og fortæller deres omgangskreds, hvad de har lært. Det er workshoppens outcome. Men har workshoppen været den afgørende faktor for at kvinderne protesterer, skriver og videreformidler? Det vil den nye evalueringsmetode outcome harvesting forsøge at afdække.

Danske Handicaporganisationer er en af de organisationer, der gerne vil afprøve metoden.

“Jeg synes, at metoden er et godt værktøj til at finde frem til resultater og give et realistisk billede af, hvad man som organisation har bidraget med,” siger Gitte Robinson, rådgiver og koordinator for monitorering og evaluering hos Danske Handicaporganisationer.

“I første omgang overvejer vi at bruge metoden i forbindelse med internationale projekter. Men metoden kan også anvendes nationalt. Et eksempel på det kunne være, når vi laver fortalerarbejde for at ændre politikker på handicapområdet. Vi har lokalafdelinger i 97 af landets 98 kommuner, hvor vi kapacitetsopbygger afdelingerne til at fungere som lokale, vejledende organer på handicapområdet. Vi forsøger at klæde dem på til at påvirke lokalpolitikere og brænde igennem i medierne. Outcome harvesting kan være en god måde til at vurdere, hvad lokalafdelingerne rent faktisk gør anderledes efter en workshop hos os, ” forklarer hun.

Traditionelt bygger monitorering og evaluering af en udviklingsindsats på planlægningen af projektet. Man planlægger aktiviteter, evaluerer aktiviteterne og håber på, at de bidrager til en langsigtet udviklingseffekt.

Det er vanskeligt at afgøre, om et projekts aktiviteter var det afgørende for en udvikling eller en forandring. Det er her, outcome harvesting kommer ind i billedet. Ved at opsamle information om effekten – typisk en ændring i aktørers holdninger eller handlinger, ændringer i lovgivning eller lignende – forsøger organisationen og samarbejdspartneren at finde frem til, præcist hvilken effekt et projekt har haft. Var det organisationens workshop, der var afgørende for forandringen, eller var det workshoppen sammen med andre elementer? Det er spørgsmål som dem, der skal afdække, hvor stort et bidrag organisationens arbejde i virkeligheden havde på forandringen.

Belgiske Goele Scheers har været med til at udvikle metoden, og i sidste uge faciliterede hun i samarbejde med Mellemfolkeligt Samvirke og Globalt Fokus en workshop i København om emnet.

“Outcome harvesting kigger i dybden med, hvad et projekt har opnået. Man arbejder bagud og kigger på, hvordan et projekt har bidraget til forandring, for eksempel i forhold til ændringer i adfærd hos en aktør, som har indflydelse. Man skal kunne verificere, at der er et plausibelt link mellem udførelsen af et projekt og forandringen i adfærd,” forklarer hun.

Et stille paradigmeskift
Den nye metode til evaluering af projekter spås en stor fremtid, og flere organisationer og donorer har allerede udtrykt begejstring for nyskabelsen.

“Der er flere og flere donorer og organisationer, som er interesseret i at evaluere projekter på den her måde. The logical framework approach, som er den gængse metode for planlægning og styring af projekter, er stadig dominerende, men outcome harvesting vinder frem,” siger Goele Scheers.

Hun nævner UNDP, USAID og Verdensbanken som eksempler på organisationer, der er begyndt at benytte metoden. Danida er et af de organer, der ikke stiller krav til, hvilken evalueringsmetode organisationer bruger, hvilket tillader dem at vælge den metode, de selv synes er bedst, fortæller Goele Scheers og fortsætter:

“Der er helt tydeligt en villighed til at bruge outcome harvesting, som man ikke så for ti år siden. Jeg vil beskrive det som et paradigmeskift, selvom det stadig kan blive større,” siger hun.

Et tomrum bliver udfyldt
Goele Sheers synes, at den nye evalueringsmetode har været tiltrængt i branchen.

“Måling af outcome er et niveau i traditionel monitorering og evaluering, som ofte er overset. Outcome harvesting er relevant for mange projekter, fordi mange projekter har til formål at ændre menneskers adfærd. Derfor giver det mening at måle på netop det. Der er mange organisationer, der i dag kun måler på kvantitative parametre, for eksempel at de afholdt ti workshops, frem for at måle på den forandring, som de workshops bidrog til,” siger Goele Scheers.

Det er Gitte Robinson enig i det, og fremhæver samtidig inddragelsen af samarbejdspartneren som et vigtigt element.

“Med outcome harvesting inddrager man de mennesker, som resultaterne vedkommer. Når man gennemfører projekter, overlader de fleste dataindsamlingen og datafortolkningen til en ekstern konsulent. Den, der kender evalueringer bedst, er altså konsulenten, selvom konsulenten ikke skal være med til at implementere læringen fra evalueringen efterfølgende. Med outcome harvesting bliver konsulenten mere en facilitator i evalueringsprocessen,” forklarer hun og fortsætter:

“Ved at flytte dataindsamling og datafortolkning over på dem, der er involveret i projektet, opnår man en anden entusiasme, forståelse af ejerskab for evalueringens resultater,” siger hun.

Metoden kan ikke stå alene
Selvom metoden modtages positivt af flere organisationer, så er det ikke alle slags projekter, som den egner sig til.

Vaccinationskampagner er et eksempel på det. Her vil man typisk fokusere på impact, altså hvor mange børn der bliver vaccineret, så her vil det være mere relevant at bruge andre metoder. Hvis man derimod vil se på adfærdsændringer blandt sundhedspersonale eller samarbejde mellem sundhedspersonale på nationalt og lokalt niveau, så vil outcome harvesting være brugbart.

Gitte Robinson fra Danske Handicaporganisationer giver et andet eksempel på et projekt, hvor man ikke kan benytte metoden.

“Når vi snart skal i gang med at evaluere på de kapacitetsopbyggende arrangementer, for eksempel fyraftensmøder og kurser, som vi tilbyder, vil vi gerne høre fra brugerne, hvad de synes om det og hvad der kunne forbedres til næste gang. Der er outcome harvesting ikke det mest oplagte, fordi fokus mere er på hvad brugerne synes, end hvad der er kommet af konkrete resultater. Men når det handler om forandring i folks adfærd, for eksempel når lokalafdelinger skal påvirke mediedækningen af handicapområdet, så kan man bruge metoden,” afslutter hun.


Læs mere om metoden i artiklen 6 skridt til bedre effektmåling.

[email protected]