Dokumentation Evaluering Formidling
af Dan Orbe (2006)
På den baggrund kunne man jo mene, at man lige så godt kunne spare sig
besværet.
’Vi har ikke brug for nogen vurdering – vi ved jo godt selv, at det, vi
laver, er godt og rigtigt.’
’Man kan jo alligevel ikke måle det væsentlige, og så er det jo bare spild
af tid…’
Og så alligevel… Helt urimeligt er det vel ikke at politikere,
tilskudsgivere og andre med interesse i det, man laver, søger at få svar på,
om den indsats, der støttes, har en effekt eller ej.
Og helt umuligt er det faktisk heller ikke at beskrive i hvert fald nogle af
effekterne ved i hvert fald nogle af aktiviteterne. Lige som man ikke skal
tro, at alt kan måles og vejes og forklares på et splitsekund i et
lagkagediagram – så skal man altså heller ikke tro at intet kan måles og
vejes.
Og evalueringer er heller ikke kun diagrammer, tal og spørgeskemaer. Det er
lige så ofte beskrivelser og holdningstilkendegivelser – men de bliver
præsenteret på en sådan måde, at udenforstående har en bedre chance for at
forstå, hvad man laver.
Så det kan have sine klare fordele at gøre forsøget:
Med dokumentation menes bare, at man foretager en beskrivelse. Beskrivelsen
dokumenterer at en given aktivitet eller indsats har fundet sted, men siger
i sig selv ikke noget om kvaliteten eller effekten af aktiviteten.
Dokumentationen eller beskrivelsen kan være mere eller mindre omfattende, og
den kan bestå af forskellige elementer. Den kan være ord, lyd og billeder,
skriftlige redegørelser, statistik osv. og den kan bestå alt lige fra en
simpel optælling af deltagerne i en gruppe, til detaljerede beskrivelser af
deltagerne, udskrifter af samtaler, komplicerede undersøgelser o.m.a. Den
måde man vælger at dokumentere på, afhænger af formålet med dokumentationen.
Evaluering er beslægtet med viden og videnskab. At gennemføre en evaluering
vil sige, at man producerer viden og nogen og/eller noget – men man gør det
på nogle bestemte måder.
En ofte anvendt definition på evaluering er udarbejdet af den svenske
evalueringsteoretiker, Evert Vedung. Den kommer lidt nærmere ind på, hvad
ordet evaluering dækker:
En evaluering er en systematisk, retrospektiv vurdering af gennemførsel,
præstationer og udfald af offentlig politik, som tiltænkes at spille en
rolle i praktiske handlingssituationer.
En evaluering skal være systematisk, står der. En evaluering kan altså ikke
udelukkende bestå af nogen meninger eller holdninger om et eller andet. Den
skal være baseret på systematiske iagttagelser. Evalueringen er baseret på
en bestemt metode.
Det giver næsten sig selv, at en evaluering altid er retrospektiv. Det vil
sige, at den altid måler eller beskriver udfaldet af en aktivitet, efter at
denne er forekommet. (Det ville være svært at gøre andet!)
En evaluering er som udgangspunkt en vurdering. Det vil sige, at den tager
udgangspunkt i nogle bestemte værdier eller antagelser. Det kunne f.eks.
være politisk fastsatte krav til aktiviteten, men det kunne også være
brugeres eller fagfolks interesser i aktiviteten. Uanset hvad, så har
evalueringen et formål, og den skal indgå i en bestemt sammenhæng. Derfor
kan den ikke være ’objektiv’ eller værdifri.
En evaluering er vurdering af gennemførsel, præstationer og udfald af en
eller andet. Der skal m.a.o. være nogle aktiviteter, handlinger, processer,
produkter eller lignende, der skal vurderes i forhold til de mål, man havde
sat sig, de processer, man havde planlagt, og de virkninger, man havde
forestillet sig.
Ifølge Vedung er det karakteristisk, at det, der evalueres er omfattet af
det, han kalder, en offentlig politik. Egentlig betyder det bare, at det,
der evalueres plejer at være af almen eller offentlig interesse. En
aktivitet, der har fået offentligt tilskud, anses som offentlig, men hvis
f.eks. en privat arbejdsgiver evaluerer sit arbejdsmiljø er det også
offentligt, fordi indsatsen i sidste ende har betydning for hele samfundets
arbejdsmiljøindsats.
Med ordene ’tiltænkes at spille en rolle i praktiske handlingssituationer’
sigtes der til, at evalueringer som udgangspunkt har som formål at kunne
bruges fremadrettet i den praktiske virkelighed. Man ser på de aktiviteter,
der har fundet sted, for at kunne forbedre kommende aktiviteter.
Man kan tilrettelægge sin dokumentation og evaluering på mange måder
afhængigt af det formål, man har med arbejdet.
I dette projekt vil vi fokusere på den metode eller tilgang, som kaldes
’virknings-evaluering’ Det er både den metode, vi vil anvende til at
evaluere de aktiviteter, der indgår i projektet, og den metode, vi vil
arbejde ud fra, når vi skal udvikle redskaber, som organisationerne kan
bruge i deres eget dokumentations- og evalueringsarbejde fremover.
Projektet er en evaluering – men det er samtidig en slags ’øvelse’ eller et
stykke udviklingsarbejde hen imod at give organisationerne nogle
’redskaber’, de selv kan bruge overfor andre af deres aktiviteter.
Virkningsevaluering undersøger, som navnet antyder, virkningen eller
effekten af en indsats. Mere præcist er formålet med en virkningsevaluering
at klarlægge:
Hvad virker – for hvem? – hvordan? - hvornår? – og under hvilke betingelser?
Når man stiller sådan nogle spørgsmål, så har man samtidig antaget, at der
er et årsag/virkningsforhold på spil. At der findes noget, der er årsag til,
at noget andet sker. At ’hvis vi gør A, så får vi effekten B’.
Vi kender årsag/virknings-tænkningen fra mange af hverdagens oplevelser.
Hvis jeg vil evaluere lidt på, hvordan jeg kan undgå at få et myggestik, der
klør og generer mig, så tænker jeg på et årsag/virknings-forhold: Hvis der
er myg – så er der risiko for myggestik – og får jeg et myggestik, så klør
det!
Når jeg kender årsag/virknings-forholdet kan jeg undgå myggene med spray,
myggelys, net eller voldelige overgreb på den stakkels myg – og dermed undgå
myggestikkene og kløen.
(Det er ikke den samme tænkning, jeg bruger, hvis jeg f.eks. spekulerer over
meningen med livet eller om en blomst er smuk eller ej. I forhold til den
type spørgsmål er en virkningsevaluering virkningsløs!)
Virkningsevaluering starter altid med, at vi synliggør og beskriver det
årsag/virkningsforhold, der styrer en handling eller aktivitet. I
virkningsevaluering kalder man det for en ’programteori’. Altså, teorien om,
at et eller andet virker på en bestemt måde, så hvis jeg gør ’det-og-det’,
så vil jeg opnå ’den-og-den’ virkning.
Min teori om, at hvis jeg undgår myggen, så undgår jeg myggestik og kløe er
et eksempel på en meget simpel programteori. Den kan opstilles i et lille
diagram:
TABEL INDSÆT
Indsatser Aktiviteter Præstationer Resultater Virkninger (Mål)
Hvad skal der til for at iværksætte en indsats? Hvilke komponenter – dvs.
ressourcer (materialer, viden m.m.) og aktører (personer, organisationer)
-skal indgå? Hvis der er adgang til de ressourcer og aktører, der skal til,
så kan de forhåbentlig bruges til at gennemføre den planlagte aktivitet.
Hvis den planlagte aktivitet gennemføres, så vil den forhåbentlig føre til
at den ønskede situation opstår. Hvis aktiviteten gennemføres som planlagt
– og den ønskede situation opstår - så vil det forhåbentlig føre til det
forventede resultat. Hvis det forventede resultat indtræffer, så kan jeg
forhåbentlig regne med at jeg på længere sigt opnår den ønskede
virkning. (Jeg når det mål, jeg havde sat mig)
Jeg smører myggespray på de dele af min krop, som ikke er
tildækkede. Min bare hud er indsmurt i noget, som myggen ikke kan lide.
Myggen finder et andet offer eller går sulten i seng. Jeg undgår myggestik.
Jeg slipper for kløen.
Der kan være flere forskellige teorier om, hvordan man opnår den ønskede
effekt bedst muligt. I mit eksempel kunne jeg også vælge at sætte mig under
et myggenet eller jeg kunne vælge at klapse myggen, når den landede på mig.
Det ville have samme virkning, men aktiviteterne ville være nogle andre.
Sådan vil det også være i mange projekter. Der vil ofte være konkurrerende
programteorier. Det er derfor ofte også en del af virkningsevalueringen at
være med til at udpege den teori, der skal afprøves.
Om jeg vælger den ene eller den anden metode afhænger bl.a. af de
betingelser, jeg har. Betingelserne er vilkår eller omstændigheder, der ikke
direkte har noget med programteorien at gøre, men spiller ind på den
alligevel.
Måske havde jeg ikke noget myggespray og købmanden havde lukket. Måske er
jeg kommet af sted uden mit myggenet… Valget af programteori er altid
afhængigt af nogle betingelser ud over de indsatser, der indgår i selve
aktiviteten.
Hvis jeg havde glemt min trøje og var helt alene kunne jeg nok ikke smøre
mig på ryggen – og så kunne myggen lande der. Også selve aktiviteten er
afhængig af udefra kommende betingelser.
Hvis min myggespray ikke virkede – måske havde myggen ligefrem lært at holde
af den – ja så ville den præstation, jeg forventede af min spray, udeblive,
og dermed også det ønskede resultat og den ønskede virkning.
Hvis det viste sig, at jeg var allergisk overfor min myggespray, ville der
måske opstå uventede bivirkninger.
Det kunne også være, at jeg havde den opfattelse at myggesprayen kun skulle
smøres på en lille del af kroppen for at virke overalt. Hvis jeg gjorde det
– men det ikke var rigtigt ifølge brugsanvisningen – ville det også føre til
et andet resultat end det forventede.
På alle niveauer er der forhold, der skal tages i betragtning, som kan
påvirke min programteori uden at være en del af den.
Sådanne fejltyper – fejl, der opstår fordi man af den ene eller den anden
årsag ikke gennemfører aktiviteten, som planlagt – kaldes
implementeringsfejl.
En anden type fejl kaldes teorifejl. Hvis jeg nu havde en teori om, at man
kan undgå myggestik ved at dunke sig i hovedet mens man synger ’Dengang jeg
drog af sted…’ – og jeg så oplevede, at den ønskede virkning udeblev – ja så
er der fejl i teorien – antagelsen om årsag og virkning holdt ikke.
Almindeligvis stiller man tre krav til en programteori:
TABEL INDSÆT
Jeg opnåede det resultat,
jeg havde forventet Jeg opnåede ikke det resultat,
jeg havde forventet
Jeg gjorde det,
jeg havde planlagt Det virker. Der er hverken implementeringsfejl eller
teorifejl.
Indsatsen kan fortsættes. Det virker ikke. Der er muligvis teorifejl.
Opstil en ny programteori.
Jeg gjorde ikke det,
jeg havde planlagt Det må være noget andet, der virker. Der er både
implementeringsfejl og teorifejl.
Programteorien justeres. Det er ikke til at vide om det virker eller ej. Der
er implementeringsfejl. Måske også teorifejl, men det vides ikke.
Prøv igen!
Hele idéen med en virkningsevaluering er at finde ud af, hvor effekten ved
en given aktivitet placerer sig blandt disse fire muligheder. Spørgsmålet er
jo:
Hvad virker – for hvem? – hvordan? - hvornår? – og under hvilke betingelser?
Programteorien er altså det ord, man bruger for de indsatser, aktiviteter,
resultater m.v.,, der kæder hele processen sammen – lige fra de
grundlæggende antagelser til de forventede effekter – i en kortere eller
længere kæde af årsag/virkningsforhold.
Evalueringen ’slår ned’ på forskellige punkter i denne kæde og prøver at
afdække hvad der er sket. På den måde kan evalueringen vurdere:
De ’punkter’, der udsættes for sådan en undersøgelse kaldes indikatorer. De
indikerer om processen eller resultatet lever op til forventningerne eller
ej.
For at gennemføre evalueringen skal man altså:
Vælge indikatorer
Indsamle data om dem
Analysere dem
Inden jeg går videre med at fortælle lidt om den del af arbejdet, vil jeg
imidlertid introducere et nyt eksempel, fra en virkelig programteori.
Eksemplet er hentet fra en dansk kommune, hvor man havde oplevet en voldsom
stigning i udgifterne til anbringelse af børn og unge uden for hjemmet, til
specialundervisning og andre dyre tilbud.
Årsagerne til denne udvikling var angiveligt bl.a. følgende:
Det er meget komplekse problemer, der involverer mange forskellige
faggrupper – og de kommer somme tider til at modarbejde hinanden. Der
manglede med andre ord en sammenhængende politik og nogle fælles
retningslinier.
Der var en grundlæggende mangel på viden om, hvad der virker og ikke virker
på området.
Der var ikke sammenhæng mellem ansvaret for økonomien og ansvaret for
foranstaltningerne overfor de udsatte børn og unge.
Der blev nævnt flere ting, men enden på det hele blev, at kommunen
besluttede at lægge en ny strategi for indsatsen for udsatte børn og unge.
Man opstillede nogle mål for denne indsats:
Helt overordnet ønskede man at bremse væksten i udgifterne. En af flere
måder, man mente at kunne opnå dette på, var, hvis man blev bedre til at
løse problemerne lokalt i et tættere samarbejde mellem kommunens
medarbejdere, børnene, deres familier og netværk.
Igen var der flere forskellige andre ting på banen, men for eksemplets skyld
holder vi os til dette ene.
Nu gav man sig til at fundere over hvordan man kunne opnå et tættere
samarbejde mellem de involverede parter; altså fagfolkene, børnene,
familierne osv.
Igen var der naturligvis flere forskellige ting man kunne tage fat på, men
én af de indsatser man fokuserede på var at børn og unge selv blev
inddraget.
Igen for eksemplets skyld nøjes vi med at tage vi fat på det ene.
Tanken med at inddrage børnene opstod fordi, barnet selv er en vigtig kilde
til at forstå de problemer og behov, der er. Derfor er medinddragelsen
vigtig, hvis man skal tilpasse hjælpen bedst muligt. Eller sagt på en anden
måde: den virkning, man ønskede var, at den hjælpende indsats havde større
effekt.
Man identificerede nu nogle forskellige resultater, som medinddragelsen af
barnet gerne skulle have. Hvis de resultater blev opnået, antog man, at
hjælpeindsatsen ville have en større effekt. De ønskede resultater skulle
være, at:
Nu gav man sig til at kigge på, hvad der skulle til for at opnå disse
resultater. Man nåede frem til 6 forskellige typer aktiviteter, der alle
sammen havde til formål at sikre at børnene fik medindflydelse på en sådan
måde, at de ovenfor nævnte resultater blev opnået – hvis ellers
aktiviteterne præsterede det, de forventedes at levere.
Sammenhængen kan illustreres i et diagram som nedenstående.
DIAGRAM INDSÆT
Diagrammet læses fra venstre mod højre, men læg mærke til at jeg i
beskrivelsen af tilblivelsesprocessen snarere er gået den modsatte vej ved
at spørge. Hvad er målet / den ønskede virkning? Hvilke resultater kan føre
til målet/virkningen? Hvilke aktiviteter kan føre til resultaterne? Osv.
Og i klarlæggelsen af mål og indsatser har det også været nødvendigt at
hoppe lidt rundt imellem tingene. Det ser så ordentligt ud i sådan et
diagram, men i virkeligheden hopper man lidt frem og tilbage mens man
udvikler sit projekt.
Der er også faktorer i omverdenen, der skal tages med i betragtning. I
diagrammet kan man f.eks. se at to faktorer er medtaget, fordi man mener de
kan have betydning for aktiviteterne. Det er forældrenes opbakning og det er
den tid, der er til rådighed. Begge dele er helt afgørende for
aktiviteternes succes, men de har ikke direkte noget med aktiviteternes
planlægning eller afvikling at gøre.
For hver af de enkelte aktiviteter kan man opstille en programteori, der så
at sige bliver en del af den samlede – mere overordnede – programteori, som
diagrammet illustrerer.
Tager vi f.eks. indsatsen ’samtaler med barnet’, ja så kan man se, at
samtalen har som mål at skabe tillid til de voksne. Men hvilke resultater
fører til dét mål? Og hvilke samtaleformer, samtalevilkår osv. kan man
antage vil give de ønskede resultater? Hvad skal der til, for at sådanne
samtaler kan afvikles? Har man de nødvendige ressourcer osv.?
For hver af de 6 aktiviteter kan der udvikles ’underordnede’ programteorier.
Diagrammet viser kun en mere overordnet sammenhæng. Og hvis vi husker, at
'medinddragelse af børn' kun var ét blandt flere områder, der skulle
arbejdes med, ja så er der altså også en endnu større sammenhæng, som de
samlede aktiviteter, diagrammet illustrerer, skal indsættes i.
Det skyldes selvfølgelig, at mit eksempel vedrører et meget omfattende
projekt. Børn og Unge området i en kommune er en stor og kompleks størrelse
at tage fat på. I vores projekt kommer vi ikke til at skulle beskæftige os
med så omfattende og komplekse forhold.
Men dette eksempel skulle gerne vise, at selvom mit foregående eksempel med
myggestikket kan være meget godt til at sætte et par grundlæggende begreber
på plads – så har det ikke meget med den virkelighed at gøre, man møder,
når man skal arbejde med programteorier i virkeligheden. Der er typisk mange
flere forhold at tage i betragtning. Og det kan ind imellem være vanskeligt
at gennemskue sammenhængene mellem aktiviteter, resultater, virkninger,
betingelser osv.
Meget ofte er man nødt til at forenkle og udvælge dele af et projekt til
evaluering – man skal ikke tro at man kan opstille en plan, der kan rumme
det hele. Så gælder det om at prioritere – hvad er det væsentligste, man vil
med sin evaluering?
Man skal også regne med, at arbejdet med at opstille programteorien tager
tid. Man kan godt regne med, at det tager 20 til 40% af den samlede tid, der
bruges på en virkningsevaluering, at opstille programteorien.
Indikatorerne er som nævnt de ’punkter’ i programteorien, hvor man vælger at
slå ned for at se, hvordan processen forløber og om den fører til de
resultater og virkninger, man forventede.
Ideelt set ville en beskrivelse af ’det hele’ fra start til slut jo være et
godt datagrundlag. Men så kan man vist tilbringe resten af livet og lidt til
med at evaluere.
Man må udvælge nogle områder og udelade andre. Hvad man vælger afhænger
naturligvis af den konkrete programteori, men følgende spørgsmål kan vejlede
valgene:
Når man har udpeget, hvad det er for nogle områder, man gerne vil kigge
nærmere på, skal man i gang med at finde ud af, hvordan man vil indsamle
oplysninger om dem.
Helt grundlæggende kan man opdele data i to forskellige slags: man taler om
kvantitative data og kvalitative data.
Med kvantitative data mener man, noget der kan ’kvantificeres’ dvs. tælles,
måles, vejes.
Kvalitative data kan ikke måles og vejes. Med ordet kvalitativ sigtes til
’indholdet’ i data.
Hvilken type data man vælger at bruge, afhænger af formålet.
Hvis jeg gerne vil vide noget om, hvor mange hhv. mænd og kvinder, der er i
en selvhjælpsgruppe, ja så er den smarteste måde at gribe det an på jo at
tælle folk op på en liste, hvor jeg på forhånd har angivet de to muligheder.
Det er kvantitative data.
Men hvis jeg nu gerne vil vide noget om kønsrollernes betydning for hhv.
mænds og kvinders udbytte af at deltage i selvhjælpsgruppen, så bliver jeg
ikke meget klogere af at tælle dem op.
Men så kunne jeg jo f.eks. interviewe nogle af de mænd og kvinder, der i
gruppen, og få at vide, hvad de forstår ved kønsroller og hvordan de oplever
at kønsrollerne spiller en rolle osv.
I stedet for tal og diagrammer får jeg nu en masse tekst – meninger,
holdninger, synspunkter, historier og fortællinger, som jeg må i gang med at
analysere.
Det vil føre for vidt her at komme nærmere ind på de forskellige
dataindsamlingsmetoder, men det vil være en væsentlig del af projektet at
arbejde med nogle enkelte modeller for, hvordan man kan gribe det an.
Ligesom metoderne til at indsamle data afhænger af, hvad det er for en type
data, vi efterspørger, ja så afhænger analysen af data også af den metode,
vi har brugt og de typer data vi har at gøre med.
I projektbeskrivelsen til dette projekt er der angivet nogle ’overskrifter’
for den måde, hvorpå vi i dette projekt har tænkt os at gribe en analyse an.
Som det også fremgår, er der tale om kvalitative data; oplysninger, vi har
fået ved at interviewe forskellige personer og deltage i, observere og
beskrive forskellige aktiviteter. Dvs. at analysen kommer til at bestå af at
gennemgå en række tekster og se, hvad de f.eks. kan fortælle os om
organisationens selvforståelse, de frivillige eller personalets oplevelse af
at deltage i aktiviteten, samarbejdsrelationer osv.
Analyse af kvalitative data er langt hen ad vejen et spørgsmål om at
beskrive og fortolke de oplysninger, man har fået, på baggrund af det formål
man har sat sig for undersøgelsen og evt. på baggrund af en mere generel
viden, man har, om emnet eller området.
I dette projekt regner vi på forhånd med, at nogle synsvinkler eller
spørgsmål har større interesse end andre. Det kunne godt være at data også
kunne fortælle os noget om den indbyrdes jargon, brugerne af en aktivitet
har, eller noget om hvordan man tilrettelægger sine indkøb af forplejning
ved en bestemt aktivitet. Men den type oplysninger – må man antage - er ikke
så relevante for formålet med dette projekt, så den type oplysninger vil vi
ikke lede efter data om.
Det er dog vigtigt ved analysen af kvalitative data at man altid prøver at
have et øje for det uventede. Det kunne godt være, at vi ved analysen af
data opdagede væsentlige forhold, som vi ikke havde tænkt på, på forhånd.
Kvalitative data er et ’rigt’ eller ’fyldigt’ datamateriale og noget af det
vigtige er at kunne sortere og udvælge mellem alle de mange informationer.
Hvordan man kan gribe det an vil naturligvis også være en del af projektets
opgave at formidle.
Det kunne også sagtens tænkes at der ville indgå kvantitative data i et
eller andet omfang. Vi forventer ikke at skulle i gang med de helt store
statistiske krumspring, men en del af de data, som nøglepersonerne vil blive
bedt om at indsamle, vil sikkert være kvantitative. Skal vi undersøge en
aktivitet er det f.eks. ikke en helt uvæsentlig oplysning, hvor mange, der
deltager i den. Hvor mange gange man udfører en eller anden handling osv.
På baggrund af de konkrete aktiviteter skal vi derfor også arbejde lidt med,
hvordan sådanne data indsamles og bearbejdes.
Forhåbentlig giver ovenstående et indblik i, hvordan tilgang og metoder
tænkes at skulle tage sig ud for projektet. Og forhåbentlig er det lykkedes
at give en rimeligt ’nede på jorden’ beskrivelse – uden dog at lægge skjul
på, at helt enkelt er det altså ikke. Noget bliver kompliceret fordi de
begreber, der bruges er uvante – andet fordi virkeligheden simpelthen er en
indviklet størrelse at få hold på over et par sider.
Med dét her som med så meget andet forholder det sig imidlertid sådan, at
godt nok kan man læse sig til meget, men skal man lære det, må man prøve det
selv. Mange af de ting, der forekommer uvante og indviklede, vil man så
efterhånden blive mere fortrolig med.
En af de helt store fordele ved at arbejde med programteorier er, at mange
af de antagelser, der ligger til grund for det man går rundt og gør, bliver
gjort tydelige – også for én selv.
Man ’tvinges’ til at finde svar på spørgsmålene: ’Hvad er det egentlig vi
går rundt og gør?’ og Hvorfor tror vi at det virker?’ Uanset om det fører
til en evaluering eller ej, kan det faktisk være med til at give større
oplevelse af mening og glæde med det man foretager sig, hvis man giver sig
tid til at beskæftige sig lidt med de spørgsmål. Som regel sætter det også
gang i en del kreative tanker hos dem, der deltager.
Det håber jeg også bliver tilfældet med dette projekt.
Dahler-Larsen, Peter og Hanne Katrine Krogstrup:
Nye veje i Evaluering
Systime, 2003
Green Beth L. and Carol McAllister:
Theory-Based Participatory Evaluation: A Powerful Tool for Evaluating Family
Support Programs.
In: The Bulletin of the National Center for Zero to Three, Feb/March 1998,
pp. 30-36
Rambøll Management:
Socialministeriet. Udvikling af Indikatorer for frivillige organisationer
Projektplan, 2006
Socialministeriet:
Betænkning om frivilligt socialt arbejde i fremtidens velfærdssamfund
Bilag 4.4.: Evaluering.
Socialministeriet, 2006
Vedung, Evert:
Utvärdering i politik och förvaltning,
Studentlitteratur, Lund, (1991),1998
Weiss Heather B and Francine Jacobs:
Evaluating Family programs
Hawthorne, NY, Aldine, 1988