Hvordan kan vi vite at de prosessene vi iverksetter virker og at endringer av adferd faktisk skjer?
Det er ikke mye hjelp i å definere ulike type «dyttere» (eng: nudges) som har umiddelbar konsekvens, hvis du ikke kan bevise at disse virker i henhold til intensjonen og resulterer i varige endringer av adferd. Adferdsøkonomer tar ikke hensyn til hvorvidt mennesker mener og tror at ulike tiltak har effekter. Vi vil ha objektive bevis, og flytter derfor fokus fra subjektive synsing til observerbar adferd i virkeligheten. Slike studier kan inndeles i tre nivåer:
- Observasjon
- Predikasjon
- Kontroll
Vi trenger kontroll for å vite
Innen humanistisk forskning, slik som psykologi, er det særlig nivå 1 og 2 som brukes, mens innen adferdsøkonomien er det nivå 3 som gjelder. Adferdsvitenskapen opererer ikke med psykologiske teorier og spekulasjoner om hva som vil skje, og finner ikke på nye teoretiske begreper og modeller for å forklare (pseudoforklare) adferd og avvik. Den gjennomfører eksperimentelle forsøk i den virkelige verden, oppnår kontroll over situasjonen og finner ut hva som virker eller ikke virker. Det betyr at vi sammenligner og kontrollerer resultatet før, underveis og etter en prosess. Først da kan vi vite med sikkerhet om det har skjedd noen reelle endringer i innstilling eller adferd.
Vi trenger tid for å vite
Eksempelvis kan vi trene ledere gjennom et lederutviklingsprogram. Vi vil da måle deres innstilling og adferd før og etter programmet for å sjekke om andre mennesker som kan observere lederne i hverdagen (f.eks. mearbeiderne), kan rapportere noen endring i ledernes adferd. Vi kan måle rett etter at programmet er ferdig, men for å bevise om programmet virker (evidens), må vi i tillegg måle 3, 6, 12 og 18 måneder etter avsluttet program for å se om adferdsendringen er blitt varig. Å innarbeide ny adferd til en ny vane tar i gjennomsnitt 66 dager hvis du trener hver dag etter et program.
Vi trenger en kontrollgruppe for å vite
Medarbeidere eller andre som skal observere og evaluere, fungerer som et speil. Her er det imidlertid også endel feilkilder. Jo lengre tid det går, jo større er sannsynligheten for at det kan være andre ting som har vært med å påvirke resultatene. Den beste måten å korrigere for denne feilkilden på er å etablere en kontrollgruppe og iverksette en mindre test på en mindre gruppe over minst 6–12 måneder, før vi kan bevise at det virker. Det betyr at vi kan sammenligne de som har deltatt i programmet med de som ikke har deltatt over tid.
Vi trenger først liten skala for å vite
Et siste krav dersom bevisførselen skal tilfredsstille vitenskapelige kriterier er at deltagerne i kontrollgruppen ikke skiller seg vesentlig fra deltagerne i programmet. Det kan jo være slik at de deltagerne som er med på et eller annet program, allerede er de som er mest motivert og best fra før. Å utforme riktig kontrollgruppe kan også være vanskelig. Selv om dette er en vanskelig avveining, er det i prinsippet ikke annerledes enn det medisinske forskere står overfor når de vil teste effekten av en ny behandlingsmetode. Et problem med mindre studier er også at de involverer et begrenset antall mennesker i stedet for store, representative grupper. Likevel, hvis vi finner lovende resultater i småskala-eksperimenter, kan vi følge dem opp med å utvide til større grupper, og til slutt skalere. Fordelene med en slik fremgangsmåte er:
- redusert risiko ved negative effekter
- det vil nesten alltid være ting som ikke fungerer
- rask korreksjon og forbedring av prosessen/programmet
- reduksjon av kostnader ved feil
- testing for å finne ut hva som er kritisk før vi skalerer
Vi trenger utholdenhet for å vite
I hverdagen, der usikkerhet og risiko er en del av virkeligheten, kan du være sikker på at du vil møte på uventede problemer, uventet motstand og ting som ikke fungerer. Det som virker i én kulturell kontekst, trenger ikke virke i en annen. Det betyr ikke at du skal gi opp, men at du skal teste og korrigere til det fungerer etter planen. Fungerer det etter planen, men likevel ikke kan bevise noen effekt, er ikke konsekvensen for stor, og uansett har du lært noe du kan ta med deg inn i et bedre program. Denne tilnærmingen med å tenke småskala gjelder alle typer evidensbaserte endringsprosesser som Marshmallow iverksetter.