Kontrollstudier ute av kontroll

De siste årene har vi sett en stor vekst av kontroll/eksponert-studier, som skal bevise effekten av reklame. Erfaringer viser derimot at det er noe alvorlig galt med denne metoden.

Vi lever i en verden hvor vi sjelden kan sette to streker under svaret. Ingen metode for måling av reklame-effekt er perfekt, alle har sine svakheter. Selv om vi i markedsavdelinger, byråer og medier skulle ønske det var vår kampanje som skapte effekten, må vi være ærlig og si at det ofte er helt andre årsaker til at våre KPI-er flytter seg. Været, sesongen, distribusjonen, produktet, embalasjen, prisen, word of mouth, makrofaktorer, redaksjonell omtale er alle faktorer som kan påvirke både salg og oppfatning.

Intensjonen for å måle effekt med kontroll/eksponert-studier er god, men den har store utfordringer. Metoden innebærer å sammenlikne responsen til to grupper mennesker – en gruppe som er eksponert for en annonse, og en som ikke er det. Dette gjøres i hovedsak ved å lage en kontrollgruppe som er lik den eksponerte gruppen, og sammenligne de to.

I utgangspunktet kan dette kan være en god måte å måle effekt på. Dersom den eksponerte gruppen har høyere oppmerksomhet, kjennskap, preferanse eller kjøpsintensjon enn kontrollgruppen ser vi en såkalt uplift, brandlift eller kampanjeeffekt. Selv om metoden tilsynelatende virker god, ser vi på mottakersiden utallige eksempler på merkelige og åpenbart gale resultater. Blant annet finner vi eksempler på at reklameoppmerksomheten er større i en kontrollgruppe enn i den eksponerte gruppen, store utvalgsforskjeller, eller at kampanjer har skapt en signifikant økning for andre merker enn sitt eget. Det tyder på at noe er alvorlig galt med denne metoden.

Teknisk utfordring

En av årsakene til at kontroll/eksponert-studier i mange tilfeller ikke er egnet til å måle effekt, skyldes tekniske årsaker. Skillet mellom kontroll og eksponert er ofte basert på cookies, og vi vet godt forskjellen på cookies og mennesker. Cookies utløper, er utfordrende å koble på tvers av enheter og tar ikke høyde for eventuell samseeing. Det er derfor ingen garanti for at den eksponerte gruppen faktisk er eksponert.

Det er heller ingen garanti for at kontrollgruppen ikke er det. Det betyr at vi ikke med sikkerhet kan si at en person er eksponert og en annen person ikke er det – selv i digitale kanaler alene.

Mediemix-ufordringen

En annen utfordring er i hvilken grad man kan kontrollere for andelen som har sett reklamen i andre kanaler (spesielt offline). Mange mennesker i begge utvalgene kan ha blitt eksponert for kampanjen på både TV, print eller utendørsannonser. Utfordringen er at vi ikke vet hvem som har blitt eksponert. Har de to gruppene blitt eksponert like mye? Eller har den ene gruppen blitt eksponert mer enn den andre?

Når studier viser ekstremt høy oppmerksomhet i en gruppe som ikke har blitt eksponert for reklamen bør man stille seg disse spørsmålene.

Målgruppeutfordringen

Den største og viktigste utfordringen med bruk av kontroll/eksponert-studier er mangler i opprettelsen av kontrollgrupper. For å sammenligne to grupper trenger vi to identiske og randomiserte grupper, der den eneste forskjellen skal være om gruppen har blitt eksponert eller ikke. Dette byr raskt på problemer når man kjøper en bestemt målgruppe, spesielt når det er basert på atferd eller interesse. Det er noe enklere ved kun demografiske variabler, men kan fortsatt være vanskelig.

Det er store forskjeller i annonsens relevans og en persons oppmerksomhet tilknyttet en bestemt produktkategori de er interessert i eller i kjøpsmodus for. Dersom man sammenligner dette med en kontrollgruppe som ikke har samme interesser eller er i samme fase i kjøpsprosesssen, vil du få ekstremt skjeve svar. Nylig så jeg en studie som sammenlignet Norges befolkning med en eksponert gruppe som var tydelig overrepresentert av unge menn.

Dette får åpenbart konsekvenser for oppmerksomhet og oppfatning av merkevaren. Skal man gjøre dette optimalt er man avhengig av å gjenskape en kontrollgruppe som er lik demografisk, er i samme fase i kjøpsprosessen og har de samme interessene. Det er mulig, men ofte veldig vanskelig.

Professor Fred Selnes, og Førsteamanuensis Auke Hunneman ved Handelshøyskolen BI, har nylig lagt frem funn fra et stort amerikansk studie. Studiet er gjennomført for Facebook-annonsering og diskuterer skjevheter i kontroll/eksponert-studier. På Facebook har vi færre tekniske utfordringer pga. innlogging, det var annonser som kun ble vist på Facebook, og Facebook har også gode tall på både atferd, interesse og demografi slik at man i større grad kan gjenskape en lik kontrollgruppe. Allikevel fant forskerne utvalgsfeil i nesten alle studiene. Utvalget sto derfor for en overveldende andel av effekten, og ikke reklamen.

Til dere som gjennomfører eller får presentert kontroll/eksponert-studier

Vi skulle ønske vi kunne konkludere at reklamen skapte effekten, og jeg skulle ønske noen kunne bedre isolere for alle disse tre utfordringene. Mitt ønske er at vi som bransje blir enda flinkere til å måle effekt, men i praksis er dette mer komplekst enn dagens kontroll/eksponert-studier.

Her er mine råd for veien videre

1. Vær forsiktig med å konkludere med denne metoden når kampanjen har hatt et høyt trykk i andre kanaler man ikke kan måle i sammenheng. Sannsynligheten for at det er andre faktorer som påvirker er stor.
2. Sammenlign med like og tidligere tester, det sier noe om kampanjen er bedre eller dårligere enn snittet med samme metode, og man kan trekke læringer fra.
3. Gjort riktig kan den i beste fall si noe om den enkelte kanals bidrag – de sier eks ingen ting om den totale oppmerksomhet for kampanjen.
4. Sørg for at den eksponerte gruppen og kontrollgruppen faktisk er identisk og randomisert.

---

Artikkelen er skrevet av: Christian Bø

Ta kontakt med analyse- og innsiktssjef i Mindshare Christian Bø på [email protected], om du ønsker å vite mer om kontrollstudier.