LOADING
Analyse Eksperiment UX Design

RiksTV – Når én A/B test ikke er godt nok

Vi har jobbet med RiksTV siden april 2018. I tillegg til teamet vårt på kontoret så har vår konverteringsspesialist, Deniz, jobbet remote hos RiksTV slik at vi har kunnet sikre optimal og tett prosess rundt optimaliseringsarbeidet. Ved å jobbe på denne måten har det til enhver tid vært kort vei fra innsikt til idé og til handling – nøyaktig slik både vi og RiksTV liker at det skal være!

Motivere til handling

Det kjøres en rekke kampanjer fra RiksTV sin side. En av de største kampanjene, og fokus, lå på produktet “RiksPakken”. RiksPakken er en heldekkende løsning for å se TV. Med RiksPakken kan du se TV ved hjelp av en rekke mottakere, eller strømme TV-abonnementet ditt via mobil, nettbrett, Apple TV, Chromecast og i nettleseren.

En av de viktigste tingene knyttet til optimaliseringsarbeid er å motivere de besøkende til å gjøre det vi ønsker de skal gjøre, uten at besøkeren selv egentlig merker at de tydelig blir guidet av de som drifter nettstedet til å gjøre det de ønsker de skal gjøre.

Grundige analyser kunne fortelle oss at optimalisering, og tydeliggjøring av innholdet i pakken, på kampanjesidene hos RiksTV ville være hensiksmessig, både for besøkere og for den generelle konverteringsraten.

Om RiksTV

RiksTV ble stiftet i 2005 og er Norges eneste TV-distributør som gir forbrukeren digital-TV og HDTV via antenne og internett. De tilbyr digital-TV i det digitale bakkenettet, som dekker 98 prosent av husstandene og rundt 90 prosent av fritidsboligene i vårt langstrakte land. Dette gjør at de kan levere underholdning uansett hvor forbrukeren er; hjemme, på hytta, på båten eller i campingvogna.

1. Hva var utfordringen?

En utfordring på et generelt grunnlag er ofte det å tydeliggjøre verdien man får i et pakketilbud, hva man sparer og hva man faktisk får i tilbudet. Det er mye man trenger å fortelle for å gi besøkeren tilstrekkelig informasjon, men vanskelig å gjøre det på en god og oversiktlig måte.

Ikke minst også det å forklare hvorfor man skal velge nettopp akkurat denne pakken fremfor andre pakker fra samme leverandør og/eller hos konkurrenter.

2. Hvordan var prosessen

Over en periode på 4 måneder gjorde vi gradvise endringer på kampanjesiden. Totalt ble det gjort 4 A/B tester med ulike primærmål. Vi gjorde det på denne måten fordi vi ville lære oss hva som fungerer og hva som ikke fungerer, i små iterasjoner.

En utfordring når man endrer for mye i ett og samme eksperiment (A/B test) er at man ikke klarer å komme frem til en fornuftig (og korrekt) konklusjon på hva som utgjorde det positive og/eller det negative utfallet av testen.

Den aller første testen begynte med at vi la til en knapp slik at de besøkende hadde et valg om å klikke på knappen “detaljer”. I tillegg strukturerte vi opp USP’ene på en mer oversiktlig og bedre måte.

 

Første iterasjon

Original:

RiksTV - Første iterasjon av A/B test - Original

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

 

Variant:

RiksTV - Første iterasjon av A/B test - Variant

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

 

Fra originalen kunne de besøkende også se flere detaljer, men det var ikke like tydelig hvor man skulle klikke for å se detaljene. Derfor var det naturlig å tydeliggjøre dette.

Vi satt opp Hotjar for å kunne se bevegelsesmønstre og klikk, samt at vi analyserte data fra testverktøyet og fra Google Analytics. Eksempel på klikk i varianten på mobil:

RiksTV - Første iterasjon av A/B test - Hotjar på mobil

 

RiksTV fikk en uplift på 162,85 prosent på klikk på «detaljer» knappen, fremfor klikk på “les mer” lenken i originalen. I tillegg var det en positiv økning i antall transaksjoner (bestillinger av RiksPakken). Vi ønsket da å teste videre for å se om vi kan optimalisere dette ytterligere. Man gjør smart i å teste mer enn bare én gang.

 

Andre iterasjon

Ny variant:

RiksTV - Andre iterasjon av A/B test - Variant

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

Her lå fokuset på å legge til visuelle hjelpemidler i form av ikoner og tekst for å øke motivasjonen og tydeliggjøre hva de potensielle kundene ville få. Vi la til dette elementet:

RiksTV - nye USPs i variant

Her fikk vi 36,47 prosent flere til å velge å klikke på “bestill”, men vi så en negativ trend på antall fullførte transaksjoner. Der var derfor ønskelig å gjøre enda flere iterasjoner.

 

Tredje iterasjon

Original:

RiksTV - Tredje iterasjon av A/B test - Original

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

 

Variant:

RiksTV - Tredje iterasjon av A/B test - Variant

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

 

I denne iterasjonen var det selve skjemaet i bestillingsprosessen som skulle få en oppdatering. Vi hadde allerede beviselig klart å få flere til å komme seg til bestillingsskjemaet, nå var det på tide å få flere til å fullføre sin bestilling.

Vi  reduserte antall felter i skjemaet, og kjørte på med A/B test. Resultatet av denne testen var ikke tilfredsstillende da vi ikke klarte å oppnå det som kalles for “statistisk signifikans”.

Statistisk signifikans er en komplisert matematisk formel som forteller oss den prosentuelle andelen vi med sikkerhet kan si at et resultat er korrekt.

For eksempel i dette tilfellet så kunne vi kun med 57 prosent sikkerhet si at varianten presterte 2,86 prosent bedre. Det er en forbedring, men vi kan ikke si det sikkert nok. Derfor var dette et nøytralt eksperiment. Benytt gjerne vår signifikans kalkulator for å regne ut signifikansen i ditt neste eksperiment.

 

Fjerde iterasjonen

Original:

RiksTV - Fjerde iterasjon av A/B test - Original

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

 

Variant 1:

RiksTV - Fjerde iterasjon av A/B test - Variant 1

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

 

Variant 2:

RiksTV - Fjerde iterasjon av A/B test - Variant 2

(Klikk på bildet for å lukke det opp i ny fane og se det i et større format)

Nå var det på tide å gå tilbake og teste prosessen før selve skjemaet igjen. Vi fant jo ut at den endringen vi gjorde i skjemaet ikke spilte en rolle, derfor ville vi fokusere på selve kampanjesiden.

Vi satt opp to varianter, der vi fokuserte på ulike måter å kommunisere kostnadene på i tekst. Det var ingen endring i hverken tilbudet i seg selv eller kostnadene, kun ulik måte å vise og fortelle om kostnadene på.

Her lærte vi oss faktisk at originalen funket best (!!). Riktignok var vi heller ikke her fornøyde med den statistiske signifikansen.

 

3. Hva var utfallet av iterasjonene?

Totalt opererte vi med fire ulike hypoteser på én og samme side. I løpet av perioden ble den generelle konverteringsraten økt med ca 20 prosent, og vi satt igjen med masse læring som ansatte i RiksTV kan benytte seg av når de nå lager nye kampanjer, former nye reklamebudskap og strukturerer kampanjesidene.

Så på tross av at to av iterasjonene ikke skapte direkte positive resultater så lærte vi oss mye om hva som ikke fungerer, og hvor vi burde legge fokuset vårt i fremtidige tester.

Husk at det ikke bare er de gode resultatene som skaper gode resultater i det lange løp. Det å feile innimellom er bare sunt for å drive den datadrevne kulturen videre i organisasjonen.

Samtlige tester, samt all analyse, ble naturligvis gjort både på desktop og mobil. I mange tilfeller trenger man faktisk å skape unike eksperimenter kun for mobil da en besøker fra mobil har andre forventninger til innhold (begrenset flate) enn en besøker på en desktop.

5 Kjappe med Erik Olivia-Werner, Head of Growth & Acquisition @ Strim.no

(Strim driftes av RiksTV og Erik var tidligere Head of Digital, RiksTV)
P.s: Erik er svensk, men egentlig svorsk. Vi lot han dermed skrive på svensk!

1. RiksTV er en av få aktører som startet tidlig med aktivt “CRO-arbeid”. Hvordan kom dere på de tankene?

Svar: Vi nådde en punkt där det tog slut på så kallade lågt hängande frukter och vi behövde en struktur för att komma oss vidare och skapa högkvalitativa idéer och hypoteser för att fortsätta optimeringsarbetet.

2. Kan du fortelle litt om effekten dere ser av å jobbe systematisk med analyse og A/B testing?

Svar:  Vi har sett stor effekt av det. Dels i form av up-lift på konverteringsgraden på rikstv.no men framför allt i hur vi jobbar. Vi är nu en hel digital-miljö som jobbar med experiment baserat på data och insikt istället för subjektiva åsikter och magkänslor. Vilket ger en helt annan energi i teamet!

3. Er det tidkrevende og slitsomt å jobbe med CRO?

Svar: Ja, det är ingen lätt sak. Det är lätt på pappret men svårare att genomföra i praktiken. Du måste ha commitment på tvärs av organisationen och du måste få alla involverade att prioritera tid för att driva med insikt och gräva fram relevant data som underlag för att forma bra hypoteser.

Utan det så blir det snabbt crap in = crap out och hela CRO arbetet fallerar. Det har vi också upplevt. Så det kräver commitment och fokus, men när man väl har det så flyter det på och blir mer en del av vårt sätt att arbeta än ett initiativ på sidan som bara tar tid.

4. Hvordan har organisasjonen tilpasset seg den datadrevne kulturen? Har det vært en vanskelig omstilling?

Svar: Det största hindret var att få alla med ombord på metodiken och att snacka samma språk i början. Det var en del häftiga diskussioner och det tog mycket energi från alla involverade för att komma upp på en nivå där vi faktiskt jobbade med CRO ordentligt och fick ut rejält värde av det.

Helt til slutt:

5. Du jobber jo for Strim, som vi spår til å ta landet med storm. Hva er den beste serien man kan se på Strim akkurat nå? Og dersom du skal beskrive Strim med én setning, hvordan vil du beskrive tjenesten?

Svar: Oh yes, hela havet (marknaden) stormar redan! 😎 Det är otroligt spännande att få jobba med Norges nyaste, och fetaste, streamingtjänst!Den absolut bästa serien man kan se på Strim nu, utav allt fantastiskt innehåll vi har, måste ju ändå vara den nya och sista säsongen av Ballers som jag själv är mitt uppe i just nu. Vem älskar inte The Rock liksom? (Ja, Nettopp! Hvem liker ikke The Rock – We do! Red.adm)

Oj, relevant fråga, det är något vi jobbar med att komma fram till just nu genom ett strukturerat CRO arbete där testar olika värdeförslag. Så låt mig återkomma efter våra experiment är körda och vi uppnått statistisk signifikans ☺️.

Fram tills dess skulle jag något i gatan med att vi samlar allt av det bästa inom serier, film och TV på ett ställe som du kan se på precis hur, var och när du vill!

Nysgjerrig på det Erik betegner som Norges feteste streamingtjeneste? Klikk her for å sjekke ut Strim

Sugen på å gjøre en grundig analyse, skape gode hypoteser (datadrevne og testbare) og gjøre en A/B test? Ta kontakt med oss, da vel! Du treffer oss på hei@rightbrain.no.

Nysgjerrig på mer?

Andre kundecaser

RiksTV – Når én A/B test ikke er godt nok

Over en periode på 4 måneder gjorde vi gradvise endringer på kampanjesiden. Totalt ble det gjort fire A/B tester.

Les mer
Hafslund Strøm: Er det lurt å bruke det samme designet på desktop og mobil?

Det samme designet fungerer ikke alltid like godt både på desktop og mobil.

Les mer
Kontraster kan faktisk gjøre så 6% flere besøkere legger varer i handlekurv

Ønsket var å flytte besøkere lenger inn i trakten. Produktsidene var en god kandidat for å motivere til det.

Les mer
Vi elsker å snakke om CRO!

Du kan spørre oss om hva som helst, nesten...

Ønsker du ett konkret tips fra oss på noe du har problemer med på nettsiden din? Eller noe annet du rett og slett bare lurer på? I så fall skal vi by på det, helt gratis.

Legg inn enten din e-post adresse eller telefonnummer nedenfor, så tar vi kontakt med deg i løpet av 24 timer.
Få feedback fra eksperter!
*Hverken din e-post eller telefonnummer vil bli benyttet til noe som helst annet enn å kontakte deg i forbindelse med denne konkrete henvendelsen. Vi har kontroll, og dersom du lurer på hvor god kontroll vi har kan du ta en titt på vår GDPR , cookies og personvern side
close-link