LOADING

7 feil både erfarne og nybegynnere gjør når de gjør en A/B test

av Deniz Gun Publisert: 07 november, 2017
Når man jobber med CRO (conversion rate optimization, konverteringsoptimalisering) så er det å gjøre en A/B test en del av arbeidshverdagen | Right Brain

A/B test

Når man jobber med CRO (conversion rate optimization, konverteringsoptimalisering) så er det å gjøre en kontinuerlig A/B test en av arbeidshverdagen. Men det er viktig å bemerke seg at det faktisk bare er en liten del.

Du har kanskje selv satt opp ett par A/B tester der du har merket at det er vanskelig å gjette seg frem til hva du skal teste? Og kanskje til og med merket at testene ikke får det resultatet du så inderlig hadde ønsket. Hvorfor er det egentlig slik? La meg først og fremst forklare hva en A/B test er, for deg som ikke er helt sikker.

 

Logikken bak er ganske enkel. Du lar en del av din trafikk få se din opprinnelige side (A) og en annen del den andre varianten du har laget (B). Du kan velge å fordele trafikken på mange forskjellige måter, men det er ganske vanlig å fordele trafikken 50/50 for å raskere få et resultat, og signifikans (hvor stor sannsynlighet det er for at A eller B er bedre).

Jeg tenkte det kunne være kult gjort av meg å dele noen av de vanligste feilene mange gjør når de A/B tester. For da slipper også du å havne i disse fellene.

 

Feil 1: Du tror at A/B-tester og CRO er en vidunderpille full av magi

Selv om CRO er superkult så er det dessverre ingen vidunderpille full av magi som løser alle problemene du måtte ha. Dersom det fantes en magisk oppskrift for den optimale kundereisen så hadde vel alle brukt den oppskriften og tjent helt syke mengder med penger?

Det å A/B teste er både lærerikt, gøy og kan gi mange overraskende resultater. Men man hverken kan, eller skal, sette i gang med A/B testing uten at det er en grunnleggende tanke bak hva man skal teste. Og ikke minst, hvorfor. Tester du uten å ha en god grunn for hvorfor du tester det du tester så kommer din test med stor sannsynlighet til å mislykkes.

Først og fremst må du sette deg inn i dine besøkerens situasjon og lære de å kjenne – godt! Se på hvilke problem de har, se hvor de har vanskeligheter og hjelp de ved å guide de på rett vei. Du kommer aldri til å få svar på hva som fungerer og ikke fungerer dersom du ikke tester.

 

Løsning:

Forstå at CRO er en arbeidsmåte der A/B tester benyttes for å kvalitetssikre at dine ønskede endringer faktisk er positive. Det innebærer at du kontinuerlig forbedrer ditt nettsted ved hjelp av data. Det er ikke en magisk løsning på alle dine problemer og utfordringer.

For noen ganger ligger problemene dypere enn hva en A/B test kan hjelpe deg med.

Det kan for eksempel være at det ikke finnes et godt nok marked for ditt produkt eller tjeneste. Eller det kan være noe så “enkelt” som at du rett og slett har for lite trafikk til nettsiden din, og for dårlig kvalitet på trafikken du får, og har.

 

Feil 2: Du kjøper trafikk for å booste resultater i din A/B tes

Du er utålmodig og vil at A/B testen din skal få raskere resultater. Du har jo ikke nok trafikk, så hvorfor ikke kjøpe trafikken som du peker inn mot siden du tester? Nei, kort og godt, Nei! Du kan ikke gjøre det. For å forklare det enkelt.

Tenk deg at du kjøper trafikk (som du kanskje ellers ikke gjør), hvordan tror du det kommer til å påvirke din pågående test?

Du får naturligvis inn mer trafikk til siden din. Men hvordan er kvaliteten på den trafikken du har kjøpt, egentlig? Og representerer denne trafikken din vanlige målgruppe? Har du en pågående test og begynner å sende trafikk inn til testen så kommer tallene dine til å bli ekstremt vanskelig å tolke.

Den kjøpte trafikken er rett og slett ikke representativ for testen du jobber med. Spesielt dersom du aldri ellers kjøper denne typen trafikk. Nå snakker vi ikke om vanlig tradisjonell markedsføring, vi snakker mer om affiliate og andre typer nettverk.

Det er ikke nødvendigvis dumt å jobbe med dette, men det er dumt å kjøpe slik trafikk midt i, eller før, en A/B test. Trafikken som bør være representert i en test, skal være den trafikken du ellers får. Et eksempel på dette er en A/B test vi gjorde for Dressmann.

De hadde ikke kjøpt irrelevant trafikk, men testen viste (naturligvis) helt forskjellige resultater knyttet til nye besøkende vs returnerende besøkende.

Kjøper du da en stor batch med trafikk så oppfører de seg annerledes på nettsiden din, og annerledes i din test.
Det kommer til å gi deg falske resultater, og kanskje falske forhåpninger om fremtidig uplift i konverteringsrater og omsetning.

 

Løsning:

IKKE kjøp trafikk inn til ditt nettsted når du har en pågående A/B test (dersom du ikke normalt sett gjør det). Skulle du, mot min anbefaling, gjøre dette. Så husk at du kan skape segmenter i ditt analyseverktøy.

Det gjør at du kan ekskludere det fra testresultatene når du analyserer. Men det gir deg masse ekstra jobb, og dersom trafikken du får ikke er tagget opp med trackinglenker på en korrekt måte så kanskje du til og med vil få vanskeligheter med å skape segmenter, og segmentere trafikken ut.

 

Feil 3: Du tester uten mål og mening

Du har kommet på en knallgod idé. Du vil begynne å A/B teste ting. Og du tester alt, absolutt alt, bare for at du synes det er kult og for at du tror det skal hjelpe på konverteringsraten. Det kan jo være at du har flaks av og til. Men dersom du ikke har en tanke bak hvorfor du gjør det du gjør, hvorfor skal du da gjøre det?

 

Løsning:

Slutt å slurve med din research. Gjennomfør kvalitative spørreundersøkelser, installer heatmaps, scrollmaps, clickmaps og sett i gang med innspillinger av dine besøkendes sesjoner.

Sist men ikke minst, se på dataen din via Google Analytics (Eller det analyseverktøyet du bruker dersom du ikke bruker GA).

Nå har du funnet lekkasjene og “feilene”. Nå tar du frem hypoteser. Testbare hypoteser!

 

Feil 4: Du avslutter din A/B test for raskt

Vi mennesker er relativt utålmodige. Og kanskje spesielt mennesker som venter på at en A/B test skal få en “vinner” (Eller en “clear leader” som Google Optimize kaller det). Men du har kanskje ikke tenkt over at du har forskjellige konverteringsrater hver eneste dag?

Folk er i ulikt humør og ulikt modus fra dag til dag. For eksempel kan en dag med regn føre til at folk handler mer (økte konverteringsrater og salg).

Selv om du har mye trafikk og har kommet opp til den “magiske” grensen med 100 transaksjoner på bare 4 dager så skal du uansett ikke utrope en vinner på egenhånd.

Du la testen få litt tid. Gjør du ikke det vil du med stor sannsynlighet utrope feil “vinner”. Det igjen vil føre til at du implementerer feil variant og du begynner å tape penger. Og det, det vil du ikke.

 

Løsning:

La testen gå i minst 14 dager. For i løpet av den tiden har testen høyst sannsynlig pågått i en full “business cycle”. Da kan du gratulere din vinner ; )

Merk deg at din business cycle til og med kan være lenger enn 14 dager, dette kan du se, og få en liten antydning på, i ditt analyseverktøy.

 

Feil 5: Du A/B-tester selv om du egentlig ikke har tilstrekkelig trafikk til å gjøre det

Du har helt sikkert hørt om hvilke sinnsyke resultater man kan oppnå ved hjelp av A/B tester og CRO. Derfor begynner du å A/B teste selv om du egentlig ikke har tilstrekkelig trafikk til å gjøre det. Har du lite trafikk så kan du faktisk måtte sitte i 3 år med testen din før du kan utrope en “vinner”. Det er helt sant!

Så mye tid tipper jeg du ikke har. Det har du neppe tålmodighet til. For at en A/B test skal kunne fungere som et grunnlag for å ta en beslutning, er det viktig at testen har en høy signifikans.

Helst opp mot 95%. Da kan du nesten helt sikkert si at testen har hatt en god eller dårlig påvirkning på nettsiden din. Og på dens konverteringsrate (Dog fremdeles med 5% sjans at påstanden er feil).

 

Løsning:

Har du ikke trafikk så sats heller på å gjennomføre endringene med en gang. Ikke glem å kommentere dato for endringen i Google Analytics og følg med på hva som skjer i dataen din.

Ser du en positiv trend så er det bra. Men ser du en negativ trend bør du vurdere å endre tilbake til slik det opprinnelig var på nettsiden din. Alternativt tester du noe nytt.

 

Feil 6: Du kopierer andre uten å tenke deg om 2 ganger

Du har kanskje lest en guide med 47 tips til hvordan du kan øke din konvertering. Eller dine konkurrenter har kanskje dødsmye kult på sin side. Det kan jo du bare kopiere direkte, eller? Du begynner å kopiere det du har sett ande har, og implementerer alle de tingen du leste i guiden. Supersmart..

Les grundig nå. Her kommer et gulltips:

Kopier for guds skyld ikke andre uten at du monitorerer og overvåker resultatet av de tingene du har gjort.

Er dine besøkere nøyaktig de samme som de på den siden du kopierte? Har du like mye trafikk på din side som de du kopierte fra? Vet du hvor de besøkende hopper av i kjøpsprosessen på siden du kopierte fra? Svaret er i 99% av tilfellene; Nei!

Hvorfor implementerer du da masse greier uten å i det hele tatt måle om det var en positiv eller negativ påvirkning på ditt salg?

 

Løsning:

Har du tilstrekkelig trafikk, og kan A/B teste, så gjør det før du kopierer andre. Ved flere anledninger har jeg sett at noe som hadde en suksess i et marked, for eksempel det norske, ikke fungerer når man rått implementerer det for et annet marked. Har du allerede kopiert noen?

Gå inn i ditt analyseverktøy og ta en titt på resultatene dine før og etter endringene dine. Ser du at endringene har påvirket dine tall negativt så vurder å endre tilbake til slik det var før du gjorde endringene.

Eller grav dypere i dataen din. Når du har gjort det så skaper du en egen datadrevet hypotese. Denne kan du da jobbe videre med i en..  Ja, du tenker riktig.. i en A/B test!

 

Feil 7: Verktøyene og scriptene dine er ikke korrekt implementert

Har du lagt merke til hvor lang tid det faktisk kan ta før man får en “vinner” i en A/B test? Enkelte tester må pågå i 2 måneder før man kan se det Google Optimize kaller en “Clear leader”, altså en “vinner”. Derfor er det ekstremt viktig at du har kontroll på dine verktøy og at alle script er korrekt implementert.

 

Løsning:

Gjennomfør en A/A test for å se at alt er korrekt oppsatt. I en A/A test viser du samme side til dine besøkere i A versjon som i den andre A versjonen.

På denne måten kan du sammenligne tallene dine i analyseverktøyet ditt. Påse at alle tall kommer inn slik de skal i begge de to like variantene.

 

Oppsummering

Husk at det ligger mye vitenskap bak A/B testing. Langt mer enn det å endre en knappefarge. Du må ha en del kunnskap om HTML, CSS og Javascript for å mestre å gjøre store endringer.

Endringer som forbedrer kundereisen til det bedre. Selve oppsettet av ulike A/B tester kan være enkelt, litt avhengig av hva du er ute etter å teste. Men det å faktisk finne ut av hva som skal testes tar 90% av tiden du har avsatt, mens selve oppsettet av testen tar de resterende 10%.

Er du klar for å sette i gang med A/B testing på ordentlig, og la proffene ta hånd om dette for deg? Da er det bare å ta kontakt med oss så hjelper vi deg i gang!

 

Jeg har tidligere jobbet som optimaliseringsekspert, utvikler og med digitale strategier. I dag arbeider jeg med min aller største passion – Konverteringsoptimalisering, UX og det å teste, teste og teste.

Deling

Få konverteringstips!

Lær deg mer om konvertering og få nyttige tips, direkte på e-post.

Relaterte artikler

Kommentarfelt

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket *

7 feil både erfarne og nybegynnere gjør når de gjør en A/B test

av Deniz Gun lesetid: 11 min