Teamwork makes the dream work

Ett smalt fokus och en tillit till att besökarna, och inte vara egna åsikter, skulle guida oss mot målet la grunden för vårt arbete. Men viktigast av allt var människorna i teamet och att vi tillsammans lyckades skapa ett momentum och en förmaga att röra oss framåt. 100 AB-tester har saklart hjälpt oss att optimera konverteringsgraden, samtidigt har teamet och flera andra på Kivra fått en större förståelse för värdet av den här typen av datadrivna arbetsprocesser.

Mitt bidrag till teamet var erfarenhet inom digital analys, AB-testning och konverteringsoptimering. Alla i teamet led av extrem nyfikenhet och hade en snabb inlärningskurva – perfekt för uppdraget!

Innehåll

Du kan hoppa till olika sektioner genom att klicka nedan.

• Exempel på våra AB-tester
• Bakgrund och mål
• Arbetssätt: Output & Outcome
• Teamet
• Verktyg
• Att mäta är att veta
• Tänk stort men börja smått
• Framgångsfaktorer – sammanfattning

Bra att veta

Kivra: Om du mot förmodan är en av de som inte vet vad Kivra är, så är den korta förklaringen att det är en digital låda där du kan samla dina viktigheter, tex brev, fakturor, kvitton och annat. Väldigt smart och praktiskt, och gratis för privatpersoner. (Användare kan använda Kivras webb och appar, men i detta arbeta var fokus på webben.) Kivra används av cirka flera miljoner svenskar.

Teamwork makes the dream work: Jag var den enda med bakgrund inom CRO och analys, men framgången berodde på hela teamets samlade arbete och engagemang. Stort tack till alla som varit med på denna resa!

CRO: Står för Conversion Rate Optimization, på svenska blir det Konverteringsoptimering. Det är en arbetsprocess för att få fler besökare att bli kunder – konvertera.

AB-tester: En metod för att med lämpliga verktyg dela upp besökare i olika grupper som visas olika innehåll, och då enkelt se vilket innehåll som engagerar mer. Användarna får bestämma, och du får svart på vitt vad som fungerar och inte.

Exempel på gjorda AB-tester

Här är ett axplock av de testerna som vi gjorde på kivra.se. Målet var att få fler besökare att skapa konto. Jag har valt ut 4 enkla exempel för att visa att även med små medel kommer fina resultat. Alla förbättringar tillsammans ger en stor samlad effekt.

1: Knapptext i knapp överst på startsidan

Originalet till vänster är “Skapa konto”, och vi ville utforska om det var enkelheten i “Kom igång” eller bekräftning av varumärkesarbetet “Skaffa Kivra” som engagerade besökarna. Resultatet nedan visar att den lilla textändringen till “Kom igång” ledde till en absolut ökning av klickfrekvensen med 3,4 procentenheter.

2: Social validering med omdömen

Det är välkänt att omdömen från andra kan förbättra konverteringsgraden. Exakt hur mycket tog vi reda på i vårt test där vi la till omdömen från existerande användare. Resultatet nedan visar hur konverteringsgrad för skapade konton ökade med 2 procentenheter. (Originalet vänster.)

3: Synligare länk i toppmeny

Syns man inte finns man inte, eller hur? I toppmenyn på varje sida finns en länk till sidan där besökare skapar ett konto: “Kom igång”. En ganska enkel förbättring av synligheten genom att skapa en knapp av länken gav rätt stora effekter. Resultatet nedan visar klickfrekvens på respektive länk/knapp. (Originalet överst.)

4: SEO-test av rubrik på startsida

AB-tester visade sig vara användbart även i andra sammanhang. Exempelvis när vi för att förbättra SEO på en undersida ville flytta orden “digitala brev och kvitton” från startsidan till en undersida som handlade just om dessa ämnen. Vi ville inte riskera att tappa konverteringar så vi testade det först – och insåg att det faktiskt blev en ökning i konverteringsgrad!

Bakgrund och mål

Valtech hade jobbat med Kivra ett tag och byggde bland annat externwebben, alltså kivra.se. Efter att den nya webben publicerades blev vi tillfrågade av Kivra om vi kunde hjälpa de optimera webben för att fler personer att skaffa ett konto. De hade högt uppsatta tillväxtmål, och vi tog oss an uppdraget med stort engagemang.

Det hela började i sedvanlig ordning med en workshop där teamen lärde känna varandra, pratade om affären och hur alltid hängde ihop. Där bestämde vi också huvudmålet och den övergripande inriktningen för uppdraget.

Mål: Fler skapade konton

Kivra har både webb och appar, och det är både privatpersoner och företag som använder tjänsten. Det är lite som en marknadsplats, så det finns många möjligheter att utforska ett varierande landskap och jobba på flera fronter.

Vi fick ett tydligt och avgränsat mål:

En positiv sidoeffekt av vårt arbete med externwebben och konvertering av privatpersoner, var att det väckte en nyfikenhet och intresse i andra team. Exempelvis app-teamet lanserade ett AB-test och insikterna kunde vi återanvända i ett test på externwebben och få matchande positivt resultat. Klockrent och kul samarbete över avdelningar!

Resultaten av testerna gick teamet igenom varje vecka, och presenterade för övriga bolaget på månadsmöten.

Över tid när teamet och processen mognade började vi titta på andra mått för att utvärdera vår output. Till exempel “Win rate”, alltså andelen experiment som ger resultat som är bättre än originalet. Det är ett smart mått, för det sätter striktare krav på alla experiment vi gör.

Win rate började vi använda mot slutet av det första året, eftersom vi då hade lärt oss så mycket att hypoteserna och prioriteringen var bättre och kunde utmanas mer.

Teamet

Vi fick ihop ett superteam av blandade skills. Olika kompetenser deltog i olika moment, med en mindre kärngrupp som drev programmet.

• 1 produktägare för webben
• 2 frontendutvecklare
• 1 bred profil av typen redaktör/UX-designer
• 1 projektledare
• 1 SEO-specialist
• 1 CRO-specialist och analytiker (jag, Zarko)

Ingen i teamet jobbade heltid med endast konverteringsoptimering, utan vi hade vissa dagar då vi jobbade tillsammans och fokuserade på det.

Förutom mig så hade ingen av de andra arbetat med CRO eller AB-tester. Men alla i teamet led av extrem nyfikenhet och hade en snabb inlärningskurva – perfekt för uppdraget!

Vi kunde stötta och utmana varandra, och oftast hittade vi snabbt lösningar på våra utmaningar. Dessutom kunde vi enkelt utvärdera hur mycket jobb en aktivitet krävde, eftersom vi hade alla kompetenser representerade i teamet.

Growth-team är tvärfunktionella team

Jag skulle också tillägga att tvärfunktionella team är utmärkande för det produktiva sättet att jobba på, speciellt om det finns önskemål om att jobba datadrivet och användarcentrerat.

De olika perspektiven som utgör helheten måste finnas representerade på något sätt. Innovation är ju när två kända saker kombineras på ett okänt sätt, och det är i överlappningen mellan kompetenserna som det fantastiska sker. (Men detta vet du ju redan, eller hur.)

Exempel på kompetenser i produktiva growth-team:

• Marketing & Content
• Tech & Engineering
• Analytics & CRO
• Business

Verktyg

Eftersom vi gav oss ut på oprövade vatten valde vi att komma igång så snabbt och slimmat som möjligt, och inte fastna i en massa tekniska implementationer av verktyg – lätt hänt att stranda här och inte få något gjort.

Planen var att börja jobba och då också lära oss mer om våra behov och möjligheter, för att senare kunna kravställa bättre på mer anpassade verktyg eftersom vi då skulle veta precis vad vi behövde. Dessutom är de primära verktygen gratis, vilket alltid underlättar 🙂

Vår tech stack

• Google Analytics – besöksdata
• Google Optimize – köra AB-tester
• Google Sheets – uppföljning och scoring av experiment
• Google Slides – testkort för dokumentation av experiment
• Slack – intern kommunikation och kunskapsdelning
• Miro – virtuell dashboard för samarbete
• Trello/Jira – Ärendehantering

Google Analytics var redan implementerat på externwebben, så vi fortsatte med det. Vi la till Google Optimize för att bygga och lansera AB-testerna. Och eftersom Google Suite redan användes i verksamheten, så satte vi upp dokumentation och scoring-ramverk för experimenten i Google Sheets och Slides.

Då kunde alla i organisationen lätt komma åt alla dokument, och det behövde inte bli någon utdragen köpprocess av verktyg och tekniska projekt för implementering. Slack användes som intranät, så där publicerade jag löpande insikterna från testerna, och skapade på så sätt mer intresse och buy-in från resten av verksamheten.

Testkort & Bibliotek med lärdomar

Varje test fick ett eget testkort. På kortet skrevs alla viktiga delar som hypotes, uträkning, mockup-bilder, samt resultat och action. Det var också enkelt att ta en skärmdump av kortet och dela vidare.

Över tid skapade vi ett bibliotek med alla testkort. Med alla lärdomar och insikter på en och samma plats.

Under den första tiden funkade det jättebra med Google Slides, men efter att tag blev det mer ansträngt och svårt att administrera. Det finns så klart bättre lämpade verktyg gör det lätt att följa upp, tagga, och kategorisera experimenten, men det här funkade fint där vi var då.

Ramverk för prioritering

I början så hade vi inte en lång att-göra-lista och det absolut viktigaste var att komma igång. Men ganska snabbt så ville jag ändå att vi skulle reflektera och enas kring vilka experiment vi skulle köra. Alla idéer är välkomna, men alla idéer är inte lika mycket värda.

Så för att göra det lätt att komma överens skapade jag ett enkelt ramverk där vi kunde betygsätta idéer utifrån det som vi som team tyckte var viktigt.

Den första versionen innehöll endast 3 generiska “vikter”, medan vi över tid ökade upp vår scoring med 8 specifika vikter. Den utvecklingen tycker jag verkligen visar hur teamet mognade i sin kunskap och arbetssätt.

Lästips: Jag kan varmt rekommendera att läsa PXL: A Better Way to Prioritize Your A/B Tests av Peep Laja för att förstå fördelar och nackdelar med olika prio-ramverk.

Att mäta är att veta

Kunskap är makt, är ju ett välkänt citat. Ett annat mindre känt uttryck från analytiker-branschen är: “Om vi inte mäter det så kan vi inte optimera det.”

Så bland det första vi gjorde var att öka mängden kunskap vi hade om besökarna och säkerställa en hög datakvalitet. Framförallt gällde det den kvantitativa och mätbara kunskapen, i form av besöksdata i Google Analytics. Självklart i samråd med Kivras jurister för att säkerställa att vi följde GDPR och Kivras egna “privacy by design”-policy.

Nedan är en bild på mätplanen som täcker alla viktiga händelser på kivra.se. Det behöver alltdå inte vara mycket svårare än så här att få bra datakvalitet.

Eftersom vi i teamet hade analytiker och frontendutvecklare gick det hela ganska snabbt. (Det underlättades av att vi i slutändan “endast” mäter leads och inte exempelvis en e-handel med krävande flöden som varukorg, kassa och betalningar.) En robust och skalbar mätplan sattes upp och implementerades under de första veckorna, och direkt kunde vi se helt ny statistik om vad besökarna gjorde (och inte gjorde) på webben. Nu hade vi riktigt bra data att bygga våra hypoteser på, och kunde enkelt följa upp resultatet av vårt arbete.

Tänk stort men börja smått

Det absolut största hindret för att lyckas med något projekt, oavsett sort, är att det inte händer något. Speciellt så när det är helt nya arbetsprocesser som ska testas på och utvärderas. Så det finns helt enkelt inget viktigare än att komma igång och börja köra.

Eftersom jag var den enda i teamet som hade jobbat på detta sätt med datadriven optimering var jag också den enda som visste hur bra det kan bli. Jag var helt säker på att vi skulle lyckas om vi bara kom igång.

I början kom många frågor om hur många möten vi skulle ha, hur långa de skulle vara, vad agendan skulle vara, och så vidare – och mitt envisa svar var oftast: “Jag vet inte. Vi kan väl köra igång och se vad som krävs.”

Efter ett tag lärde sig alla att lita på processen, och orden ovan från Henrik tycker jag sammanfattar det hela på ett bra sätt.

Framgångsfaktorerna – summering

Här är listan med framgångsfaktorerna som gjorde att vi kunde komma igång och leverera värde från start och genom hela projektet.

Varje verksamhet har sina egna behov och möjligheter, och en viktig output är själva processen för hur just ert team ska jobba datadrivet. Så listan nedan är kanske inte en direkt garanti för att ni lyckas, men jag skulle ändå våga säga att det är en stark hypotes att det ökar sannolikheten att ni lyckas.