Valutaväxling och oddsmakeri för meningsfulla framsteg – ett exempel
Jag har i två poster (kolla första och andra delen) resonerat kring hur vi kan navigera framgångsrikt under osäkerhet genom att bli effektiva valutaväxlare och slipade oddsmakare. Tänkte nu berätta en liten historia om hur detta kan se ut i en arbetsvardag. Håll till godo, kan bli lite långt men förhoppningsvis inte långrandigt.
Låt oss säga att vi har en väl etablerad och mogen webbtjänst där vi nyligen gått igenom en förhållandevis stark tillväxtperiod, men där vi nu planat ut något på en stabil nivå. Tjänstens värdeerbjudande fungerar utan registrering, men vi har märkt att andelen som köper tillbehör i vår tillhörande webbutik är betydligt större bland registrerade användare.
Registrering ger en mer personaliserad och mer omfattande tjänst, och vi tjänar mer på varje registrerad användare i annonsintäkter. Vi har även påbörjat ett experiment med en annonsfri prenumerationsmodell (betaltjänst) kring ett av våra mest uppskattade tjänsteområden, och även där märkt en högre konverteringsgrad från våra registrerade användare.
Vi har efter ledningens målsättningsprocess haft valutadiskussioner med ansvarig för vår avdelning. Vi har gått igenom målen och tillhörande nyckeltal för ledet ovanför vårt team för att försöka hitta hur vi kan bidra på bästa sätt. Avdelningens mål handlar i stort om att få så många betalande kunder som möjligt, dvs leda dem så framgångsrikt som möjligt genom ”tratten”:
– dra publik till hemsidan,
– få dem att engagera sig i tjänsten med en så uppskattad upplevelse som möjligt
– för att sedan få dem att investera (tid/energi) i en registrering,
– för att optimera andelen besök följt av köp i webbutik och nu på prov även prenumeration.
Vi är såklart i slutändan ute efter effekten intäkter av köp i butik och från annonser (och så småningom prenumerationer), men har mätetal som är mer ledande för oss i teamen att navigera efter. Vi finner ledning i t ex kostnad/intäkt per annonsvisning (CPM), per klick (CPC) respektive klickfrekvens, navigeringsflöde och konverteringsgrad för olika delar av tjänsten, men måste för att optimera de utkomsterna förstå kundens beteende i varje situation för att kunna bemöta deras sökande efter värde.
Vi måste alltså ha en klar bild och uppfattning av att en eller flera mätpunkter representerar ett beteende eller effekt vi eftersträvar för att nämnda indikatorer ska ha ett ledande värde för oss. I linje med detta tittar man även på sådant som kostnad per order och genomsnittligt ordervärde, retention/churn och sessionstider för olika användargruppper för olika delar av tjänsten. Valutan kan skilja sig lite mellan teamen beroende av vilka mål respektive team har satt upp, vilket beteende man vill driva, och kan också utgöras av kombinationer av dessa olika mätpunkter.
Sätta målet och nyckelmätetal – första experimentdesign- / byggfasen
Det egna teamets mål är att öka antalet nya kvalificerade premium användare kommande kvartalet genom (man räknas som premium användare först när man registrerat sig och kvalificerad innebär att man lämnar registreringsdelen motiverad att fortsätta använda tjänsten regelbundet, valutan för oss i detta teamet är antalet nya användare enligt denna definition):
- en effektivare interaktion med potentiella användare i registreringsflödet vilket tros ge en 50% förkortning av tiden det tar att ta sig igenom flödet,
- en minskad drop-off under registrering från 30 till 10 % (folk som påbörjar men inte fullgör registreringen),
- en ökning av kundnöjdheten hos nya premiumanvändare från 70 till 80 (kundnöjdhetsindex, NPS).
Vår initiala konfidensgrad att vi når målet och den önskade effekten är 50%, eller ”oddset” 2.0 (måluppfyllelse = 1.0, ju högre odds desto mindre sannolikt / konfidens har vi att uppnå det) då osäkerheten till en början är stor vad gäller både uppfyllelse och faktisk utkomst.
Första valideringsfasen
Några veckor in pekar allting åt rätt håll, våra mätetal visar att vi verkar vara på rätt väg. Några ändringar i användargränssnittet har redan reducerat tiden för sign-up med 25% vilket minskat drop-off från 30 till 20% och nöjdheten för nya premiumanvändare, som mäts i samband med registreringen, steg med 4 enheter. Det hela har alltså gett ett större antal nya premium användare då trafiken varit stabil.
Kalibrering: Vår konfidensgrad att uppnå målet i tid och omfattning sätter teamet med råg i ryggen nu därför till 0.8, eller oddset 1.25.
Andra experiment- och valideringsfasen
Efter ytterligare någon vecka fortsätter den goda trenden vad gäller bättre effekt på siffrorna genom våra riktade arbetsinsatser. Men det visar sig när första mätningen av kundnöjdheten för alla premiumanvändare kommer in att den sjunkit från 70 till 65 under perioden.
Detta var högst oväntat med tanke på vår egen mätning av våra nya premiumanvändare och triggar såklart vidare undersökning. Vi upptäcker då att 20% av premiumanvändarna avregistrerar sig ett par dagar efter registrering, en ökning från en sedan länge stabil nivå kring 10%.
Detta skulle vi fångat upp tidigare om vi definierat en ny kvalificerad premiumanvändare som användare som varit registrerad minst en vecka och verkligen visat prov på effekten ”kvalificerad”, och haft det som nyckelmätetal, som valuta. Då hade vi fortsatt mäta/följa användarna över denna period och upptäckt en sådan markant ökad drop-off effekt tidigare (nu var denna siffra i och med definieringsmissen del av något annat teams mätetal, och inte under vår direkta ”bevakning”).
Alternativt att kundnöjdhetsundersökningen för nya premiumanvändare gjorts några dagar efter registrering, i samband med aktivt användande, istället för i samband med själva registreringen. Deras eventuella missnöje hade då fått chansen att uppstå och gro lite, och vi hade då inte blivit lurade av en skenbart god nöjdhetssiffra.
Vi hade nu skenbart uppnått avsedd effekt (fler nya premiumanvändare som dessutom verkade nöjdare än tidigare, men egentligen fallit på egenskapen ”kvalificerade” vilket inte upptäcktes då vi mätte nöjdhet/engagemang vid fel tidpunkt i flödet), men effekten var feldefinierad vilket gav utslag på ett annat mätetal som vi inte hade tagit med i beräkningen, men som vi absolut inte kunde bortse ifrån nu då det markant påverkade kärnupplevelsen av produkten.
Kalibrering: Konfidensgraden sjönk därför till 60%. Vi förstod inte varför detta inträffade, men vi kände fortfarande att vi inte var helt ute och reste. Vi var därför inte beredda att lägga om målsättningen i sig men förstod att en viss kursändring och omvärdering antagligen skulle krävas. Vi började bli väldigt osäkra på om vi skulle hinna komma lösningen på spåren och kunna åtgärda i tid. I vilket fall triggade osäkerheten om måluppfyllelse en väldigt fokuserad och engagerad insats för att förstå problemet för att i sin tur kunna hitta en bra lösning så fort som möjligt.
Tredje experiment- och valideringsfasen
Frågan kvarstod, varför lämnar de? Det visar sig att våra ändringar gjorde sitt jobb. Det blev lättare att registrera sig och fler fullföljde därför registreringen. Fler (och nöjdare) nya premiumanvändare dag 1 alltså. Men det var uppenbarligen oklart för vissa av dem vad de skrev under på, vad de registrerade sig för. Vi lockade genom oklarheter i vår visserligen enklare men bevisligen ofullständiga användarupplevelse helt enkelt delvis fel personer till vår utökade tjänst.
Det visade sig dessutom att Innehållsteamet för den öppna tjänsten hade gjort om lite i hur de beskrev registreringen och vad man fick som registrerad användare med målet att locka fler till registrering. Detta var tänkt som en hjälp till oss, men även som en åtgärd för att bemöta deras egna nyckelmätetal kring innehållsmängden i tjänsten.
De ville skapa innehåll, och kanske inte primärt det mest lättillgängliga eller effektfulla med våra ögon sett, ur perspektivet effektivare interaktion med målet att skapa en enklare och smidigare användarupplevelse vid registrering. Nu blev det att de optimerade lite ”till varje pris”. Utan hänsyn till om användarna lämnade direkt efter att deras mätpunkt för engagemang och passage genom den delen av innehållsflödet hade uppnåtts framgångsrikt. Eftersom de inte hade stämt av ordentligt med oss eller teamet som ansvarade för premiumtjänsten, blev nu resultatet att de lite i samma anda som oss delvis lockat fel målgrupp till registrering.
Oklarheter kring våra tre teams interna valutor (mätetal) och hur de hängde samman och påverkade varandra var dåligt definierat, diskuterat och synkat mellan teamen (vi hade alla bl a gjort misstaget att inte ta på oss användarnas glasögon och sett vår tjänst tillräckligt utifrån deras helhetsperspektiv, såklart helt oberoende av våra interna teamgränser). Resultatet av dessa otydligheter blev att en ganska stor grupp av premiumanvändarna lämnade efter någon dag när det gick upp för dem att tjänsten inte var vad de blivit ledda att tro.
Som ett led i att åtgärda detta gjorde vi nu därför om definitionen av premiumanvändare till någon som varit registrerad minst en vecka och under den tiden varit aktiv under minst 2 sessioner (och därför borde förstå vad tjänsten innebär och ändå väljer att stanna kvar, dvs vara rätt för dem). För att verkligen sätta ribban högre och mäta tuffare för oss, men på rätt saker. Vi ville såklart ha en så ha en stabil och ”hård” valuta som möjligt, så att vi kunde lita på och hitta riktning i det vi mätte på.
Vi tog också till oss lärandet att vi borde ha haft en diskussion med Innehållsteamet kring växlingskurs för våra respektive valutor (mätetal för värde), då hade vi antagligen upptäckt missförståndet kring hur vi ville onboard:a till värdeerbjudandet för premiumanvändare. Vi delade ett överliggande mål med fler och nöjdare kunder, men hade olika delmål och nyckelmätetal som visade sig motverka varandra.
Detta gällde även gentemot teamet som ansvarade för ledet efter oss och mätte och följde nöjdheten och beteendet för befintliga premiumanvändare. En växelkursdiskussion med dem hade troligen tidigt avslöjat vår definieringsmiss som gjorde våra respektive valutor så dåligt kompatibla. De fick ju ta skiten för vår miss.
Efter att ha undersökt sign-up flödet tillsammans med våra användare hittade vi otydliga delar som vi trodde oss kunna åtgärda med lite arbete och med det locka rätt målgrupp med rätt information. Förhoppningsvis skulle detta påverka mätetalen på samma sätt som innan fadäsen fast med bibehållen kundnöjdhet. Vi påbörjade detta arbetet och fick till vår stora glädje bra respons på nedlagt jobb.
Kalibrering: Graden av konfidens växte. Alla mätetalen pekade i rätt riktning, men vi var väldigt osäkra på om vi skulle kunna uppfylla målet i sin helhet i tid. Vi hade kvar målsättningen, men hade ju nu genomfört vissa kursändringar baserat på nytt lärande och omvärderingar av vilket värde vi ville skapa och varför. Detta hade tagit tid och energi i anspråk, men resultatet av det hade visat sig vara på helt rätt spår och därför gett bra effekt. Det var bara någon vecka kvar och lite väl långt ifrån önskad effekt, men vi var sporrade att ge det vårt bästa försök och fick helt enkelt höja tempo, arbeta än mer fokuserat och se om det räckte. Vi höjde därför ändå bara konfidensen till 75.
Fjärde experiment- och valideringsfasen – Målgången
Vi arbetade stenhårt och fokuserat på att nå målet, men fick acceptera att när tiden var gången hade vi inte riktigt nått fram. Men väldigt nära, så vi var nöjda och visste nu väldigt mycket mer om hur vi skulle kunna påverka våra mätetal åt rätt håll, och fått bättre både mätpunkter och värde-/valutadefinitioner att bygga vidare på mot nästa ambitiösa målsättning. Vi nådde ca 9/10 av vägen.
P.S Efter några veckor visade sig att en konkurrerande tjänst till vår annonsfria betaltjänst planerade att göra tjänsten helt betal- och annonsfri (som ett led i deras onboarding till en mer omfattande betaltjänst). PR arbetet för denna kommande händelse hade redan fått effekt på vår nu nyligen lanserade betaltjänst genom att vi märkte att tillväxten i nya prenumeranter droppade och antalet uppsägningar av prenumerationer ökade ganska markant.
Vårt team hade fått ansvaret för valutan nya prenumeranter på vårt bord, och antog genast utmaningen att bemöta detta ”yttre hot” som överliggande värdemål för kommande kvartal. Genom att undersöka närmare upptäckte vi en avgörande skillnad i våra erbjudanden, där vi var ganska unika och som vi med vår kunskap om våra kunder var ganska säkra på var väldigt avgörande för dem. Vi var också ganska säkra på att konkurrenten varken ville eller hade möjlighet att gå åt det hållet med sin tjänst.
Men detta var bara kvalificerade antaganden från vår sida och vi valde såklart att som experiment betona och validera denna självupplevda styrka och konkurrensfördel. Dessutom valde vi att i faser bygga ut den delen av vår tjänst, allteftersom vi fick validerat vårt antagande om högt kundvärde. Vi märkte snart av en minskad andel uppsägningar och dessutom en återgång till nästan samma tillväxttal för prenumerationstjänsten som innan.
Under resans gång arbetade vi, visa av tidigare erfarenhet, ännu tätare och med återkommande valutaväxlingsdiskussioner med omgivande team och med regelbundna uppskattningar av konfidensgrad för att styra oss rätt i beslutsfattande och navigering. Ett visst tapp till konkurrenten fick vi helt enklet acceptera i det läget då vi aktivt beslutat att inte koncentrera värdeerbjudandet till det målgruppssegmenetet vi tappade. Samtidigt kände vi att vi i utforskandet av detta hittat en ny och tidigare lite outforskad potentiell guldådra där vi än så länge ansåg oss ligga i frontlinjen. Här fanns värde att utforska, utvinna och utbyta för oss tillsammans med våra kunder härnäst!
Några avslutande ord och tankar kring denna berättelse. En premiss för att vi ska kunna ta steget från ”feature fabriken” till en mer utforskande och lättrörlig ansats, är att vi kan ta till oss och acceptera ett kontinuerligt lärande som tillvägagångssätt och vägvisare framåt för vårt arbete. Att vi klipper navelsträngen till det endimensionella och statiska arbets- och tankesättet att vårt jobb är att outtröttligt exekvera på en färdigbakad förutbestämd kravlista uttryckt i färdigspecade funktioner som trycks in i ena änden och ut ploppar ”features” i andra.
Att vi istället antar utmaningen att vänja oss vid och träna upp oss i att produktutveckla genom att utforska, experimentera och validera runt antaganden om kundvärde, beteende och utkomster och låter detta guida vår väg framåt i produktbyggandet. Det senare är helt enkelt den nya arbetsbeskrivningen för vårt jobb som produkt- affärs- och verksamhetsutvecklare. Som företagare. Just därför tror jag vi behöver familjära oss så smått redan idag med grundläggande förmågor och verktyg för ständig valutaväxling och oddssättning i vår professionella vardag. Ett bra ramverk och stöd för denna ständiga kalibrering av verksamheten (att hela tiden uppdatera definitionen av och samsynen kring värde och arbeta med sannolikhetsbedömningar i alla led) hade varit en stor hjälp. Finns det idag?
Denna berättelse handlade om en digital tjänst och dessutom B2C, och jag vet av erfarenhet att många värjer sig mot detta och menar att deras (ofta väldigt unika) förutsättningar och miljö inte alls lämpar sig för detta sättet att arbeta… Eller ”– jo, vi förstår att detta kan fungera B2C, men i n t e B2B.” något som ofta fortsätter med ”…och inte i tung / skitig industri med allt vad det innebär…” eller något liknande. Jag tror jag har hört det mesta och det bästa av alla de invändningar som florerar därute, både bland ”fotfolket” och på ledningsnivå.
Så är det givetvis inte, detta handlar om affärer, människor och i grund och botten beteende och är därför universellt och fungerar under mer eller mindre samma förutsättningar överallt. Med lite skruvande. Det kräver lite anpassningar efter omständigheterna och kommer såklart att möta motstånd och tröghet av samma anledning. Det utmanar etablerade och inarbetade vanor, beteenden och strukturer, vore förvånande om det gick att vända på en femöring.
Hänsyn behöver tas till andra / längre cykler som driver verksamheten. Det gäller t ex värde- / livstids-, bygg- / utvecklings-, leverans-, sälj- och därmed lärocykler, men i övrigt gäller samma premisser. Sen finns det alltid extremer där förutsättningarna är så speciella att arbetssättet helt enkelt och rent praktiskt inte fungerar. Men de bör vara sällsynta och ganska självklara på ett annat plan för dem det berör. Hjälp mig gärna med exempel på sådana!