Så formulerar du en testhypotes som går att mäta

Vad gör en testhypotes mätbar?

En hypotes är testbar först när den anger både vilka observationer som är förenliga med den och vilka som inte är det. Den måste utesluta något, inte bara beskriva ett förväntat mönster.

I marknadsföring kan testet gälla vilken variant av en sida, ett formulär eller ett utskick som bäst når ett konverteringsmål. I ett A/B-test visas två varianter slumpmässigt för användare, och utfallet bedöms mot målet (Optimizely).

En kvantitativ hypotes blir användbar när den knyter en förändring till ett observerbart mått, exempelvis konverteringar. Båda varianterna mäts mot samma mål, till exempel antal leads eller genomförda köp (SEOS Design).

För en webbplats kan måttet vara konverteringsgrad för ett definierat mål, till exempel inskickade formulär. Skriv också vilken målgrupp som ingår, vilken variant som är kontroll och när testperioden slutar, så att utfallet går att tolka på samma sätt.

Att vara mätbar innebär i praktiken att du i förväg bestämmer vad som ska mätas, hos vem eller vad, i vilken enhet och vid vilken tidpunkt.

Tre frågor avgör om kravet är uppfyllt: Vilket värde och vilken riktning förväntar du dig? Vilket utfall räknas som ett nej? Kan en utomstående utifrån din beskrivning avgöra om resultatet stöder eller talar emot hypotesen?

Är svaret nej på den sista frågan är hypotesen för allmänt formulerad.

Så formulerar du en testhypotes för ett A/B-test

Utgå från en marknadsfråga som går att besvara med observerbara beteenden, till exempel om en ändring i formuläret leder till fler inskickade formulär. A/B-testning kan jämföra två sidversioner mot ett konverteringsmål (Optimizely).

Forskning utgår ofta från en eller flera hypoteser som testas.

Inskärpningen sker i fyra delar: bestäm målgrupp eller urval, välj mått och enhet, ange jämförelsen och precisera riktningen. För ett A/B-test behöver du också veta vilken variant som är kontroll och vilken förändring du prövar.

Bestäm om du jämför med en kontrollvariant, ett utgångsläge eller en annan betingelse. Ange sedan om du väntar dig högre eller lägre konvertering, eller fler eller färre genomförda mål.

Formuleringen ”det går bättre med metoden” saknar alla fyra delarna och går inte att pröva. En formulering som anger grupp, mått, jämförelse och riktning gör det.

En färdig hypotes kan lyda: ”Om vi kortar formuläret från sju fält till tre förväntar vi oss fler inskickade formulär, för att tröskeln att fullfölja sänks” (SEOS Design). Ett siffersatt exempel i samma källa är ett mål att öka konverteringsgraden från 2 till 3 procent. Lägg till målgrupp, jämförelse och testperiod innan testet startar.

En hypotes som är för allmän får samma problem som den icke-testbara: den pekar inte ut något utfall som skulle kunna tala emot den. Formulera därför hypotesen som ett påstående om ett bestämt mått i en bestämd jämförelse, inte som ett allmänt omdöme.

Nollhypotes och alternativhypotes i ett marknadstest

I ett hypotestest ställs två hypoteser mot varandra. I ett marknadstest handlar de ofta om huruvida en variant förändrar ett valt konverteringsmått jämfört med kontrollen.

H0 kan formuleras som att kontroll och variant har samma konverteringsgrad. H1 kan ange att varianten ger en skillnad, eller mer specifikt att den ökar konverteringsgraden.

Formulera H0 och H1 innan data samlas in, med samma mål och mätdefinition för båda varianterna. Då kan resultatet jämföras under samma betingelser.

För ett formulärtest blir H0 att konverteringsgraden inte skiljer sig mellan originalet och den kortade varianten. H1 blir att den kortade varianten ökar konverteringsgraden; ett exempel på ett sådant mål är en ökning från 2 till 3 procent (SEOS Design).

Visa kontroll och variant under samma betingelser och använd samma konverteringsmål för båda. I ett A/B-test visas varianterna slumpmässigt för användare (Optimizely).

Slutsatsen gäller H0: antingen finns underlag för att förkasta den, eller så finns det inte tillräckligt underlag för det. Ett uteblivet utslag visar inte i sig att varianterna är identiska.

Härled mätbara konsekvenser och välj ett kontrollerat A/B-test

Härled vad hypotesen innebär för det valda konverteringsmåttet: om H1 stämmer, vad ska då kunna observeras? Den förväntade skillnaden ska gå att kontrollera i de data som testet samlar in.

Gör konsekvensen konkret genom att ange ett mått, en riktning och en jämförelse. I ett landningssidetest kan du till exempel förutsäga högre konvertering för varianten än för kontrollen.

I ett test av ett webbformulär kan konverteringsmålet vara inskickade formulär, jämförda mellan originalet och varianten. A/B-testning mäter utfallet mot ett definierat konverteringsmål (Optimizely).

Planera vilka besökare som ingår, vilka varianter de möter och vilket mål som mäts. Om flera förändringar skiljer varianterna åt blir det svårare att avgöra vilken förändring som hänger ihop med utfallet.

Optimizely beskriver arbetsflödet som att skapa en testhypotes, testa den tekniska implementeringen, köra experimentet och kontrollera statistisk signifikans (Optimizely). Planera därför både mätningen och testupplägget innan experimentet startar.

Optimizely väntar med att ange statistisk signifikans tills experimentet uppfyller kriterier för besökare och konverteringar. Kriterierna skiljer sig mellan numeriska och binära mått (Optimizely).

En kontrollerad jämförelse gör det möjligt att bedöma om varianten påverkar det valda måttet. Tolka därför resultatet mot kontrollen och det konverteringsmål som bestämdes före testet (Optimizely).

Samla in och tolka konverteringsdata utan att överdriva slutsatserna

Genomförandet följer planen: samla in data under de kontrollerade betingelser som H0 och H1 formulerades för, tolka resultaten och dra slutsatser utifrån egna resultat och vad som redan är känt.

Slutsatsen gäller nollhypotesen. Antingen finns tillräckligt stöd för att förkasta H0, eller så behålls H0.

SEOS Design ger ett räkneexempel där teamet vill kunna upptäcka en förbättring från 2 till 3 procents konverteringsgrad. Med trafiken jämnt delad – 4 000 besök per variant och månad – anges att testet behöver köras i ungefär fyra veckor. Efter fyra veckor redovisas 79 konverteringar (2,0 procent) för originalet och 114 (2,9 procent) för den kortade varianten (SEOS Design).

Utfallet i sig visar inte att varianten orsakat förbättringen. Statistisk signifikans beskriver hur ovanliga resultaten vore om variant och kontroll presterade identiskt, och används för att bedöma om varianten orsakat en förändring i måttet (Optimizely).

Undvik att välja ut enstaka utfall som passar förväntningen och bortse från resten av resultatet. Bestäm i förväg vilket mål och vilken jämförelse som ska ligga till grund för slutsatsen.

Bestäm före teststart hur resultatet ska bedömas och vilken statistisk signifikansnivå som används. En lägre signifikansnivå kan öka risken för falskt positiva resultat (Optimizely).

Tolka resultaten mot det affärsmål som hypotesen gäller, till exempel om en variant förbättrar konverteringsmålet. Ett testresultat behöver både jämföras med kontrollen och bedömas statistiskt innan du drar en slutsats (Optimizely).

Checklista för en mätbar testhypotes

Kontrollera att hypotesen anger målgrupp, mått, jämförelse och riktning. Bestäm också måttenhet och testperiod, så att det går att avgöra vilket utfall som skulle tala emot hypotesen.

Kontrollera att H0 och H1 är formulerade före datainsamlingen och att varianterna mäts mot samma mål. Planera även hur statistisk signifikans och kriterier för besökare och konverteringar ska bedömas (Optimizely).

En användbar mall är: ”Om vi ändrar [X] för [målgrupp] ökar [mått] från [baslinje] till [mål] jämfört med [kontroll] inom [period], mätt som [konverteringsmål].” Fyll i delarna före datainsamlingen, så att utfallet kan jämföras med en tydlig förutsägelse.

Vanliga fallgropar: en hypotes som alla tänkbara utfall kan sägas stödja – den är inte testbar, eftersom inget utfall kan tala emot den. En hypotes som är så allmän att den inte anger vilka observationer som är förenliga eller oförenliga med den.

Handplockade observationer, där enskilda fall lyfts fram och helheten lämnas därhän. H0 och H1 som formuleras först efter att data setts. Slutsatser som säger att hypotesen är sann i stället för att redovisa om H0 kunde förkastas.

Ta också hänsyn till hur stor förändring testet ska kunna upptäcka. I SEOS Designs exempel skulle en förbättring från 2,0 till 2,2 procent kräva runt 80 000 besökare per variant och vara opraktisk på den trafikvolymen (SEOS Design).