Resultaten van experiment

Resultaten van een experiment worden eenmaal per week bijgewerkt totdat het experiment eindigt. Resultaten van een experiment beschrijven hoe goed elke versie van content heeft gepresenteerd bij klanten, samen met de kans dat de winnende content beter is. Je kunt toegang krijgen tot je resultaten door op de naam van het experiment te klikken in het dashboard.

Resultaten begrijpen

Op basis van de gegevens die tijdens het experiment zijn verzameld, berekenen we een aantal mogelijke effecten van het publiceren van elk stuk content. Resultaten worden samengevoegd voor alle ingeschreven ASIN-codes in een experiment. We bieden een paar soorten resultaten:

1. Hoe waarschijnlijk het is dat één versie van content beter is. Als we bijvoorbeeld zeggen dat er een kans van 75% is dat versie A beter is, betekent dit dat 75% van de mogelijke effecten die we hebben berekend, een waarschijnlijk positieve eenheden-/verkoopstijging tonen door het publiceren van versie A.
2. Voor elke versie van de content tonen we het volgende: Eenheden, verkopen, conversiepercentage, verkochte eenheden per unieke versie en voorbeeldgrootte die aan die versie is toegewezen. Het conversiepercentage is het percentage unieke bezoekers in het experiment dat de content heeft gezien en een aankoop heeft gedaan. Voorbeeldgrootte is het aantal unieke bezoekers dat elke versie van content heeft gezien. Eenheden per unieke bezoeker zijn eenheden gedeeld door voorbeeldgrootte.
3. Geprojecteerde impact van één jaar. Dit deel wordt alleen ingevuld voor voltooide experimenten. Het toont een schatting van de mogelijke incrementele eenheden en de verkoop in het komende jaar vanaf het publiceren van de winnende versie van content. Voor winnaars met een hoog vertrouwen zul je merken dat de meeste verwachte effecten positief zijn. Voor winnaars met weinig vertrouwen zul je merken dat de impact van het 'ergste geval' negatief kan zijn. Dit komt omdat er nog steeds een kans is dat de content die tijdens het experiment verslechterd is, in de loop van de tijd beter kan presteren. Projecties zijn schattingen die alleen gebaseerd zijn op de resultaten van het experiment en geen andere factoren, worden uitsluitend voor informatieve doeleinden verstrekt en vormen geen garantie voor toekomstige verkoopprestaties.

Geprojecteerde impact van één jaar

Om een impact van één jaar te projecteren, berekenen we de gemiddelde dagelijkse verkoopstijging van de winnende content en vermenigvuldigen we dit met 365. Dit is een schatting waarbij geen rekening wordt gehouden met seizoensinvloeden, prijswijzigingen of andere factoren die van invloed kunnen zijn op je bedrijf in de echte wereld. De schatting wordt alleen bedoeld voor informatieve doeleinden en we kunnen geen incrementele voordelen garanderen.

De kolom Waarschijnlijk toont de mediaan (het 50e percentiel) van het bereik van mogelijke resultaten dat we hebben berekend. De kolommen Beste geval en Ergste geval tonen het 95%-betrouwbaarheidsinterval van deze resultaten.

Niet-overtuigende resultaten

Een experiment kan eindigen met resultaten die niet-overtuigend zijn, of met resultaten die weinig vertrouwen tonen dat de ene versie van de content beter is dan de andere. Deze resultaten kunnen echter nog steeds waardevol zijn.

Hier zijn enkele redenen waarom een experiment niet overtuigende resultaten kan hebben:

• De wijziging die je hebt aangebracht in je content was te klein om het gedrag van klanten aanzienlijk te veranderen
• Er was niet genoeg verkeer om de winnende content met veel vertrouwen te bepalen
• De twee versies van content die je hebt getest, waren op dezelfde manier effectief in het stimuleren van de verkoop
• De wijziging die je hebt aangebracht in je content is niet iets waar de meeste klanten om geven bij het nemen van een aankoopbeslissing

Raadpleeg je experimenthypothese wanneer je probeert inzicht te krijgen in niet-overtuigende resultaten. Afhankelijk van wat je hebt gewijzigd, kan een niet-overtuigend resultaat je bijvoorbeeld vertellen dat een bepaald type content niet de moeite waard is om in te investeren, omdat het geen invloed heeft op het gedrag van klanten. Of het kan je vertellen dat twee manieren van verkopen van je product even effectief zijn. Je kunt aanvullende experimenten uitvoeren om te bevestigen wat je hebt geleerd van je eerdere tests.

Methodologie van experiment

Deze notities over de methodologie van het experiment kunnen je helpen te begrijpen hoe we een winnaar van het experiment en de impact van het project kiezen; dit is echter niet nodig om een experiment uit te voeren.

Experimenten zijn gebaseerd op individuele klantaccounts. Tijdens een experiment wordt elk klantaccount dat je content ziet beschouwd als onderdeel van het experiment. Klanten worden willekeurig toegewezen om één versie van content permanent te zien voor de duur van het experiment, ongeacht het type apparaat of andere factoren, zolang de klant kan worden geïdentificeerd. Bezoeken naar je pagina waar een klant niet kan worden geïdentificeerd, worden niet opgenomen in de voorbeeldgrootte. We kunnen automatisch bepaalde soorten gegevens uit de steekproef verwijderen om de nauwkeurigheid van de resultaten te verbeteren, zoals statistische uitschieters.

We gebruiken een Bayesiaanse benadering om experimentresultaten te analyseren. Dit betekent dat we een kansdistributie construeren op basis van een model en de werkelijke resultaten van het experiment. We rapporteren de gemiddelde effectgrootte (in termen van verandering in eenheden) evenals het 95%-betrouwbaarheidsinterval (ook bekend als een geloofwaardig interval) van de posterieure kansverdeling, die tijdens het experiment wekelijks wordt bijgewerkt op basis van alle experimentgegevens die sinds het begin zijn verzameld. Het vertrouwen van een winnende behandeling is het percentage resultaten in de kansdistributie dat een positieve impact op de verkoop per eenheid toont.

Om de impact van één jaar te voorspellen, berekenen we het gemiddelde verschil tussen de winnende en verliezende behandelingsverkopen per dag voor de duur van het experiment tot dusver en vermenigvuldigen we dit met 365. We bieden een 95%-betrouwbaarheidsinterval voor de impact dat is gebaseerd op de posterieure kansverdeling.