Resultaten van een experiment worden eenmaal per week bijgewerkt totdat het experiment eindigt. Resultaten van een experiment beschrijven hoe goed elke versie van content heeft gepresenteerd bij klanten, samen met de kans dat de winnende content beter is. Je kunt toegang krijgen tot je resultaten door op de naam van het experiment te klikken in het dashboard.
Op basis van de gegevens die tijdens het experiment zijn verzameld, berekenen we een aantal mogelijke effecten van het publiceren van elk stuk content. Resultaten worden samengevoegd voor alle ingeschreven ASIN-codes in een experiment. We bieden een paar soorten resultaten:
Om een impact van één jaar te projecteren, berekenen we de gemiddelde dagelijkse verkoopstijging van de winnende content en vermenigvuldigen we dit met 365. Dit is een schatting waarbij geen rekening wordt gehouden met seizoensinvloeden, prijswijzigingen of andere factoren die van invloed kunnen zijn op je bedrijf in de echte wereld. De schatting wordt alleen bedoeld voor informatieve doeleinden en we kunnen geen incrementele voordelen garanderen.
De kolom Waarschijnlijk toont de mediaan (het 50e percentiel) van het bereik van mogelijke resultaten dat we hebben berekend. De kolommen Beste geval en Ergste geval tonen het 95%-betrouwbaarheidsinterval van deze resultaten.
Een experiment kan eindigen met resultaten die niet-overtuigend zijn, of met resultaten die weinig vertrouwen tonen dat de ene versie van de content beter is dan de andere. Deze resultaten kunnen echter nog steeds waardevol zijn.
Hier zijn enkele redenen waarom een experiment niet overtuigende resultaten kan hebben:
Raadpleeg je experimenthypothese wanneer je probeert inzicht te krijgen in niet-overtuigende resultaten. Afhankelijk van wat je hebt gewijzigd, kan een niet-overtuigend resultaat je bijvoorbeeld vertellen dat een bepaald type content niet de moeite waard is om in te investeren, omdat het geen invloed heeft op het gedrag van klanten. Of het kan je vertellen dat twee manieren van verkopen van je product even effectief zijn. Je kunt aanvullende experimenten uitvoeren om te bevestigen wat je hebt geleerd van je eerdere tests.
Deze notities over de methodologie van het experiment kunnen je helpen te begrijpen hoe we een winnaar van het experiment en de impact van het project kiezen; dit is echter niet nodig om een experiment uit te voeren.
Experimenten zijn gebaseerd op individuele klantaccounts. Tijdens een experiment wordt elk klantaccount dat je content ziet beschouwd als onderdeel van het experiment. Klanten worden willekeurig toegewezen om één versie van content permanent te zien voor de duur van het experiment, ongeacht het type apparaat of andere factoren, zolang de klant kan worden geïdentificeerd. Bezoeken naar je pagina waar een klant niet kan worden geïdentificeerd, worden niet opgenomen in de voorbeeldgrootte. We kunnen automatisch bepaalde soorten gegevens uit de steekproef verwijderen om de nauwkeurigheid van de resultaten te verbeteren, zoals statistische uitschieters.
We gebruiken een Bayesiaanse benadering om experimentresultaten te analyseren. Dit betekent dat we een kansdistributie construeren op basis van een model en de werkelijke resultaten van het experiment. We rapporteren de gemiddelde effectgrootte (in termen van verandering in eenheden) evenals het 95%-betrouwbaarheidsinterval (ook bekend als een geloofwaardig interval) van de posterieure kansverdeling, die tijdens het experiment wekelijks wordt bijgewerkt op basis van alle experimentgegevens die sinds het begin zijn verzameld. Het vertrouwen van een winnende behandeling is het percentage resultaten in de kansdistributie dat een positieve impact op de verkoop per eenheid toont.
Om de impact van één jaar te voorspellen, berekenen we het gemiddelde verschil tussen de winnende en verliezende behandelingsverkopen per dag voor de duur van het experiment tot dusver en vermenigvuldigen we dit met 365. We bieden een 95%-betrouwbaarheidsinterval voor de impact dat is gebaseerd op de posterieure kansverdeling.