Van illusie naar innovatie - de weg naar betrouwbare A/B-testen
Hoe weet je zeker dat de resultaten van een A/B-test betrouwbaar zijn? Bij NS International besloot men A/B-testen te hertesten om dit te ontdekken. Deze stap was het startpunt voor een transformatie in de experimenteercultuur en leidde tot significante verbeteringen in hoe de testen geanalyseerd werden.
In deze sessie deelt Hans Nauta twee boeiende praktijkvoorbeelden: een reeks testen met duurzaamheidsboodschappen en een test met het overslaan van een check-out stap, die beide tot verrassende resultaten leidden. Deze cases laten zien hoe belangrijk het is om resultaten te repliceren en waarschuwen voor de gevaren van te snelle conclusies.
Hans bespreekt ook hoe de samenwerking met professor Kobe Millet van de Vrije Universiteit Amsterdam leidde tot het centraal stellen van hertesten. Met zijn kennis van de replicatiecrisis in de wetenschap hielp hij NS International kritisch te kijken naar de valkuilen van A/B-testen. Denk daarbij aan het risico van false positives en de realiteit dat niet alle gebruikers beïnvloed worden door wijzigingen. Door hertesten centraal te stellen, wist NS International deze uitdagingen om te zetten in een vernieuwend model voor experimenten met een hogere betrouwbaarheid.
Of je nu een CRO-specialist, data-analist of marketeer bent, deze sessie zal je inspireren en verrassen!

Hans Nauta
Hans Nauta heeft een achtergrond in webanalyse die teruggaat tot 2006, een tijd waarin Google Analytics nog in de kinderschoenen stond. De laatste 10 jaar heeft hij zich volledig gericht op conversie-optimalisatie (CRO), waarbij hij zijn technische expertise combineert met een sterke affiniteit voor onderzoeksmethoden en statistiek.
Bij NS International ontwikkelt Hans samen met gedragspsycholoog Eline van Baal en professor Kobe Millet innovatieve testmethoden die gericht zijn op het leveren van waardevolle inzichten en meetbare resultaten. Deze aanpak werd bekroond tijdens DDMA Experimentation Heroes 2024, waar het team een award won in de categorie 'Experimentation Culture'.