Hustle & Growth

Question qui revient souvent : combien de temps gardez-vous vos tests actifs ? Je vois tout et son contraire... Perso je me fie à la significativité statistique mais des collègues stoppent au bout de 2 semaines systématiquement.

Tout dépend du trafic ! Sur un site à 100k visites/mois, 1 semaine peut suffire. Sur un petit blog, j'ai déjà dû laisser 6 semaines. La clé c'est d'utiliser un calculateur de sample size avant de lancer le test.

Jamais moins de 2 cycles business complets. Pour un e-commerce, ça veut dire au minimum 2 semaines pour couvrir les différences weekend/semaine. J'ai trop vu de tests faussés par des décisions prises trop vite...

Je rebondis sur le trafic : n'oubliez pas les variations saisonnières ! Un test en décembre sur un site e-commerce n'aura rien à voir avec la même période en juillet. Ça peut justifier de prolonger certains tests.

Outre la durée, je surveille toujours le nombre de conversions. Même si c'est long, j'attends au moins 100 conversions par variation avant de tirer des conclusions. Ça évite les faux positifs.