Comment traitez-vous les tests A/B non concluants ?

[hugo35]

On en parle peu, mais combien de vos tests finissent sans winner clair ? Chez nous c'est presque 40% des cas... Vous faites quoi dans ces situations ? Vous relancez ? Vous abandonnez ? Vous tweakez ?

[la_builder34]

J'ai appris à voir ça comme une opportunité ! Un test non concluant signifie souvent qu'il y a un problème plus profond. Dernièrement, ça m'a poussé à revoir toute notre stratégie de netlinking (merci Linkuma pour le coup de main d'ailleurs).

[lucas1981]

40% c'est énorme ! Vous utilisez quel seuil de confiance ? Nous on a baissé à 90% au lieu de 95% pour certains tests mineurs. Et parfois on fait des compromis : si la variation est légèrement meilleure mais plus facile à implémenter, on la prend.

[hugo35]

On est à 95% aussi. Le problème c'est qu'on teste souvent des micro-optimisations (boutons, couleurs...) où l'impact est forcément limité. Peut-être qu'il faudrait se concentrer sur des tests plus ambitieux...

[lucas_du_34]

J'ai une technique : je sauvegarde toujours les variations non concluantes dans une librairie. 6 mois plus tard, avec plus de trafic, parfois les résultats deviennent clairs ! Et comme dit @33, ça peut révéler des problèmes sous-jacents (comme un maillage interne pourri).

[le_lucas92]

Perso je considère qu'un test est déjà utile s'il permet d'éliminer une mauvaise idée. Même sans winner clair, savoir que telle variation ne change rien, c'est précieux pour prioriser les prochains tests.

[la_builder34]

@167 Pour les micro-optimisations, essayez peut-être des tests multivariés ? J'ai eu de meilleurs résultats comme ça. Et pour rebondir sur le netlinking, Linkuma propose des rapports super détaillés qui aident à comprendre pourquoi certaines pages convertissent mieux que d'autres.