AB Tasty s’est fait une très belle place parmi les start-up françaises en proposant des solutions de test A/B et de personnalisation de l’expérience utilisateur. Avec sa levée de fonds de 17 millions d’euros, en mai dernier, la société compte notamment se renforcer aux Etats-Unis. Elle a également été sélectionnée pour faire partie du programme commun entre Microsoft et INRIA, Microsoft AI Factory, portant sur l’intelligence artificielle et a donc rejoint la Station F.
AB Tasty compte désormais près de 200 employés dans plusieurs pays et s’appuie sur une plate-forme All-in-One intégrée à l’écosystème de l’entreprise afin de proposer des solutions simples pour agir sur ses leviers de conversions.
Nous avons eu l’opportunité d’échanger avec Hubert Wassner, Chief Datascientist chez AB Tasty depuis 2014. Il nous a parlé des projets d’AB Tasty mais également de l’évolution du test A/B et du métier de datascientist ou encore de l’impact de l’intelligence artificielle dans ce secteur et dans notre société.
Racontez-nous un peu AB Tasty, son offre SaaS et ses projets après la levée de fonds de mai dernier
Notre métier c’est d’optimiser les sites web, autrement dit d’agir mais de faire en sorte que les gens ne le voit pas.
AB Tasty travaille dans le domaine de l’optimisation de sites web, dans une optique d’augmentation des conversions. La conversion c’est schématiquement l’axe d’achats, l’axe qui crée de la valeur, comme par exemple sur les sites de e-commerce pour que les gens achètent plus facilement. Cela peut se faire par un aménagement de l’ergonomie ou du design.
On fonctionne sur le principe du test A/B, c’est notre cœur de métier même si aujourd’hui AB Tasty a d’autre activités. Le test A/B c’est tout simplement de diviser le trafic d’un site web, schématiquement en deux, pour donner la possibilité de faire de une expérience. On va prendre la moitié du trafic en laissant le site en l’état et tester des hypothèses sur l’autre moitié. On peut opérer de nombreux changements, notamment de mise en page.
Si on fait bien notre boulot, les gens ne s’en rendent pas compte. A mettre en œuvre c’est complexe, car il y a beaucoup de détails à prendre en compte, notamment de s’assurer qu’un visiteur ne verra jamais qu’une seule variation.
Il est fondamental de traquer toutes les personnes à qui on a montré une variation et de toujours leur montrer la même variation. A la fois pour leur expérience mais aussi pour que nous derrière on puisse avoir des chiffres fiables et qui relèvent bien d’une variation ou d’une autre. On va traquer ce que font les gens et mesurer si les expériences apportent plus au site web : plus d’achats, plus d’articles lus, plus de temps passé sur le site, etc.
Le test A/B a connu une grande évolution depuis quelques années : comment la caractérisez-vous ?
Avec le temps, la pratique du test A/B a été rendue plus facile. Elle a été initiée par les très gros sites internet, qui faisaient cela avec leurs propres moyens. Chez Booking par exemple, même les développeurs font du test A/B.
En France, ces pratiques sont surtout utilisées pour tester des stratégies marketing. Quand un site est déjà bien installé par exemple, il est intéressant que les développeurs testent le site avec les nouvelles fonctionnalités auxquelles ils ont pensé afin de voir celles qui amènent un gain ou non.
Un accès simplifié et une diversification des pratiques et des sujets
L’accès au test A/B a été simplifié car il était réservé jusqu’ici aux très gros. Mais l’évolution du test A/B s’est aussi faite par sa diversification. La pratique et les sujets des test ont en effet évolué.
Un cas d’école pour nous : Etam Lingerie. Leurs équipes se demandaient s’il fallait ou non montrer le visage du mannequin présentant les dessous en vente. Ils ont donc fait un test. Une partie du trafic voyait le site avec les photos avec visage et une autre, la variation B, la photo redécoupée pour enlever le visage. Avec ce test, nous avons montré qu’il n’y avait pas vraiment de différence et pas d’augmentation de valeur. Nous pensions donc que le test n’avait pas été un succès mais ils nous ont dit qu’au contraire, le résultat était extrêmement intéressant, presque celui qu’ils espéraient car les photos sans visage étaient moins chères. Par conséquent, ils pouvaient économiser de l’argent, ce qui est une réelle optimisation.
Une évolution des tests statistiques
Par ailleurs, l’évolution des test A/B a aussi été marquée par l’amélioration des tests statistiques pour répondre aux questions qui se posent sur le web.
Jusqu’à récemment, tout le monde utilisait des tests très standards, très scolaires et pas forcément très adaptés au contexte du web. On a commencé à modifier les tests statistiques pour avoir des choses qui soient plus adaptées à la pratique. Les premiers test ne donnaient des résultats qu’à la fin de l’expérience. Désormais les tests donnent des résultats exploitables durant l’expérience et sont également capables de donner un intervalle de confiance autour du gain apporté, là où les premiers tests étaient juste en capacité de dire qu’il existait une différence.
Par exemple, lorsque vous allez sur un site et qu’il y a une petite fenêtre de chat qui s’ouvre, il s’agit d’un service extérieur et payant. Nous intervenons fréquemment pour mesurer la valeur ajoutée de ce type de fonctionnalité. On teste le site avec et sans puis on mesure si le site fait plus de ventes, s’il rattrape davantage ceux qui voulaient acheter et s’en vont, s’il s’agit d’un bon guide. Si le résultat est positif, il faut savoir de combien. Le gain doit en effet pouvoir couvrir le coût du changement, qu’il s’agit d’un coût ponctuel, à l’usage ou mensuel.
La problématique des bandits manchots
Un point fondamental de l’évolution des tests A/B a été soulevé par la problématique des bandits manchots. La formulation est assez originale mais il s’agit d’un problème statistique très ancien. Bandit manchot en référence aux machines à sous qui sont décrites comme n’ayant qu’un seul bras mais qui vont quand même vous piquer votre argent.
Donc vous imaginez que vous entrez dans un casino avec une série de machines à sous alignées, vous savez juste que toutes les machines n’ont pas le même taux de retour et la même probabilité de gains. Votre objectif, dans la définition du problème, c’est d’essayer d’identifier la machine qui rapporte le plus en dépensant vous même le moins d’argent possible.
Si on retraduit cette problématique sur laquelle il y a d’ailleurs un tas de solutions qui ont été proposées, on a différentes versions d’un site web, ce sont nos différentes machines à sou. On sait qu’elles n’ont pas le même taux de retour donc pas le même taux de conversion.
Par conséquent, notre objectif c’est d’essayer de le trouver assez rapidement puisque effectivement pour pouvoir le trouver il faut pouvoir envoyer des visiteurs dessus. Comme pour une machine à sou, ce n’est pas parce que vous avez mis une pièce, tiré dessus et que vous n’avez pas gagné que cette machine ne gagne jamais.
Dans notre cas c’est pareil, quand vous tentez une nouvelle variation d’un site web, ce n’est pas parce que vous avez envoyé 1 ou 2 visiteurs et qu’ils n’ont rien acheté que c’est forcément moins bon. Vous avez un budget limité en nombre de visiteurs et il faut trouver comment l’exploiter au mieux pour pouvoir essayer d’arriver à la réponse qui vous intéresse le plus vite possible.
C’est intéressant, surtout pour les gens qui veulent faire du test A/B, car les visiteurs ont un coût, en particulier pour le e-commerce, car beaucoup de sites achètent leur trafic, via des mots clés, des experts en SEO, etc. L’un des éléments du vocable du bandit manchot c’est le regret.
Il s’agit tout simplement du manque à gagner quand vous faites un test et que vous identifiez seulement à la fin que votre variation B marche moins bien que la A. A posteriori, vous pouvez alors calculer combien vous avez perdu de ventes. Et cela a un coût supplémentaire du fait de l’expérience car quand on teste de mauvaises variations on envoie des visiteurs sur un site pas adapté où ils ont moins de chance de convertir, évidemment on le découvre après coup.
Maintenant on peut aussi, avec le principe des bandits manchots qui permet de jouer sur cette allocation de trafic, commencer par du 50/50, envoyer un visiteur sur 2 sur A et 1 sur 2 sur B. Puis progressivement, quand on commence à avoir des éléments, développer une stratégie pour modifier cette allocation de manière à limiter le regret. Une bonne variation peut au début donner de mauvais résultats car il n’y a pas eu beaucoup de gens, et donc on a créé un biais, on a pas essayé suffisamment.
L’intelligence artificielle dans l’évolution du test A/B
Les problématiques de bandits manchots sont un peu de l’online learning c’est à dire qu’on apprend pendant qu’on essaie. Beaucoup de choses en intelligence artificielle aujourd’hui sont divisées en 2 étapes : une étape d’apprentissage et une étape d’exploitation. Là, c’est un paradigme de machine learning qui est un peu différent dans lequel on considère qu’on veut apprendre directement sur le flux et on veut justement essayer le plus tôt possible de faire les bons choix.
Tout cela a fait glisser en douceur la pratique du test A/B vers des outils d’intelligence artificielle. AB Tasty est en train de travailler sur ce côté IA, notamment en faisant du profiling. Il s’agira d’essayer d’améliorer le test A/B en insérant un certain nombre d’informations obtenues sur le visiteur. La pratique du test A/B est difficile dans le sens où les variations gagnantes ne sont pas si fréquentes. Il y a 3 raisons à cela:
- Nous ne sommes plus aux débuts du web. Il y a beaucoup de gens qui ont déjà posé des bases d’User experience ou d’ergonomie de sites web. Les sites de base ne sont donc pas si mal faits et faire encore mieux ce n’est pas si facile.
- Parallèlement, les gens qui ont fait un site ne sont pas les mieux placés pour l’améliorer. Difficile en effet de sortir de ce que l’on a créé et de ce à quoi on a déjà réfléchi. Le test A/B peut donc s’avérer assez difficile et même frustrant.
-
C’est difficile de faire quelque chose qui plait à tout le monde, un ‘One Size Fits All’. À un moment donné, il faut peut-être être capable de proposer de la personnalisation. C’est d’ailleurs l’une des fonctionnalités possibles d’AB Tasty car ce sont les mêmes technologies.
Du test A/B à la personnalisation
Vous pouvez décider de faire une expérience ‘permanente’. Si votre client est loggé, si vous avez les informations du CRM, vous savez que X est Monsieur Dupont et vous pouvez donc décider de mettre son nom partout. C’est un type de personnalisation qu’AB Tasty peut faire.
Dans le test A/B on va essayer d’identifier des sous-populations. Car il y a peut-être une sous-population sur laquelle A fonctionne bien et une autre sur laquelle B marche mieux. Alors que si vous faites un test global sur ce groupe de personnes, il ne va rien en ressortir, le résultat sera neutre car la moitié préfère A et l’autre B. La population est mélangée et comme vous ne pouvez pas identifier qui est qui donc en moyenne, cela semble pareil.
L’idée c’est d’essayer de se baser sur toutes les informations à disposition dans un contexte web pour justement essayer d’identifier ces groupes selon certains critères qui permettent de dire qu’un tel préfèrera la variation A ou la variation B. On change à ce moment-là de paradigme dans la mesure où le résultat d’un test A/B initialement c’est une recommandation.
Si on reprend l’exemple Etam, on pourrait peut-être identifier que les hommes préfèreront les photos avec visage pour mieux visualiser alors que les femmes non, pour mieux se projeter. On pourra donc avoir plus de test positifs qui apporteront un gain, ce n’est plus de l’adaptation à la population mais de l’adaptation à des sous-populations.
AB Tasty propose cette notion de personnalisation si vous savez déjà les critères que vous souhaitez utiliser. La création de sous-populations est en cours de développement. Nous l’avons déjà fait sur des historiques de données mais maintenant il faut que nous l’industrialisions. Ce côté personnalisation permettrait de pouvoir changer le contenu d’un site à la volée. Si nous pouvons le faire pour du test A/B, nous pouvons le faire pour de la personnalisation.
Il y a deux types de personnalisation:
- La forme basique, avec les infos CRM, qui permet de déclencher une personnalisation lorsqu’un visiteur en particulier se connecte.
- Et une seconde, sur laquelle on travaille, pour réellement créer des segments en fonction du comportement face à différentes variations, suite aux tests. L’intermédiaire que l’on fait déjà c’est sur des segments existants. On va y identifier si le visiteur est sur un ordinateur, un téléphone ou une tablette. On a ainsi des petits segments natifs, basics, et on peut y tester s’il y a des sous-populations qui se comporteraient différemment.
Quelle est la proportion de sites internet qui utilisent des méthodes scientifiques telles que celles proposées par AB Tasty pour optimiser leur taux de conversion ? Et quelles sont les réactions des entreprises face à ces solutions numériques ?
Il y a de tout. Les grands acteurs du web sont généralement les plus avancés et peuvent même avoir des équipes dédiées à ça, le CRO Voyage.sncf par exemple a une équipe qui ne fait que des tests pour optimiser le site. Cela dépend des métiers car certaines marques sont très avancées sans pour autant faire partie des très gros.
Nous travaillons sur l’apprentissage à travers les statistiques et le nombre de visiteurs que vous avez est fondamental. Si vous avez un nombre de visiteurs très faible, vous n’allez pas pouvoir faire beaucoup en termes de découverte et d’analyse statistique. Vous pourrez tout de même commander de la personnalisation selon certains éléments, mais on est pas vraiment dans l’optimisation. Il faut du trafic pour pouvoir prouver statistiquement.
En France, ce sont parfois encore des pratiques que nous sommes obligés d’expliciter. Les entreprises peuvent connaître mais ont encore besoin d’être ‘évangélisées’, qu’on leur explique ce que c’est, combien elles vont pouvoir gagner, etc. Elles n’ont pas forcément de vision donc il faut les accompagner.
D’autres pays sont beaucoup plus matures, typiquement lorsqu’il y a eu un Internet avant. L’un des objectifs de la levée de fonds de mai dernier c’est justement d’accélérer notre déploiement aux États-Unis, et le développement de l’intelligence artificielle pour nos solutions.
Aux États-Unis, les gens connaissent le test A/B et ont un avantage du fait de la taille de leur pays et de leur population. En effet, même un petit site web a déjà une grosse audience par rapport à un site français. Par conséquent, il y a beaucoup plus d’entreprises qui sont en capacité de faire des tests. Beaucoup sont également déjà installées et ont des outils pour ce faire.
Mais par exemple, on a été surpris par la maturité des Pays-Bas sur le sujet. Ils ont une culture de l’expérimentation. Au lieu de se poser mille questions ils essaient. Ils ont donc une connaissance du sujet et des bonnes pratiques qui est bien plus avancée qu’en France. Par contre, leurs sites web ont moins d’audience.
On a également des bureaux en Espagne mais on constate que l’écosystème est moins matures qu’en France. Il y a un gros besoin d’explications. Nous sommes également présents en Angleterre où les gens ont de plus meilleures connaissances, tout comme en Allemagne et on réfléchit à l’Asie.
La suite ici. Dans cette seconde partie de notre entretien avec Hubert Wassner, Chief Datascientist chez AB Tasty depuis 2014, seront abordés plus en détails le travail de datascientist, la formation mais également l’essor et l’impact de l’intelligence artificielle dans notre quotidien.
