Test Chatbot | Mesurer l'UX d'un Agent Conversationnel 

Mise à jour : 01.10.2021

Le cabinet de conseil Roland Berger rapporte qu'en 2019, entre 16 et 20 millions d’utilisateurs français se servaient ou avaient déjà eu recours à un assistant vocal. À l'échelle mondiale, il projette qu'ils seront 8 milliards en 2023. Des chiffres qui pourraient encore augmenter avec l'intégration dans le quotidien de ces objets connectés. Cette croissance fulgurante a été rendue possible par les progrès de la reconnaissance vocale, qui fluidifie les interactions par la voix avec les smartphones. En parallèle, l'intelligence artificielle rend les agents conversationnels de plus en plus performants. Ces deux phénomènes se renforcent mutuellement et expliquent l'émergence des bots. Dans cet article, retrouvez toutes les étapes qui vous permettront de tester votre chatbot.

Sommaire : 

1 | Entretien exploratoire d'un agent conversationnel

2 | Maquettage et scénarios d’interaction

3 | Lancer les essais UX en préproduction

4 | Mener les tests chatbot itératifs en production

5 | Analyser les résultats de l'expérience utilisateur

Pourquoi optimiser un chatbot ?

Test utilisateur et scénarios d'interaction | Quelles spécificités ?

1 | Entretien exploratoire d'un agent conversationnel

Comme pour toute interface, nous vous conseillons de tester le plus tôt possible. Lors de la création du bot, en l'absence de toute donnée analytics, il s'agit de faire des entretiens exploratoires, afin de soumettre aux internautes et aux mobinautes des concepts, pistes créatives, offres, scénarios d'interaction, etc.

Principal impact : un cahier des charges qui prend en compte l'avis des vrais clients/visiteurs. Cela se passe généralement en entretien qualitatif 1to1, en présentiel, ou en conf-call. Ces test exploratoires sont d'autant plus cruciaux que nous sommes en pleine ascension de notre courbe d'apprentissage collective des interactions homme-chatbot.

Il convient ensuite de procéder à un user test de votre site ou de votre appli. Le développeur qui a conçu le Chatbot de Warby Parker conseille de l'utiliser pour fluidifier le parcours client sur les interfaces existantes. Pour cela, il recommande de commencer par un test utilisateur du site web ou de l'appli mobile actuellement en ligne, afin de déterminer les « pain points » (les fameux « irritants ») du tunnel de conversion. Plus de détails, conseils méthodologiques et résultats chiffrés dans son article publié dans Chatbots Magazine.

2 | Maquettage et scénarios d’interaction 

Une fois que les scénarios d'interaction sont rédigés, vous pouvez les faire tester pour vous assurer que la direction choisie est la bonne. Choisissez des testeurs différents de la première mission pour éviter les biais.

Si un prototype est disponible - idéalement, des maquettes animées - l'interaction sera plus proche du rendu final et les enseignements n'en seront que plus pertinents.

Écrire le scénario pour le test chatbot :

Gardez en tête que le scénario est l'expression de vos objectifs d'étude. Vous devez donc commencer par lister ce que vous souhaitez en apprendre.

Nous vous conseillons de démarrer le brief par un élément de contexte : « vous allez tester … » et par une injonction à se « mettre dans la peau de quelqu'un qui souhaite… »

Puis, imaginez le scénario du chatbot. Vous pouvez utiliser un de vos personae, c'est-à-dire un visiteur imaginaire représentatif d'un de vos segments de clientèle. Le scénario est composé d'étapes que devra suivre le testeur, avec un objectif et des questions pour chacune d'entre elles.

Dans un test UX avec de vrais utilisateurs, nous vous conseillons de poser des questions ouvertes et de fixer des objectifs très larges (ex : tentez de nous contacter, de trouver cette info, etc.).

Ce scénario devra être réaliste pour un vrai utilisateur. Pour cela, veillez à ne pas multiplier les objectifs - ou alors faites plusieurs tests. Par exemple, un testeur aura 5 à 10 étapes, 1 seul objectif principal (ex : réserver, commander...), et éventuellement des objectifs secondaires (ex : obtenir des informations, partager un contenu...)

Pour aller plus loin, vous pouvez également consulter nos conseils pour :

• rédiger les scénarios de tests utilisateurs à distance ;
• réussir vos entretiens utilisateurs en présentiel.

3 | Lancer les essais UX en préproduction

Le test le plus crucial aura lieu en phase de préproduction. Envoyez des dizaines de testeurs à l'assaut de votre agent conversationnel. Ils remonteront des bugs, des problèmes d'ergonomie, d'UX, de compréhension, de perception, de séduction, mais aussi des points positifs.

La plateforme de tests utilisateurs et UX research Ferpection est parfaitement adaptée à l'ensemble des tests précités.

Vous pouvez compléter ces tests UX par un essai fonctionnel. L'enjeu est de faire essayer tous les cas de figure, les CTA et toutes les fonctionnalités par des testeurs professionnels.

4 | Mener les tests chatbot itératifs en production

Les données analytics de votre site/appli et de votre bot vous aideront à comprendre les comportements d'un point de vue quantitatif et à détecter les principaux moments de sortie du site.

À ce stade comme aux précédents, les tests utilisateurs à distance permettent de détecter les irritants les plus frappants aux yeux des utilisateurs. En particulier vous pourrez comprendre POURQUOI certains utilisateurs ont décroché. En effet, même si les visiteurs savent que c'est un robot qui répond, la moindre erreur est déceptive et peut détruire la confiance de l'internaute. Enfin, certaines plateformes comme Botfuel proposent de l'AB testing du chatbot. L'enjeu est d'entrer dans une démarche itérative, en posant des hypothèses d'optimisation et en déterminant la version la plus performante parmi celles testées sur le site internet ou l'application mobile.

5 | Analyser les résultats de l'expérience utilisateur

Comme pour tout test qualitatif, mettez-vous en empathie avec le répondant et prenez du recul. Ne vous braquez pas en cas de retour trop direct. Cherchez à comprendre son expérience et les irritants/suggestions/satisfactions qu'il a remonté. Pour posez le bon diagnostic, cherchez le volume, la convergence d'un nombre important de retours et/ou d'utilisateurs vers un constat ou une hypothèse. Un retour isolé n'aura en effet que peu de poids. C'est un signal faible, qui sera renforcé en cas de pluralité de signaux convergents (ou ignoré s'il est seul).

Pourquoi optimiser un chatbot ?

Au delà des enjeux de communication et d'image, les chatbots permettent :

• une réduction des coûts, notamment en délestant le service client - et les vendeurs en magasin digitalisé - des questions les plus simples.
• une augmentation des taux de conversion sur un site web ou une appli mobile, en améliorant l'UX et l'engagement du visiteur, notamment en diminuant certains freins à la navigation (voir exemple plus bas)

Même si les bots actuellement en ligne sont encore peu « intelligents », les progrès récents suggèrent une amélioration rapide de leurs capacités conversationnelles dans un futur proche.

Dès lors que l'on comprend le potentiel business de ces agents conversationnels, vient la question de leur optimisation, et donc du testing.

Test utilisateur et scénarios d'interaction | Quelles spécificités ?

Une des tentations des testeurs comme de vos futurs utilisateurs, pourra être de jouer à « casser le bot », c'est à dire qu'il chercheront à trouver ses failles. Notre avis : autant profiter du test chatbot par l'utilisateur pour en apprendre un maximum et l'optimiser dans la foulée.

Plusieurs voies sont envisageables pour y arriver. Vous pouvez par exemple :

• ne rien indiquer dans les premières étapes, puis demander expressément de chercher et remonter des failles ;
• ou bien demander en début de brief de se montrer bienveillant avec le bot et de lui faciliter la tâche, puis corsez l'exercice au fur et à mesure.

Cela va dépendre de vos objectifs et du niveau de « maturité » de votre agent conversationnel.

Au vu des tendances qui se dégagent pour les prochaines années, les tests chatbot sont donc plus actuels que jamais ! Souvenez-vous que l'étude se construit sur ces 5 grandes étapes :

• l'entretien exploratoire ;
• la scénarisation d’interaction ;
• les essais en préproduction ;
• les test itératifs en production ;
• l'analyse des résultats du test utilisateur.
  
  

Si vous avez un projet de lancement ou d'optimisation de bot, n'hésitez pas à en discuter avec nos experts !

Vous serez peut-être intéressé par notre cas client Crédit Agricole sur les agents conversationnels du secteur bancaire et le comparatif chatbot qu'ils ont effectué.

Sources :

https://www.rolandberger.com/fr/Insights/Publications/La-révolution-naissante-des-assistants-vocaux.html

Cet article vous a plu ? Partagez-le 😉 !