La preuve : étude de cas Julie
J'ai appliqué cette méthode à Julie, un agent immobilier WhatsApp que je développe (MonIAImmo), en phase de test fermée. Des vagues de personas simulés ont révélé des failles concrètes, dont des profils qui n'obtenaient jamais le conseil attendu. L'histoire contient aussi un faux positif qui a failli me faire croire à un progrès qui n'existait pas, corrigé grâce au protocole de mesure lui-même.
Lire l'article : Comment des personas simulés ont révélé les failles de mon chatbot
La méthode
La plupart des bots conversationnels sont testés par les personnes qui les ont construits : questions prévues, posées dans l'ordre logique, dans de bonnes conditions. Les vrais utilisateurs ne se comportent pas comme ça : ils sont pressés, méfiants, confus, parfois hostiles, souvent hors sujet. C'est là que les bots cassent : hallucinations, promesses non tenues, informations qui fuitent, ton mal ajusté.
Trois étapes
- Vagues de personas : des profils simulés (pressé, méfiant, confus, hostile, hors sujet...) conversent avec votre bot sur un corpus de scénarios validé avec vous.
- Rapport chiffré : taux de réussite par catégorie de scénario, verbatims classés, priorisation des correctifs (les correctifs eux-mêmes restent à votre charge).
- Contre-vague incluse : après vos correctifs, le même corpus est rejoué pour mesurer si le résultat se reproduit sur les scénarios testés.
Le périmètre pilote en détail
- 40 à 60 scénarios personnalisés, validés avec vous
- 2 vagues de mesure : la vague initiale et la contre-vague de contrôle, incluse dans le forfait
- 80 à 150 conversations au total, contre-vague comprise
- Rapport écrit et échanges de questions/réponses par email ; une visio d'une heure incluse si vous la demandez
- Rapport initial livré 7 jours ouvrés après validation écrite de la grille de scénarios et réception des accès à l'environnement de test
Limites et conditions
Précision utile : il s'agit de tests de non-régression synthétiques sur personas simulés, pas d'une prédiction du comportement de vos clients réels.
- Le test se fait sur un environnement de test représentatif, avec des utilisateurs simulés. Jamais la production.
- Aucune donnée client réelle n'est requise par défaut.
- Les correctifs sont réalisés par le client ; si vous souhaitez me les confier, c'est une mission séparée sur devis.
- La contre-vague est à lancer sous 30 jours après réception de vos correctifs.
- Règlement : 50 % à la commande, solde avant remise du rapport.
Questions fréquentes
- Le test tourne-t-il sur ma production ?
- Non, jamais. Le test se fait sur un environnement de test représentatif, avec des comptes factices et des utilisateurs simulés. Des garde-fous sont convenus à l'avance : plafond de requêtes, fenêtre de test, procédure d'arrêt.
- Quelles données dois-je fournir ?
- Aucune donnée client réelle par défaut : le test se fait avec des comptes synthétiques et un accès minimal. Si vous souhaitez calibrer les scénarios à partir d'extraits de conversations expurgés, cette option est encadrée par un contrat de sous-traitance (article 28 RGPD) et se traite hors forfait par défaut.
- Qui réalise les correctifs ?
- Vous. Le rapport classe les failles et priorise les correctifs, mais le forfait ne comprend aucun développement. Si vous préférez me confier les correctifs, c'est une mission séparée sur devis.
- Sous quel délai lancer la contre-vague ?
- La contre-vague est incluse dans le forfait. Elle se lance sous 30 jours après réception de vos correctifs, sur le même corpus figé, pour mesurer si le résultat se reproduit.
- Comment ça marche pour une agence ou un intégrateur ?
- Le rapport est présentable à votre client final. La marque blanche complète (logo, licence, responsabilités) se discute séparément : elle n'est pas dans le forfait pilote.
Julie, par MonIAImmo
Julie est un agent immobilier conversationnel sur WhatsApp, actuellement en phase de test fermée. Elle est développée avec la même discipline de mesure que celle proposée dans le crash-test.
Contact
Votre message m'arrive directement, et je réponds moi-même, par écrit.