Faut-il apporter ses propres documents à une démonstration ?

Oui. Une démonstration sur les documents du fournisseur montre l'outil sous son meilleur jour. Apportez deux ou trois documents réels et vos questions habituelles.

Quelle est la question la plus révélatrice ?

Une question dont la réponse n'est dans aucun de vos documents. Observez si l'assistant invente ou s'il dit qu'il ne sait pas.

Démo de chatbot IA : les questions à poser

Ce comparatif est édité par IArche, éditeur d'ALMA, l'une des solutions comparées.

Pendant la démonstration d'un assistant sur documents, posez des questions qui obligent le fournisseur à montrer l'outil sur vos documents à vous : comment ils entrent, comment l'assistant répond, ce qui se passe quand un document change, qui voit quoi, comment il s'affiche sur votre site, et ce que vous paierez. Voici la liste, à imprimer et à cocher.

Ces questions sont à poser à tous les fournisseurs, IArche comprise.

Avant la démonstration

Choisissez deux ou trois documents réels : une procédure, un catalogue ou des conditions générales, une notice.
Préparez dix questions que l'on vous pose vraiment, et trois questions pièges sans réponse dans les documents.
Invitez la personne qui répond aujourd'hui à ces questions : c'est elle qui repérera une réponse fausse.

1. Les documents

Pouvez-vous charger mes documents maintenant, devant moi ?
Quels formats lisez-vous ? Que se passe-t-il avec un PDF scanné, un tableau, une image ?
Pouvez-vous lire mon site ? Les pages affichées par JavaScript sont-elles lues ?
Quelles limites de nombre et de taille de fichiers s'appliquent ?

Pourquoi : les éditeurs publient des limites très différentes. Crisp, par exemple, précise que son robot ne lit pas le contenu affiché par JavaScript ; Tidio limite les PDF à 30 Mo chacun.

2. Les réponses

La réponse indique-t-elle le document et le passage utilisés ?
Que répond l'assistant à une question sans réponse dans mes documents ?
Peut-on lui interdire de répondre hors de mes documents ?
Peut-on lui donner des consignes de ton et de périmètre ?

Pourquoi : la CNIL rappelle, dans ses recommandations du 18/07/2024, que ces systèmes peuvent produire des résultats « inexacts qui peuvent, pourtant, paraître plausibles ». La citation de la source et l'aveu d'ignorance sont vos garde-fous.

3. Les mises à jour

Si je modifie un document, combien de temps avant que la réponse change ?
La mise à jour est-elle automatique, programmée ou manuelle ?
Si je retire un document, l'assistant cesse-t-il d'en parler ?
Mes corrections manuelles sont-elles conservées lors d'une resynchronisation ?

Pourquoi : chez Tidio, une resynchronisation manuelle d'un site remplace les questions-réponses existantes et efface les retouches ; chez Intercom, le contenu tiré d'adresses publiques n'est mis à jour qu'une fois par semaine. Il faut le savoir avant, pas après.

4. Les personnes et les droits

Qui peut poser des questions : mes salariés, mes clients, les deux ?
Peut-on réserver certains documents à certaines personnes ?
Qui peut ajouter ou supprimer des documents ?
Que voit l'administrateur : les conversations, les questions sans réponse ?

5. Le site et les outils

Comment s'installe la fenêtre de discussion sur mon site ? Fonctionne-t-elle avec mon outil de création de site ?
Peut-on la limiter à mon nom de domaine ?
Comment un visiteur joint-il un humain quand l'assistant ne sait pas ?
Quels connecteurs existent vers mon outil de relation client (CRM), ma messagerie, ma boutique ? Montrez-m'en un en fonctionnement.

6. Le coût et l'engagement

Quelle est l'unité de facturation : utilisateur, conversation, réponse, résolution ?
Que se passe-t-il si je dépasse le volume prévu ?
Quelle durée d'engagement ? Comment récupérer mes documents si j'arrête ?
Qui m'aide à la mise en place, et jusqu'où ?

Les questions de protection des données personnelles et d'hébergement méritent une liste à part, à préparer avec votre délégué à la protection des données.

Pendant la démonstration : ce qu'il faut observer

L'assistant répond-il avec vos mots et vos documents, ou en termes généraux ?
Le fournisseur montre-t-il ou raconte-t-il ? Une fonction annoncée mais non montrée reste à vérifier.
Combien de vos dix questions reçoivent une réponse juste, vérifiée dans le document ?
Combien de questions pièges reçoivent un « je ne sais pas » ?

Après la démonstration

Reportez les réponses dans la grille de comparaison, en distinguant ce qui a été montré de ce qui a été dit. Demandez par écrit les réponses restées floues. Pour ALMA, la plateforme d'IArche, appliquez la même liste pendant l'essai de trois jours sur un premier abonnement (carte demandée), en partant de sa page des fonctionnalités.