Liste
Grille de comparaison des chatbots IA, à imprimer
Une grille à remplir pour comparer deux ou trois assistants sur documents : critères, preuves à relever, test sur vos questions. Sans note inventée.
Mis à jour le
Ce comparatif est édité par IArche, éditeur d'ALMA, l'une des solutions comparées.
Pour comparer des assistants sur documents, remplissez une grille avec deux types de cases : ce que dit l'éditeur (avec l'adresse de la page et la date de lecture) et ce que vous avez constaté en testant vos propres questions. La grille ci-dessous se recopie dans un tableur ou s'imprime telle quelle, une colonne par outil.
Cette grille vaut pour n'importe quel outil, ALMA compris.
Avant de remplir
- Écrivez vos dix questions les plus fréquentes, avec le document qui contient la réponse.
- Ajoutez trois questions pièges, dont la réponse n'est dans aucun document : un bon assistant doit dire qu'il ne sait pas.
- Notez la date en haut de la feuille : les offres changent vite. Deux exemples lus au 15/11/2026 : NotebookLM s'appelle désormais Gemini Notebook, et Le Chat de Mistral s'appelle Vibe.
Partie 1 : ce que dit l'éditeur
| Critère | Outil A | Outil B | Outil C |
|---|---|---|---|
| Qui pose les questions (équipe, visiteurs, les deux) | |||
| Comment les documents entrent (envoi, lecture du site, accès aux dossiers) | |||
| Formats lus | |||
| Limites publiées (nombre, taille de fichiers, pages) | |||
| Mise à jour quand un document change (automatique, hebdomadaire, manuelle) | |||
| Partage et droits (lecture, modification, par groupe) | |||
| Intégration au site (widget, restriction de domaine) | |||
| Connecteurs cités (messagerie, relation client, gestion documentaire) | |||
| Citation des sources dans les réponses | |||
| Relais vers un humain | |||
| Prix public et unité (utilisateur, conversation, résolution) | |||
| Adresse de la page lue et date de lecture |
Pourquoi ces lignes : les écarts entre outils sont réels. Par exemple, Crisp indique ne pas relire automatiquement les pages web importées, Tidio propose une resynchronisation hebdomadaire sur certaines offres, et Mistral n'indexe que le texte d'une page web ajoutée, sans ses sous-pages. Ces détails changent le résultat au quotidien.
Partie 2 : ce que vous constatez
| Test | Outil A | Outil B | Outil C |
|---|---|---|---|
| Questions 1 à 10 : réponses justes, vérifiées dans le document | … / 10 | … / 10 | … / 10 |
| Questions pièges : l'outil dit qu'il ne sait pas | … / 3 | … / 3 | … / 3 |
| La réponse cite le bon document | |||
| Un document modifié : délai avant que la réponse change | |||
| Un salarié sans droit sur un document : l'outil le lui cache-t-il ? | |||
| Temps passé pour installer et charger les documents | |||
| Ce qui a bloqué |
Ici, compter les bonnes réponses n'est pas une note inventée : c'est un constat sur vos questions, que chacun peut refaire.
Partie 3 : la gouvernance
La CNIL recommande, dans ses précisions du 18/07/2024 sur le déploiement d'une IA générative, de définir les usages autorisés et interdits, de former les utilisateurs et d'impliquer dès le début le délégué à la protection des données, le responsable de la sécurité informatique et les responsables métier. Ajoutez donc trois lignes :
| Point | Outil A | Outil B | Outil C |
|---|---|---|---|
| Qui tient les documents à jour | |||
| Qui valide les réponses en cas de doute | |||
| Avis du délégué à la protection des données |
Comment lire la grille
- Une case vide côté éditeur : la documentation ne dit rien. Posez la question par écrit au fournisseur.
- Un écart entre l'éditeur et vos tests : fiez-vous à vos tests, et signalez-le au fournisseur.
- Un critère éliminatoire (par exemple, pas de widget alors que le site est votre priorité) : rayez l'outil, même s'il brille ailleurs.
Les questions à poser pour combler les cases vides sont sur la page questions à poser lors d'une démonstration. Pour savoir quelles lignes comptent le plus pour vous, relisez les critères pour choisir.
Questions fréquentes
Faut-il donner une note sur 10 à chaque outil ?
Non. Notez des faits : ce que dit la documentation, avec l'adresse et la date, et le résultat de vos propres tests. Une note globale cache les critères qui comptent pour vous.
Combien d'outils comparer ?
Deux ou trois, après avoir écarté ceux qui ne servent pas votre public (équipe interne ou visiteurs du site).
Sources
Pages consultées pour écrire cet article :
- https://cnil.fr/fr/comment-deployer-une-ia-generative-la-cnil-apporte-de-premieres-precisions
- https://help.crisp.chat/en/article/how-to-train-hugo-ai-agent-on-your-data-ijkdrl/
- https://help.tidio.com/hc/en-us/articles/14543666652316-Data-sources-Lyro%E2%80%99s%20knowledge%20base
- https://docs.mistral.ai/vibe/work/libraries
- https://blog.google/innovation-and-ai/products/gemini-notebook/notebooklm-gemini-notebook/
- https://help.mistral.ai/en/articles/682992-le-chat-is-now-vibe