Aller au contenu
Collabor-IA · Comparatif Un site du réseau Collabor-IA

Liste

Grille de comparaison des chatbots IA, à imprimer

Une grille à remplir pour comparer deux ou trois assistants sur documents : critères, preuves à relever, test sur vos questions. Sans note inventée.

Mis à jour le

Ce comparatif est édité par IArche, éditeur d'ALMA, l'une des solutions comparées.

Pour comparer des assistants sur documents, remplissez une grille avec deux types de cases : ce que dit l'éditeur (avec l'adresse de la page et la date de lecture) et ce que vous avez constaté en testant vos propres questions. La grille ci-dessous se recopie dans un tableur ou s'imprime telle quelle, une colonne par outil.

Cette grille vaut pour n'importe quel outil, ALMA compris.

Avant de remplir

  1. Écrivez vos dix questions les plus fréquentes, avec le document qui contient la réponse.
  2. Ajoutez trois questions pièges, dont la réponse n'est dans aucun document : un bon assistant doit dire qu'il ne sait pas.
  3. Notez la date en haut de la feuille : les offres changent vite. Deux exemples lus au 15/11/2026 : NotebookLM s'appelle désormais Gemini Notebook, et Le Chat de Mistral s'appelle Vibe.

Partie 1 : ce que dit l'éditeur

Critère Outil A Outil B Outil C
Qui pose les questions (équipe, visiteurs, les deux)
Comment les documents entrent (envoi, lecture du site, accès aux dossiers)
Formats lus
Limites publiées (nombre, taille de fichiers, pages)
Mise à jour quand un document change (automatique, hebdomadaire, manuelle)
Partage et droits (lecture, modification, par groupe)
Intégration au site (widget, restriction de domaine)
Connecteurs cités (messagerie, relation client, gestion documentaire)
Citation des sources dans les réponses
Relais vers un humain
Prix public et unité (utilisateur, conversation, résolution)
Adresse de la page lue et date de lecture

Pourquoi ces lignes : les écarts entre outils sont réels. Par exemple, Crisp indique ne pas relire automatiquement les pages web importées, Tidio propose une resynchronisation hebdomadaire sur certaines offres, et Mistral n'indexe que le texte d'une page web ajoutée, sans ses sous-pages. Ces détails changent le résultat au quotidien.

Partie 2 : ce que vous constatez

Test Outil A Outil B Outil C
Questions 1 à 10 : réponses justes, vérifiées dans le document … / 10 … / 10 … / 10
Questions pièges : l'outil dit qu'il ne sait pas … / 3 … / 3 … / 3
La réponse cite le bon document
Un document modifié : délai avant que la réponse change
Un salarié sans droit sur un document : l'outil le lui cache-t-il ?
Temps passé pour installer et charger les documents
Ce qui a bloqué

Ici, compter les bonnes réponses n'est pas une note inventée : c'est un constat sur vos questions, que chacun peut refaire.

Partie 3 : la gouvernance

La CNIL recommande, dans ses précisions du 18/07/2024 sur le déploiement d'une IA générative, de définir les usages autorisés et interdits, de former les utilisateurs et d'impliquer dès le début le délégué à la protection des données, le responsable de la sécurité informatique et les responsables métier. Ajoutez donc trois lignes :

Point Outil A Outil B Outil C
Qui tient les documents à jour
Qui valide les réponses en cas de doute
Avis du délégué à la protection des données

Comment lire la grille

  • Une case vide côté éditeur : la documentation ne dit rien. Posez la question par écrit au fournisseur.
  • Un écart entre l'éditeur et vos tests : fiez-vous à vos tests, et signalez-le au fournisseur.
  • Un critère éliminatoire (par exemple, pas de widget alors que le site est votre priorité) : rayez l'outil, même s'il brille ailleurs.

Les questions à poser pour combler les cases vides sont sur la page questions à poser lors d'une démonstration. Pour savoir quelles lignes comptent le plus pour vous, relisez les critères pour choisir.

Questions fréquentes

Faut-il donner une note sur 10 à chaque outil ?

Non. Notez des faits : ce que dit la documentation, avec l'adresse et la date, et le résultat de vos propres tests. Une note globale cache les critères qui comptent pour vous.

Combien d'outils comparer ?

Deux ou trois, après avoir écarté ceux qui ne servent pas votre public (équipe interne ou visiteurs du site).

Sources

Pages consultées pour écrire cet article :

  1. https://cnil.fr/fr/comment-deployer-une-ia-generative-la-cnil-apporte-de-premieres-precisions
  2. https://help.crisp.chat/en/article/how-to-train-hugo-ai-agent-on-your-data-ijkdrl/
  3. https://help.tidio.com/hc/en-us/articles/14543666652316-Data-sources-Lyro%E2%80%99s%20knowledge%20base
  4. https://docs.mistral.ai/vibe/work/libraries
  5. https://blog.google/innovation-and-ai/products/gemini-notebook/notebooklm-gemini-notebook/
  6. https://help.mistral.ai/en/articles/682992-le-chat-is-now-vibe

À lire aussi