Combien de questions faut-il pour tester un assistant avant de le livrer ?

Aucune norme ne fixe ce nombre. Ce qui compte, c'est que le jeu couvre les questions fréquentes, les questions pièges et les questions hors périmètre, et que le seuil d'acceptation soit écrit dans l'accord de mission avant le test.

Qui doit relire les réponses de l'assistant ?

Un consultant qui n'a pas paramétré l'assistant, et, pour les sujets de fond, une personne qui connaît le métier du client. Le consultant qui a préparé la base voit mal ses propres oublis.

Quand un cabinet doit-il renoncer à livrer un assistant ?

Quand il ne peut pas vérifier et corriger les réponses. Le guide de la CNCPI de juillet 2026 le dit pour les conseils en propriété industrielle : sans possibilité de contrôler les résultats, mieux vaut s'abstenir d'utiliser l'outil.

Contrôle qualité des réponses avant livraison au client

Le contrôle qualité d'un assistant IA livré par un cabinet se fait à deux moments : avant la mise en service, sur un jeu de questions écrit à l'avance et noté par une personne qui n'a pas paramétré l'assistant ; puis après, par la lecture régulière des conversations réelles. Entre les deux, une règle : le seuil d'acceptation est fixé dans l'accord de mission avant le test, pas après. Et si le cabinet ne peut pas vérifier les réponses sur un sujet, l'assistant ne doit pas répondre sur ce sujet.

Pourquoi le contrôle humain est la règle

Le manifeste de Syntec Conseil pour une utilisation responsable de l'IA prévoit une « supervision humaine systématique » des résultats produits par l'IA. Dans le dossier de Consultor du 18/11/2025, des associés de cabinets de conseil en stratégie rappellent que l'IA est une machine statistique qui peut se tromper, et que les « hallucinations » (des réponses fausses présentées avec assurance) font partie du fonctionnement de ces modèles, ce qui impose un regard critique à chaque niveau.

Le guide de la CNCPI (Compagnie nationale des conseils en propriété industrielle) de juillet 2026 va plus loin : « si le CPI n'est pas en mesure de contrôler, éventuellement tracer, vérifier et corriger les résultats automatisés produits, celui-ci devrait s'abstenir d'utiliser de tels outils ». La phrase vise les conseils en propriété industrielle, mais le principe vaut pour tout cabinet qui livre.

Le circuit en quatre contrôles

Contrôle	Quand	Qui	Ce qui est vérifié	Trace
1. Revue de la base	Avant le paramétrage	Le consultant qui livre	Documents à jour, sans doublon, sans information à exclure	Liste des documents retenus, avec leur date
2. Recette	Avant la mise en service	Un second consultant	Le jeu de questions, noté réponse par réponse	Grille de notation signée
3. Validation client	À la mise en service	Le client et l'associé porteur	Résultat de la recette, limites connues	Procès-verbal de mise en service
4. Suivi	Chaque mois, puis chaque trimestre	Le consultant référent	Conversations réelles, questions sans bonne réponse	Compte rendu de revue et corrections faites

La charte professionnelle de Syntec Conseil (décembre 2025) demande des livrables « validés selon les critères définis dans l'accord initial ». Pour un assistant, les critères sont le seuil de la recette et la liste des sujets exclus.

Construire le jeu de questions

Un bon jeu de questions mélange trois familles :

Les questions fréquentes. Celles que les utilisateurs poseront tous les jours, formulées comme ils les formulent, avec leurs fautes et leurs raccourcis.
Les questions pièges. Une question dont la réponse a changé récemment, une question à laquelle deux documents répondent différemment, une question qui mélange deux sujets.
Les questions hors périmètre. Ce que l'assistant doit refuser ou renvoyer vers une personne : un avis juridique, une décision individuelle, un sujet que le client a exclu.

Chaque réponse est notée sur une grille simple : juste et complète, juste mais incomplète, fausse, refus attendu obtenu, refus attendu non obtenu. Une réponse fausse sur un sujet sensible bloque la mise en service, quel que soit le score global.

Fixer le seuil avant de tester

Écrivez dans l'accord de mission, avant la recette, deux règles :

un taux minimal de réponses justes sur les questions fréquentes, que vous choisissez avec le client ;
zéro réponse fausse sur la liste des sujets sensibles, et zéro réponse là où un refus était attendu.

Fixé après coup, un seuil s'ajuste au résultat. Fixé avant, il protège à la fois le client et le cabinet.

Suivre après la livraison

La recette ne voit que les questions que vous avez imaginées. Les utilisateurs en posent d'autres. Le suivi consiste à lire un échantillon de conversations réelles, à repérer les questions restées sans bonne réponse, et à corriger : ajouter un document, préciser une consigne, ou exclure un sujet. Certaines plateformes aident à ce travail ; par exemple, ALMA, la plateforme d'assistants IA éditée par IArche, présente sur sa page des fonctionnalités un module « Anti-hallucination » avec « Score de confiance, détection d'hallucinations et citations automatiques », et une gestion des sources incluant les « questions sans réponse ». Ces aides ne remplacent pas la lecture par une personne.

Dire au client ce qui a été contrôlé

Le client doit savoir ce que le contrôle couvre, et ce qu'il ne couvre pas. Remettez-lui une note simple : sur quelles questions l'assistant a été testé, avec quel résultat, quelles limites restent connues, et comment signaler une erreur. La CNCPI recommande de manière générale d'informer le client de l'usage des IA génératives et d'obtenir son accord préalable. Cette transparence rejoint la question de l'indépendance du cabinet quand il recommande l'outil qu'il livre.

La méthode complète de livraison, dans laquelle s'insèrent ces contrôles, est décrite dans la livraison type.