Mettre une IA en service sans prendre de risque : 2 mois en parallèle du travail manuel

Le Bureau Gimbert Comy, cabinet d'architectes, reçoit chaque mois les factures de situation des entreprises de ses chantiers. Nous avons construit avec lui un outil qui les contrôle avec l'IA.

Juste avant la livraison de la première version, une question s'est posée. Comment passer du contrôle manuel au contrôle par l'outil, sans risque pour les chantiers en cours ?

La réponse du cabinet a été nette. « On ne peut pas donner 100 % de contenu à un logiciel qu'on n'a pas testé. »

Le principe : l'humain continue, l'outil travaille à côté

Pendant 1 à 2 mois, l'équipe du cabinet continue à contrôler les factures comme avant. En parallèle, l'outil traite les mêmes documents.

À la fin, le cabinet et nous comparons les résultats. Chaque erreur repérée par l'équipe a-t-elle été repérée par l'outil ? L'outil a-t-il vu des choses que l'équipe n'avait pas vues ? A-t-il levé de fausses alertes ?

Ce double fonctionnement demande du temps à l'équipe. Une fois la comparaison faite, le cabinet sait ce qu'il confie à l'outil, et dans quelles limites.

Rien ne part sans validation

Pendant cette phase, une règle protège les entreprises de travaux. Aucun email ne part automatiquement.

Quand l'outil détecte un écart, il prépare un email de refus. Une personne du cabinet le relit et décide de l'envoyer ou non. « Quoi qu'il arrive, c'est vous qui serez maîtres d'envoyer. »

Le cabinet a aussi refusé d'impliquer tout son carnet de contacts dans la phase de test. Pendant le test, les rapports d'erreurs restent centralisés au cabinet.

Le test en parallèle ne sert pas seulement à trouver des bugs. Il sert à savoir, preuve à l'appui, ce que l'outil fait aussi bien que l'équipe.

Les questions que le test fait surgir

Ce moment soulève des questions que personne ne s'était posées pendant le cahier des charges.

Faut-il envoyer un accusé de réception aux entreprises ? L'idée paraît bonne. Le cabinet a hésité. Il craint de les habituer à une réponse systématique, et de créer une nouvelle attente qu'il faudra tenir. « On va les habituer à recevoir ce truc-là. »

Le mail de refus doit-il détailler chaque erreur ? Le cabinet a préféré un message générique et court. Le détail est sur le document lui-même, avec les zones en faute signalées.

Que faire des emails qui ne sont pas des factures ? Relances, documents de contrat, messages hors sujet arrivent dans la même boîte. L'outil les range dans une catégorie à part, pour que l'équipe voie ce qui a été traité et ce qui ne l'a pas été.

Ce que les tests avaient déjà montré

Avant cette phase, l'outil avait été testé sur l'historique du cabinet. Sur 1 790 pièces, il a détecté 71 erreurs sur 71. Les fausses alertes représentaient 1,7 %.

Ces chiffres rassurent. Ils ne remplacent pas le test en conditions réelles. Un historique est figé. Le flux du mois peut apporter des cas que l'historique ne contenait pas.

La prise en main

Le cabinet a aussi demandé une chose simple pour la livraison. Une présentation en personne, avec quelqu'un à qui poser ses questions en direct. Nous nous déplaçons pour cela.

La livraison comprend aussi un dossier récapitulatif de ce qui a été fait par rapport au cahier des charges, et une courte vidéo de présentation de l'outil.

Pour qui

Ce mode de démarrage vaut pour tout outil qui prend une décision à la place d'une personne : valider une facture, classer un document, répondre à un client. Plus la décision a de conséquences, plus la phase en parallèle doit être longue.

Pour un outil de gestion classique, la phase de test suffit souvent. Les équipes l'utilisent, remontent leurs retours, et nous ajustons.

En parler

Si vous envisagez de confier un contrôle à l'IA mais que vous hésitez à lâcher le contrôle manuel, prenons 30 minutes en visio. Nous regardons avec vous comment organiser un test en parallèle, et ce qu'il faudrait mesurer pour décider.