La façon la plus facile de justifier un projet d’IA est de ne le comparer à rien. Une réponse sort en dix secondes; on oublie les documents préparés, la relecture, les corrections et le soutien. Comme dirigeant TI, je veux rendre la méthode actuelle, une règle simple et le modèle comparables sur la même tâche.

Prenons le tri de demandes reçues par courriel vers cinq équipes. La méthode actuelle est un employé qui lit et choisit. Une règle peut regarder l’adresse, un numéro de produit et quelques mots. Un modèle probabiliste peut utiliser le texte complet. Les trois produisent la même sortie : une catégorie et, idéalement, une raison.

courriel -> extraction des champs -> règles déterministes
                                |-> cas clair : catégorie
                                `-> cas ambigu : modèle -> révision humaine

L’architecture hybride garde les cas faciles hors du modèle. Une demande avec facture et un numéro valide part à la facturation. Le modèle reçoit les formulations variables. Une règle de sécurité refuse les pièces jointes dangereuses et aucune classification ne déclenche directement une suppression.

Comparer avec une matrice d’erreurs

Je prélèverais 500 demandes historiques, anonymisées lorsque possible, puis ferais établir la bonne équipe par le responsable métier. On sépare les données de conception de celles du test. Pour chaque méthode, on compte :

Mesure	Pourquoi elle compte
Bon routage	travail livré à la bonne équipe
Faux routage critique	délai ou divulgation à la mauvaise équipe
Abstention	cas remis à une personne
Temps total	calcul plus révision et correction
Coût par demande	licence, appel, exploitation et travail humain

Un taux global de 95 % peut cacher 40 % d’erreurs sur les plaintes urgentes si elles sont rares. Je regarderais les résultats par catégorie et donnerais plus de poids aux conséquences. Le bon comportement d’un système incertain peut être À trier, pas une réponse forcée.

Le coût inclut la personne qui prépare les données, les tests de régression, les alertes, la gestion des secrets et le temps passé après un changement du fournisseur. Une règle lisible peut être maintenue par l’équipe métier. Un modèle externe demande une surveillance de version et un budget variable. Cette différence fait partie du choix.

La production commence en mode observation. Le système propose une catégorie, l’employé continue de décider et les écarts sont conservés. Ensuite, seules les règles ou prédictions ayant un risque faible et un seuil prouvé peuvent router automatiquement. Un paramètre permet de revenir immédiatement au tri humain.

Il faut aussi détecter la dérive. Si un nouveau produit change le vocabulaire, le taux d’abstention et les corrections montent. Une alerte sur ces mesures vaut davantage qu’un message disant seulement que l’API répond. On rejoue le jeu d’évaluation avant chaque changement de prompt ou de modèle.

Je ne suis pas payé pour protéger l’étiquette IA. Si les règles obtiennent la même qualité à un dixième du coût, elles gagnent. Si le modèle traite mieux les cas ambigus et réduit le délai sans augmenter les erreurs graves, il gagne ce périmètre. La comparaison honnête produit parfois une architecture mixte, ce qui est souvent plus utile qu’un projet entièrement « intelligent ».