Après toutes les démos de 2023, je commence 2024 avec une question moins excitante : à quoi ressemble le système complet lorsqu’une vraie personne lui confie une vraie donnée? Le modèle n’est qu’une composante entre l’identité, les sources, les contrôles et l’opération.

Prenons un assistant qui résume un dossier client. La requête arrive par une application authentifiée. Le serveur vérifie le rôle de la personne, récupère seulement les documents autorisés, retire ou masque certains renseignements, construit la consigne, appelle le modèle, valide la forme de la réponse et conserve une trace exploitable.

utilisateur -> identité -> API de l'entreprise -> sources autorisées
                      -> préparation du contexte -> modèle
                      -> validation -> réponse + sources + journal

Chaque flèche possède un propriétaire et un mode de panne. L’annuaire peut être indisponible. Un document peut être périmé. Le fournisseur peut répondre trop lentement ou modifier le comportement d’une version. Une réponse peut respecter le français demandé tout en inventant un montant. Le système doit distinguer ces situations au lieu d’afficher le même message générique.

Un pilote qui mesure le travail complet

Je choisirais cent dossiers déjà traités et une tâche précise : produire un résumé de dix champs à partir de documents connus. Pour chaque dossier :

1. conserver la version des sources, du prompt et du modèle;
2. comparer chaque champ avec la décision finale déjà validée;
3. noter les omissions, inventions et sources contradictoires;
4. mesurer appel, relecture et correction, pas seulement l’inférence;
5. faire réviser les cas sensibles par la personne responsable du processus;
6. décider avant le test quels seuils entraînent l’arrêt.

Le point de comparaison peut être une recherche classique et un gabarit. Si cette méthode termine en huit minutes avec 1 % d’erreurs, l’assistant doit battre cette référence, pas seulement produire une belle page en vingt secondes.

Le coût complet peut être estimé simplement :

coût par dossier = appel du modèle
                 + recherche et stockage
                 + minutes de révision x coût du rôle
                 + exploitation et incidents répartis par volume

Une économie de cinq minutes disparaît si une personne plus spécialisée doit en ajouter dix pour vérifier. Je garderais aussi le 95e percentile de délai et de coût : quelques dossiers énormes peuvent rendre la moyenne trompeuse.

Les données exigent une décision avant le premier envoi. Quelles catégories sont permises? Les entrées servent-elles à entraîner un service? Combien de temps le fournisseur et nous-mêmes les conservons-nous? Un journal utile doit garder les identifiants, versions, délais et décisions sans recopier inutilement tout le dossier sensible.

La sortie doit être prévue. On désactive la fonction derrière un paramètre, révoque les secrets, vide les files, exporte les traces nécessaires et supprime les index ou copies selon la rétention. Un prototype qui roule encore six mois après son test est déjà un service, même si personne ne lui a donné ce nom.

Je ne sais pas si 2024 sera « l’année du déploiement ». Je sais ce que je veux avant une feuille de route : une tâche étroite, une référence mesurée, une identité, des données permises, un responsable des erreurs et une façon de fermer. Si ces réponses tiennent, le modèle peut commencer à mériter sa ligne de budget.