Je prends « Le côté sombre derrière la démo » par le côté terrain en octobre 2024, parce que les promesses techniques deviennent claires seulement quand elles rencontrent les contraintes. La promesse de « Le côté sombre derrière la démo », en octobre 2024, tient dans cette idée: excellent Halloween frame for serious engineering trade-offs, mais elle doit encore passer par les détails.

C’est l’Halloween, le temps de l’année où je me permets de regarder le côté inquiétant de la techno. Cette année, ce qui me donne des frissons, c’est un mot qui revient partout en 2024: les « agents ». L’IA ne se contente plus de répondre à tes questions — on lui apprend à AGIR toute seule. À cliquer, à envoyer des courriels, à remplir des formulaires, à exécuter des tâches sans que personne ne regarde par-dessus son épaule. La démo est bluffante. Le côté sombre, lui, me tient éveillé.

Quand l’IA passe de répondre à agir

flowchart TD
    A[Avant: l'IA repond] --> B[L'humain lit, decide, agit]
    B --> C[Garde-fou naturel: la validation]
    D[2024: l'agent IA agit] --> E[L'IA decide ET execute]
    E --> F[Clique, envoie, remplit, achete]
    F --> G{Qui valide?}
    G -->|Personne ne regarde| H[Erreur executee a grande vitesse]
    G -->|Un humain dans la boucle| I[Garde-fou preserve]
    H --> J[Le cote sombre: l'autonomie sans surveillance]

Ce qui m’inquiète n’est pas l’idée d’un robot conscient — on est loin de ça. C’est quelque chose de bien plus banal pis bien plus réel: une IA qui se trompe, mais qui au lieu de te proposer une mauvaise réponse, l’exécute pour vrai. Avant, quand l’IA hallucinait, un humain lisait, doutait, corrigeait. C’était notre garde-fou naturel. Avec un agent qui agit seul, ce garde-fou saute. L’erreur ne reste plus sur l’écran: elle part dans le monde, à la vitesse de la machine.

Le vertige de l’autonomie

Comme Directeur TI, je vois tout de suite le vertige. Donne à un agent l’accès à tes courriels, à tes comptes, à tes systèmes, pis dis-lui « débrouille-toi ». Le jour où il comprend mal une consigne, il ne fait pas une petite gaffe: il en fait mille, vite, partout. L’asymétrie est cruelle — c’est facile de lancer un agent autonome, c’est dur de rattraper ce qu’il a déclenché.

Mon réflexe d’Halloween, ce n’est pas de bannir les agents — ils vont rendre de vrais services. C’est de ne jamais leur lâcher la bride complètement. Garder un humain dans la boucle pour les gestes qui comptent, limiter ce qu’un agent peut toucher, exiger une confirmation avant les actions irréversibles. L’autonomie, c’est pratique le jour où ça marche; c’est terrifiant le jour où ça déraille sans surveillance.

Ce que je retiens

En octobre 2024, le frisson d’Halloween me vient du mot de l’année: les « agents ». L’IA ne se contente plus de répondre, on lui apprend à agir seule — cliquer, envoyer, exécuter sans personne par-dessus son épaule. La démo est bluffante; le côté sombre tient éveillé.

Ce que je retiens, c’est que le danger n’est pas un robot conscient, mais une IA qui se trompe pis qui, au lieu de proposer une mauvaise réponse, l’exécute pour vrai. Avant, un humain lisait pis corrigeait: c’était le garde-fou. L’agent autonome le fait sauter, pis l’erreur part dans le monde à la vitesse de la machine. L’asymétrie est cruelle: facile de lancer un agent, dur de rattraper ses dégâts. Mon réflexe n’est pas de les bannir, mais de ne jamais leur lâcher la bride: un humain dans la boucle pour les gestes qui comptent, une confirmation avant l’irréversible. L’autonomie est pratique quand ça marche, terrifiante quand ça déraille sans surveillance.