Le papier publié le 28 mai sur GPT-3 contient un chiffre qui attire beaucoup d’attention : 175 milliards de paramètres. C’est énorme, mais ça n’explique pas très bien ce que le modèle fait.

GPT-3 reçoit du texte et prédit la suite probable, un morceau à la fois. Le texte est d’abord découpé en tokens : un mot fréquent peut former un token, tandis qu’un mot rare peut être séparé en plusieurs fragments. Chaque token devient un vecteur numérique auquel s’ajoute une information de position. Ces vecteurs traversent ensuite une pile de couches de type transformer.

Dans une couche, le mécanisme d’attention calcule quelles positions précédentes sont les plus utiles pour traiter la position actuelle. Il produit des poids, mélange les représentations correspondantes, puis une autre partie de la couche transforme le résultat. Avec plusieurs têtes d’attention, le modèle peut représenter différentes relations en parallèle. Les 175 milliards de paramètres sont les valeurs ajustées pendant l’entraînement pour que, sur un très grand corpus, le prochain token réel reçoive une probabilité plus élevée.

À la génération, le modèle ne récupère pas une phrase complète dans une base. Il calcule une distribution de probabilités pour le prochain token, en choisit un, l’ajoute au contexte et recommence. Prendre systématiquement le token le plus probable rend le texte prévisible. Échantillonner parmi plusieurs candidats produit davantage de variété, mais aussi davantage de risque. Un réglage comme la température modifie cette dispersion; il ne rend pas la réponse plus vraie.

Un exemple qui ressemble à un raisonnement

On peut fournir quelques exemples dans le contexte :

Demande: Je n’arrive plus à ouvrir ma session.
Catégorie: accès

Demande: Ma facture contient deux fois le même article.
Catégorie: facturation

Demande: Le téléchargement s’arrête à 80 %.
Catégorie:

Le modèle continue probablement avec une catégorie comme technique, parce que la forme et les relations statistiques ressemblent aux exemples. Il n’a pourtant pas appelé le système de soutien, vérifié le compte ni exécuté le téléchargement. Si on change les exemples, l’ordre ou les étiquettes, la sortie peut changer. Ce comportement « few-shot » est puissant justement parce qu’il adapte la génération sans réentraîner les paramètres, mais les instructions et les exemples occupent une fenêtre de contexte finie.

La fluidité vient de ce mécanisme de prédiction à grande échelle. Elle ne fournit pas une étape séparée de vérification. Le modèle peut combiner un nom plausible, une date plausible et une explication plausible qui n’ont jamais été vrais ensemble. Il peut reproduire des biais du corpus, ignorer une contrainte placée loin dans le contexte ou varier sa réponse entre deux exécutions. Une probabilité élevée signifie « suite vraisemblable dans ce contexte », pas « fait confirmé par une source ».

Pour évaluer un usage, je séparerais au moins quatre mesures : format respecté, exactitude factuelle, pertinence pour la tâche et conséquences d’une erreur. Un jeu de tests doit contenir des cas ordinaires, ambigus, incomplets et adverses, puis être relu par les personnes qui connaissent le domaine. On conserve le texte d’entrée, la version du modèle, les paramètres de génération et la sortie afin de reproduire un échec. Si la réponse doit citer un fait interne, il faut lui fournir une source contrôlée ou faire vérifier le brouillon; GPT-3 ne connaît pas automatiquement les données de l’organisation.

L’endroit où on place le modèle change le risque. Proposer trois formulations qu’une personne choisira est différent d’envoyer directement une réponse au client. Classer un billet avec une file de repli est différent de refuser une demande. Si le service expire, dépasse sa limite ou produit un format invalide, le processus doit continuer sans perdre l’entrée.

Je suis très curieux de voir ce qu’on va construire avec cette capacité. La règle pratique reste pourtant simple : expliquer le prochain-token, mesurer le résultat sur la tâche réelle et placer une validation proportionnelle aux conséquences. Le ton assuré fait partie de la sortie; il ne doit jamais servir de preuve.