Le modèle fonctionne encore, mais son monde a disparu
Une prévision entraînée sur plusieurs années suppose que demain va ressembler assez à hier pour que les relations apprises soient encore utiles. En mai 2020, cette supposition est devenue très difficile à défendre.
Les horaires, les déplacements, les chaînes d’approvisionnement et les comportements d’achat ont changé rapidement. Un modèle peut continuer à exécuter son code exactement comme prévu tout en donnant des réponses de moins en moins pertinentes. Le service répond, les tests logiciels passent et le fichier du modèle n’a pas changé. C’est la relation entre ses entrées et le monde qui s’est déplacée.
Il existe au moins trois dérives à distinguer. La dérive des données apparaît quand la distribution des entrées change : beaucoup moins de passages en magasin, par exemple. La dérive du concept apparaît quand la même entrée n’a plus la même relation avec la cible : un vendredi ensoleillé ne prédit plus le même achalandage. La dérive des étiquettes survient quand la définition ou la disponibilité de la vérité terrain change, par exemple lorsqu’une commande annulée plusieurs semaines plus tard reste provisoirement comptée comme une vente.
Surveiller seulement la moyenne ne suffit pas. Deux périodes peuvent avoir la même moyenne et des distributions très différentes. On peut découper une variable en intervalles, comparer la proportion d’observations dans chacun et calculer un indice de stabilité. On peut aussi suivre le taux de valeurs manquantes, les catégories inconnues et les résidus du modèle dès que les résultats réels arrivent. Ces mesures ne prouvent pas que la prédiction est mauvaise; elles signalent qu’une vérification est nécessaire.
Une prévision qui doit changer de mode
Imaginons un modèle de demande qui prévoyait habituellement 100 unités par semaine avec une erreur moyenne de 12. Cette semaine, les entrées ressemblent à ceci :
| Signal | Historique d’entraînement | Mai 2020 |
|---|---|---|
| visites en magasin | 1 000 | 80 |
| commandes web | 120 | 460 |
| délai fournisseur | 5 jours | inconnu |
| promotions actives | 2 | 0 |
Une prédiction unique de 105 unités paraît précise, mais elle extrapole loin de la région observée pendant l’entraînement. Le pipeline devrait d’abord valider les entrées, comparer leur distribution à une référence datée, puis choisir un mode : modèle normal, scénario prudent, règle simple ou revue humaine. L’alerte doit enregistrer la version du modèle, les signaux déplacés et la décision prise afin qu’on puisse l’évaluer plus tard.
Le premier réflexe peut être de réentraîner immédiatement. C’est risqué. Quelques semaines exceptionnelles forment un échantillon court, les résultats finaux sont incomplets et le prochain mois peut encore changer de régime. Mélanger ces données sans marqueur de contexte apprend parfois une moyenne qui ne décrit ni l’ancien monde ni le nouveau. Une meilleure approche conserve les données par période, ajoute des variables de régime lorsqu’elles sont connues et compare plusieurs modèles sur des fenêtres temporelles, jamais avec un échantillon aléatoire qui laisse le futur fuir dans l’entraînement.
Il faut aussi prévoir la panne silencieuse. Si les étiquettes réelles arrivent après 60 jours, l’erreur ne peut pas être calculée aujourd’hui. On surveille alors des indicateurs intermédiaires et on réduit l’autonomie du modèle. Si un seuil de dérive est franchi, les décisions coûteuses peuvent exiger une approbation, les horizons être raccourcis et une règle conservatrice servir de repli. Une alerte sans propriétaire ni action définie ne fait qu’ajouter du bruit.
Un modèle apprend des relations passées, pas une loi garantie sur l’avenir. La pandémie rend cette limite impossible à ignorer. La pratique utile consiste à versionner la référence, mesurer les écarts, afficher l’incertitude et savoir suspendre la prédiction. Cette surveillance aurait dû exister avant la crise; en mai 2020, elle devient une condition minimale de confiance.