Kinect retire la manette et découvre tout ce qu’elle faisait bien

Kinect vient de sortir avec une idée qui me fait vraiment tripper : notre corps devient la commande. Ce n’est pas seulement une caméra qui cherche une silhouette. Le système doit mesurer la profondeur, séparer la personne du décor, estimer son squelette et traduire une suite de positions imparfaites en une intention de jeu.

Le capteur combine une caméra couleur, un émetteur infrarouge et une caméra de profondeur. Un motif infrarouge projeté dans la pièce se déforme selon la distance des surfaces; le capteur l’utilise pour produire une carte où chaque pixel porte une estimation de profondeur. Le logiciel repère ensuite le corps et associe des points à la tête, aux épaules, aux coudes, aux mains, aux hanches et aux genoux.

Du mouvement continu à un événement discret

Le jeu ne veut pas recevoir « main à x=412, y=238, z=1,7 m » et décider image par image. Il applique du filtrage pour calmer le bruit, conserve une courte fenêtre temporelle, puis reconnaît un geste. Un coup de poing pourrait être décrit ainsi :

1. la main se trouve devant l’épaule pendant quelques images;
2. sa vitesse vers l’avant dépasse un seuil;
3. le bras s’allonge sans que le torse avance autant;
4. l’état passe de prêt à frappe, puis attend un retour avant d’accepter une autre frappe.

Cette petite machine à états évite de compter vingt coups pendant un seul mouvement. Elle introduit aussi des choix : seuil trop bas, un geste involontaire déclenche l’action; trop haut, un enfant ou une personne moins mobile n’est jamais reconnu.

Le pipeline complet ajoute de la latence : exposition du capteur, transfert de l’image, estimation du squelette, lissage, logique du jeu, rendu puis affichage du téléviseur. À 30 images par seconde, une image représente déjà environ 33 millisecondes. Accumuler quelques images pour confirmer le geste améliore la stabilité, mais retarde la réponse. Le designer doit choisir entre une commande rapide et une commande certaine.

La manette fournissait de l’information dans les deux sens

Un bouton possède une position stable, un seuil mécanique et un retour tactile. Le pouce sait qu’il a appuyé sans regarder. La caméra, elle, doit montrer la reconnaissance à l’écran avec un son, une animation ou un curseur. Sans ce feedback, la personne répète le geste, ce qui peut déclencher deux actions après le délai.

L’occlusion est un autre problème. Une main devant le torse, une personne derrière une autre ou un meuble peut cacher des articulations. Le logiciel estime alors une position, mais la confiance devrait baisser. Une bonne interface ne traite pas une estimation faible comme une certitude : elle peut demander de se replacer ou ignorer temporairement le geste.

La lumière infrarouge, la distance, l’espace disponible et la hauteur de la caméra modifient aussi la qualité. Avant de commencer, un écran de calibration devrait vérifier que le corps entier est visible et délimiter la zone sécuritaire. Il faut prévoir la personne assise, les tailles différentes et les mouvements qu’un salon réel ne permet pas.

Les données méritent enfin une limite claire. Une carte de profondeur peut révéler la présence et la forme des personnes dans une pièce. Un jeu n’a pas besoin de conserver les images brutes pour reconnaître un saut. Le traitement local, la rétention minimale et un indicateur lorsque le capteur est actif réduisent un risque inutile.

Kinect convient bien aux grands gestes et aux jeux de groupe. Pour viser finement ou enchaîner plusieurs commandes, la manette garde un avantage. Dans une interface gestuelle, je définirais d’abord trois gestes robustes, mesurerais faux positifs, gestes manqués et latence sur des personnes différentes, puis j’ajouterais seulement ce que le capteur reconnaît vraiment.

Mise à jour de 2026

Le Kinect de salon de 2010 fait maintenant partie de l’histoire du jeu. Microsoft a repris certaines idées de caméra de profondeur avec Azure Kinect, mais le SDK de cette gamme a été retiré le 16 août 2024. Les questions d’interface restent intéressantes, mais le matériel et les SDK Kinect ne sont plus une base soutenue pour un nouveau produit. Microsoft donne le statut dans le cycle de vie de l’Azure Kinect SDK.