Je vais défendre une interface qui serait probablement insupportable huit heures par jour : le grand écran gestuel de Minority Report. La scène fonctionne parce que le geste semble aller directement de la main à l’information. Une vraie installation doit pourtant fabriquer ce lien à travers plusieurs couches.

Une caméra voit d’abord des pixels, pas une main. Le système doit séparer le sujet du fond, repérer des points caractéristiques, suivre leur mouvement d’une image à l’autre et convertir la trajectoire en commande. Si l’utilisateur porte des marqueurs ou des gants, la détection devient plus facile; sans eux, l’éclairage, les vêtements et les personnes derrière compliquent le problème.

caméras -> calibration -> position des mains -> trajectoire
        -> reconnaissance du geste -> commande -> feedback visuel

La calibration relie les coordonnées de la caméra à celles de l’écran. Une erreur de quelques centimètres suffit pour sélectionner le mauvais document. Avec deux caméras, on peut estimer la profondeur par triangulation, mais il faut synchroniser les images et gérer le moment où un bras cache l’autre.

Reconnaître une intention, pas seulement un mouvement

Une main qui traverse l’écran peut vouloir déplacer un objet ou simplement aller en chercher un autre. Le logiciel a besoin d’états explicites. Par exemple :

REPOS
  -> main stable sur une cible : PRET
  -> geste de saisie           : DEPLACEMENT
  -> geste de relâchement      : CONFIRMER
  -> mouvement hors zone       : ANNULER

Sans feedback au passage dans PRET, la personne ignore si le système l’a vue. Elle recommence, et deux commandes partent. Une latence de 200 ou 300 millisecondes paraît petite dans un rapport, mais elle crée vite cette impression de flotter derrière sa propre main.

Les erreurs ne doivent pas toutes coûter la même chose. Agrandir la mauvaise photo se corrige facilement. Supprimer un dossier ou envoyer une commande exige une confirmation distincte et un chemin d’annulation. Le geste spectaculaire ne remplace ni l’historique ni la transaction.

La voix traverse une chaîne semblable : microphone, réduction du bruit, détection de parole, reconnaissance des mots, interprétation de l’intention. « Ouvre le dossier Marc » reste ambigu si deux Marc existent. Dans un environnement bruyant, le système devrait demander une précision plutôt que choisir avec beaucoup d’assurance.

Le corps impose enfin une contrainte que le film coupe au montage. Garder les bras levés fatigue les épaules. Le fond transparent aide la caméra à voir l’acteur, mais réduit le contraste pour celui qui lit. Pour classer des documents toute la journée, une table tactile inclinée, un clavier ou une souris peut être beaucoup plus efficace.

La calibration doit aussi pouvoir être reprise par l’utilisateur. Si la caméra bouge ou si une autre personne prend la place, cinq points connus à l’écran permettent de recalculer la correspondance. Je conserverais l’erreur moyenne en pixels et refuserais les commandes précises lorsque cette erreur dépasse le seuil prévu. Un curseur fantôme peut alors montrer ce que le capteur croit voir avant d’autoriser une action.

Je traiterais donc cette scène comme une collection d’hypothèses à tester. Quel geste direct enlève réellement une étape? Quelle précision faut-il? Quel taux d’erreur reste acceptable après trente minutes, pas trente secondes? Puis je construirais un prototype avec un bouton Annuler, un journal des actions et des tâches réelles. Le cinéma montre très bien l’intuition. L’ingénierie commence au premier geste mal reconnu.