Artistes et Créations. L'installation interactive d'Antoine : créer avec le regard

L’installation interactive d’Antoine: créer avec le regard

La promesse est séduisante, le budget souvent conséquent, mais la mécanique réelle tient parfois à une asymétrie moins glorieuse: le public fournit son attention, ses données et son temps, tandis que l’institution récupère l’image d’une modernité enfin consommable.

L’oculométrie — ou eye tracking — peut pourtant produire autre chose qu’un gadget de médiation. Dans une installation interactive, le regard devient une commande, une matière et parfois même un instrument de composition. Il ne s’agit plus seulement de regarder une œuvre, mais de la modifier par l’intensité, la direction ou la durée de son attention. À condition de ne pas confondre participation et simple capture comportementale.

Le prénom Antoine, dans ce domaine, renvoie d’ailleurs à plusieurs histoires. Antoine Schmitt explore depuis longtemps les relations entre humains, machines et systèmes génératifs. Antoine Lame a développé GazeTracking, une bibliothèque Python open source consacrée au suivi du regard par webcam. Deux démarches très différentes, souvent mélangées dans les récits simplifiés de l’art numérique. L’une relève de la création et de la pensée critique; l’autre de l’outillage technique. Les confondre, c’est déjà manquer le sujet.

Le regard n’est pas né avec la dernière exposition immersive

L’histoire de l’art interactif fondé sur le regard ne commence pas avec les casques dernier cri ni avec les écrans qui réagissent à chaque mouvement de tête. En 1996, Seiko Mikami créait Eye-Tracking Informatics, une installation pionnière qui plaçait l’oculométrie au centre de l’expérience. L’œuvre a ensuite été réactivée avec du matériel plus récent de Pupil Labs, preuve assez embarrassante pour les institutions qui présentent chaque nouvelle technologie comme une rupture absolue.

La rupture, en réalité, est souvent moins technique que scénographique. Le principe était déjà là: suivre les déplacements des yeux et transformer cette information en événement visuel, sonore ou spatial. Ce qui change avec le temps, ce sont la miniaturisation des capteurs, la puissance de calcul, la qualité des caméras et la capacité à faire oublier au visiteur qu’il est mesuré.

En 2007, Golan Levin utilisait également le suivi oculaire dans Eyecode, une œuvre qui interrogeait la production d’images à partir du regard. Là encore, l’intérêt n’était pas de démontrer qu’un ordinateur pouvait deviner où l’on regarde. Le véritable enjeu consistait à rendre visible une activité que nous considérons habituellement comme intime, automatique et presque invisible: la sélection permanente de ce qui mérite notre attention.

C’est là que l’art numérique se sépare du simple dispositif de commande. Dans une interface commerciale, le regard sert à accélérer l’action. Dans une œuvre, il peut au contraire ralentir la perception, révéler ses hésitations et mettre le spectateur face à sa propre manière de regarder.

Antoine Schmitt s’inscrit dans cette généalogie sans être son origine unique — personne ne devrait lui attribuer l’invention de l’art fondé sur l’oculométrie. Son travail sur l’art cinétique, les systèmes génératifs et les relations homme-machine s’intéresse à des comportements qui semblent autonomes, mais qui reposent toujours sur des règles. Une forme bouge, réagit, se transforme; derrière cette apparente liberté, il y a une architecture, des paramètres et des choix d’auteur.

Une œuvre pilotée par le regard ne donne pas nécessairement plus de pouvoir au visiteur: elle peut aussi rendre son attention exploitable.

La question n’est donc pas de savoir si l’installation est interactive. Ce mot est devenu trop large, presque aussi peu exigeant que spectaculaire. Il faut demander ce que l’interaction modifie réellement: la trajectoire d’une forme, la structure du son, la durée de l’expérience, le sens de l’œuvre ou seulement son habillage visuel.

De la pupille à l’image: la mécanique d’une installation interactive

Un capteur d’eye tracking ne lit pas les pensées. Il tente d’estimer la direction du regard à partir d’images du visage et des yeux. Selon le dispositif, une caméra observe les pupilles, les reflets lumineux sur la cornée et les mouvements de la tête. Le système calcule ensuite une position probable du regard dans l’espace de l’écran ou de la scène.

Le mot important est bien probable. Une installation artistique n’obtient pas une vérité absolue sur l’attention du visiteur, mais une série d’estimations. Elles peuvent être suffisamment précises pour déclencher une transformation visuelle ou sonore, sans pour autant permettre de conclure que la personne a compris une image, apprécié une œuvre ou éprouvé une émotion particulière. Les discours marketing aiment franchir cette frontière sans prévenir.

Le fonctionnement général d’une installation multimédia interactive peut être décrit en quatre opérations:

1. Observer le regard. Une webcam ou un dispositif spécialisé recueille des images à intervalles réguliers. Une webcam standard fonctionne généralement entre 30 et 60 images par seconde, ce qui suffit à produire une interaction fluide dans de nombreux projets, sans garantir une précision parfaite.

2. Interpréter les données. Le logiciel estime la position des pupilles et la direction du regard. Il doit distinguer les mouvements oculaires des mouvements de tête, gérer les clignements et composer avec les visages partiellement masqués.

3. Associer le regard à une règle. Le créateur décide ce que signifie regarder une zone: faire apparaître une couleur, ralentir une animation, déclencher un son, modifier une forme ou ouvrir une nouvelle séquence.

4. Produire une réponse. L’image, la lumière ou le son réagit en temps réel. Cette réponse doit être assez rapide pour sembler liée au regard, mais pas forcément instantanée: un délai peut devenir un élément esthétique, à condition d’être choisi et non subi.

Cette dernière étape est souvent sous-estimée. Une œuvre ne devient pas intéressante parce qu’elle réagit vite. Une réponse immédiate et prévisible peut même réduire l’expérience à un jeu de boutons invisible. Si chaque coup d’œil déclenche systématiquement une explosion de couleurs, le visiteur comprend rapidement la règle et cesse d’explorer. L’interaction est alors consommée comme un effet spécial.

Le travail artistique commence lorsque la relation devient moins mécanique. Le regard peut accumuler une tension. Une forme peut résister, disparaître au moment où elle est fixée, ou se transformer seulement après une durée d’observation. Le visiteur ne commande plus directement l’image: il négocie avec elle.

C’est l’un des intérêts de Iris, installation interactive de Scenocosme, le duo formé par Grégory Lasserre et Anaïs met den Ancxt. Le dispositif de suivi oculaire modifie des formes kaléidoscopiques et le son en fonction de l’intensité et du mouvement du regard. L’œuvre ne se contente donc pas d’afficher un curseur correspondant à la position des yeux. Elle traduit l’attention en composition, et cette traduction peut devenir sensible, instable, presque musicale.

La nuance compte. Un curseur est une représentation administrative du regard: il indique une position. Une forme qui se déploie, se fragmente ou change de timbre traduit cette position dans un langage plastique. Dans le premier cas, le visiteur manipule une interface. Dans le second, il entre dans un système de correspondances dont il ne maîtrise pas toutes les conséquences.

L’illusion de la précision: les contraintes très concrètes de l’oculométrie

Les institutions aiment montrer un visiteur immobile devant un écran, les yeux captés par une caméra, puis présenter l’expérience comme une rencontre sans friction entre le corps et la machine. Dans la réalité, l’oculométrie est beaucoup moins docile.

La lumière est une contrainte majeure. Une lumière directe, notamment le soleil, peut perturber la détection et le calibrage. Une obscurité excessive pose d’autres problèmes selon le matériel utilisé. Les dispositifs fixes à infrarouge ont tendance à fonctionner plus efficacement dans des pièces sombres, tandis qu’une webcam ordinaire dépend davantage des conditions de la salle, du contraste et de la stabilité du visage dans le champ.

Un commissaire d’exposition qui installe un dispositif de suivi du regard doit donc penser comme un scénographe, un technicien et un régisseur. La place de la source lumineuse, la distance entre le visiteur et l’écran, la hauteur de la caméra, la circulation dans la pièce et la durée d’utilisation ne sont pas des détails logistiques. Ils déterminent ce que l’œuvre peut réellement faire.

Plusieurs variables peuvent dégrader l’expérience:

• Le calibrage, qui doit être suffisamment simple pour ne pas transformer l’entrée dans l’œuvre en procédure biométrique.
• Les lunettes et les reflets, susceptibles de perturber la détection selon la caméra et l’angle de vue.
• Les mouvements de tête, qui compliquent l’estimation lorsque le visiteur ne reste pas dans une position stable.
• Les clignements et les occultations, qui créent des données incomplètes et parfois des réactions erratiques.
• La lumière ambiante, dont les variations peuvent rendre le comportement du système inégal au fil de la journée.
• La latence, c’est-à-dire le délai entre le regard et la réaction de l’œuvre, qui peut faire croire à une absence de lien.
• La rotation du public, car une installation pensée pour un utilisateur calme peut devenir illisible lorsque plusieurs personnes se pressent devant elle.

Cette liste n’a rien de spectaculaire. Elle ne fera pas vendre une exposition immersive. Elle explique pourtant pourquoi certaines installations semblent fascinantes pendant une démonstration privée et laborieuses dans une salle ouverte au public. Le prototype bénéficie d’un environnement contrôlé; l’œuvre exposée rencontre des enfants, des groupes, des visiteurs pressés, des reflets, des téléphones et une lumière qui change.

Le calibrage est particulièrement révélateur. Il rappelle que le regard n’est pas une donnée transparente, immédiatement disponible pour la machine. Il faut établir une correspondance entre les mouvements des yeux et les coordonnées de l’espace observé. Cette opération peut être discrète, intégrée à la scénographie, ou devenir un moment visible de l’œuvre. Dans le premier cas, l’institution cherche à effacer la technique. Dans le second, elle peut faire du calibrage une scène critique: le visiteur comprend qu’il ne regarde pas gratuitement, qu’un système apprend à le situer.

La difficulté consiste à éviter deux écueils opposés. Un calibrage trop long tue l’élan. Un calibrage trop approximatif produit une interaction incohérente. L’art ne gagne rien à ce que le spectateur fixe une zone pendant plusieurs secondes sans comprendre pourquoi rien ne se passe. Il ne gagne pas davantage à ce que la machine réagisse à des erreurs comme si elles étaient des choix esthétiques.

Antoine Schmitt, Antoine Lame: deux Antoines, deux économies de la création

Le titre d’une installation ou d’un article peut facilement fabriquer une confusion. L’Antoine de l’art numérique n’est pas nécessairement l’Antoine du code. Antoine Schmitt est un artiste qui travaille sur les comportements des systèmes, l’autonomie apparente des formes et les relations entre l’humain et la machine. Antoine Lame est le développeur de GazeTracking, une bibliothèque Python open source destinée à faciliter la détection des pupilles et de la direction du regard à partir d’une simple webcam.

Cette distinction paraît technique. Elle est en réalité politique, parce qu’elle touche à la manière dont on raconte la création numérique. Les institutions aiment attribuer une technologie à une figure identifiable: un artiste visionnaire, un inventeur, un génie solitaire. Le récit devient plus vendable. Il évite surtout de montrer l’écosystème de bibliothèques, de contributions open source, de matériel standard et de compétences invisibles qui rend l’œuvre possible.

GazeTracking, compatible avec Python 3.10 et les versions ultérieures, appartient à cette infrastructure discrète. Une bibliothèque de ce type permet de suivre la position des pupilles et la direction du regard en temps réel avec une webcam. Elle ne transforme pas automatiquement un ordinateur en commissaire d’exposition, pas plus qu’elle ne dispense l’artiste de comprendre les limites de la détection. Mais elle abaisse le seuil d’entrée.

C’est une évolution importante pour les artistes numériques qui ne disposent pas du budget d’un grand musée ou d’un laboratoire de recherche. Un capteur spécialisé peut offrir des performances supérieures, mais une webcam et une bibliothèque open source rendent les premiers essais plus accessibles. L’artiste peut prototyper une œuvre, tester une relation entre regard et mouvement, mesurer la latence, puis décider si l’investissement matériel est justifié.

Cette démocratisation a cependant son propre paradoxe. L’open source réduit le coût d’accès à la technologie, mais il ne supprime ni le temps de développement ni les compétences nécessaires. Il faut comprendre le traitement d’image, la gestion des erreurs, la scénographie, la maintenance et l’expérience du public. Un outil disponible gratuitement n’est pas un outil sans coût. La rente se déplace: elle ne se trouve plus forcément dans le logiciel, mais dans l’expertise, le matériel, l’intégration et la capacité à produire une expérience présentable.

La question n’est donc pas seulement celle de l’accessibilité technique. Elle concerne aussi la propriété intellectuelle, la maintenance et la transmission des savoirs. Une installation interactive peut être très visible au soir du vernissage et devenir inutilisable quelques mois plus tard si personne ne sait remplacer une caméra, ajuster un paramètre ou reprendre le code.

La conservation de l’art numérique reste souvent la partie la moins photogénique du projet. Une œuvre fondée sur l’oculométrie dépend d’un environnement: système d’exploitation, bibliothèque, caméra, écran, éclairage, distance et parfois navigateur. La restaurer ne consiste pas toujours à retrouver les mêmes composants. Il faut préserver la logique de l’interaction, ce qui oblige à documenter les choix de l’artiste et les tolérances du système.

Quand le regard devient un matériau esthétique

Le regard est une matière étrange pour un artiste. Il est invisible, mais il produit des effets. Il est volontaire, mais largement automatique. Il peut se concentrer sur un détail, dériver vers une lumière périphérique, revenir à une forme déjà connue. L’œil ne se comporte pas comme une souris: il explore avant même que le visiteur ait décidé d’agir.

Cette différence ouvre un espace critique. Dans une œuvre interactive classique, le geste est souvent explicite: toucher, déplacer, appuyer. Avec l’oculométrie, l’action peut précéder la décision consciente. Le visiteur regarde une zone parce qu’elle l’attire; le système réagit; la réaction modifie à son tour ce qu’il regarde. Une boucle se forme entre l’attention humaine et le comportement de la machine.

Ce circuit est particulièrement fertile pour l’art génératif. L’image n’est plus entièrement précomposée, mais elle n’est pas non plus libre. Elle évolue selon des règles et selon les données produites par le public. Le regard devient un paramètre parmi d’autres: durée de fixation, direction, vitesse de déplacement, alternance entre plusieurs zones. L’artiste écrit les conditions de cette transformation sans nécessairement déterminer chaque résultat.

Il y a là une forme de partage du contrôle, mais certainement pas une disparition de l’auteur. Le système reste orienté par un choix de paramètres. Décider qu’un regard prolongé déclenche une disparition plutôt qu’une apparition est déjà une position esthétique. Faire dépendre le son de la vitesse des déplacements oculaires, plutôt que de leur direction, produit une autre conception du spectateur. L’interactivité ne neutralise pas le pouvoir de l’artiste; elle le rend moins visible.

Les installations de Scenocosme jouent sur cette zone de traduction. Dans Iris, les formes kaléidoscopiques et le son sont modifiés par l’intensité et le mouvement du regard. Le visiteur n’est donc pas seulement placé devant une image réactive. Il est pris dans un dispositif où l’attention transforme la scène et où la scène reconfigure l’attention.

Le terme d’immersion devient alors plus précis. Être immergé ne signifie pas forcément être encerclé par des projections monumentales. On peut être immergé dans une relation de rétroaction: ce que je regarde modifie l’œuvre, et cette modification influence ce que je regarderai ensuite. Le dispositif n’a pas besoin de multiplier les écrans pour produire une expérience profonde. Il doit comprendre la qualité de la relation qu’il fabrique.

À l’inverse, une immense salle de projection peut rester parfaitement passive. Elle impressionne, elle enveloppe, elle génère des images spectaculaires; elle ne demande parfois au visiteur qu’une présence docile. C’est ici que le vocabulaire institutionnel se fissure. L’exposition parle d’expérience participative, mais le public n’a aucun rôle dans la construction de l’œuvre. Il est la condition de l’ambiance, pas son agent.

Le regard capté: l’angle mort des discours éthiques

Le discours sur l’art interactif insiste volontiers sur la sensibilité, la rencontre et la participation. Il parle moins volontiers de la donnée produite par le corps du visiteur. Pourtant, dès qu’un système observe une pupille, estime une direction et conserve éventuellement des informations sur le comportement, une question économique apparaît: qui bénéficie de cette captation?

Dans un projet artistique, les données peuvent être utilisées uniquement pour produire la réaction en temps réel, sans stockage durable. Mais cette limite doit être pensée et expliquée. La différence entre un signal éphémère qui contrôle une animation et une trace enregistrée des comportements du public est considérable. La première relève du fonctionnement de l’œuvre; la seconde peut devenir une ressource exploitable.

L’institution qui revendique une démarche éthique ne peut pas se contenter d’un vocabulaire rassurant. Elle doit préciser ce que le dispositif observe, ce qu’il conserve, ce qu’il transmet et ce qui disparaît à la fin de l’expérience. Sinon, l’interactivité devient une forme de greenwashing culturel appliqué aux données: on affiche une promesse de responsabilité, tandis que la chaîne technique reste opaque.

Le problème ne se limite pas à la surveillance. Il concerne aussi les normes implicites du visiteur idéal. Que se passe-t-il si la personne ne peut pas maintenir sa tête dans la position attendue? Si ses lunettes perturbent la détection? Si elle détourne volontairement le regard? Si elle ne souhaite pas participer? Une œuvre qui dépend de l’oculométrie doit accepter que certains regards échappent au système.

Cette résistance peut même devenir une ressource artistique. Le mauvais calibrage, l’absence de réaction ou l’impossibilité de suivre correctement un regard ne sont pas toujours de simples défauts à dissimuler. Ils peuvent révéler le caractère construit de la relation homme-machine. Mais il faut que cette ambiguïté soit pensée. Sinon, le dysfonctionnement ne produit pas une critique; il produit seulement une file d’attente agacée devant un écran.

L’accessibilité mérite la même attention. Une œuvre qui exige une posture précise, une distance constante ou une fixation prolongée peut exclure des publics entiers. Il ne suffit pas de placer un fauteuil près du dispositif et de déclarer l’espace inclusif. La création interactive doit prévoir plusieurs manières d’entrer dans l’œuvre, y compris lorsque le regard ne peut pas être capté de la manière imaginée par le concepteur.

Le progrès d’une installation interactive ne se mesure pas au nombre de capteurs, mais au nombre de relations qu’elle rend possibles sans transformer le public en matière première.

Ce principe remet en cause la course à la sophistication. Un capteur plus précis ne produit pas nécessairement une œuvre plus juste. Une interface plus fluide ne garantit pas une expérience plus riche. La technologie peut réduire les frictions, mais elle peut aussi les rendre invisibles. Or une part de la force de l’art numérique consiste précisément à montrer les règles qui organisent notre rapport aux machines.

Ce que l’oculométrie change pour l’artiste numérique

Pour un artiste numérique, travailler avec le regard impose de repenser la notion de contrôle. Dans une peinture, la composition est fixée par la surface et le geste. Dans une sculpture numérique, l’artiste peut définir une forme, une lumière, une simulation ou un espace navigable. Dans une installation fondée sur l’eye tracking, il doit prévoir des comportements possibles sans connaître exactement le parcours de chaque visiteur.

Cette incertitude est productive, mais elle demande une écriture particulière. L’artiste ne compose plus seulement des images; il compose des seuils. À partir de combien de temps une fixation devient-elle significative? Quelle différence entre un regard rapide et une attention prolongée? Une zone doit-elle réagir dès qu’elle est observée ou seulement lorsque le visiteur y revient? La réponse n’est jamais purement technique.

Le regard peut également devenir une matière collective. Une installation peut intégrer plusieurs visiteurs, comparer leurs trajectoires ou faire apparaître les différences entre leurs attentions. Mais cette option augmente la complexité et soulève une autre question: l’œuvre met-elle les visiteurs en relation ou transforme-t-elle leur comportement en compétition? Beaucoup de dispositifs contemporains confondent participation et classement, comme si toute interaction devait produire un score.

L’artiste numérique peut choisir la discrétion. Il n’a pas besoin d’annoncer au public que chaque mouvement oculaire influence l’œuvre. Une réaction subtile, presque incertaine, peut produire davantage de réflexion qu’un signal spectaculaire. Le visiteur se demande alors si la transformation vient de son regard, d’un cycle autonome ou d’une erreur du système. Cette hésitation rend sensible la frontière entre agent humain et comportement machinique.

Antoine Schmitt travaille précisément dans cet espace où les systèmes semblent posséder une autonomie propre. Ses œuvres génératives et interactives interrogent les connexions émotionnelles entre l’humain et la machine sans réduire cette relation à une démonstration de puissance informatique. Ce qui compte n’est pas que la machine imite l’humain, mais qu’elle révèle les règles, les dépendances et les projections que nous déposons sur elle.

L’oculométrie peut renforcer cette ambiguïté. Le visiteur croit agir parce qu’il regarde; la machine ne fait pourtant qu’interpréter un signal avec ses propres limites. L’œuvre se construit dans le décalage entre l’intention humaine et le calcul technique. C’est dans ce décalage que se trouve peut-être sa véritable force.

Une technologie à la hauteur de ses contradictions

L’installation interactive fondée sur le regard n’a rien d’un avenir lointain. Les outils existent, les bibliothèques open source rendent les premiers prototypes accessibles et les artistes ont déjà exploré le sujet depuis plusieurs décennies. La nouveauté n’est donc pas le principe. Elle réside dans la manière dont chaque créateur décide d’en faire une expérience plutôt qu’une fonction.

Le risque le plus évident est celui de la démonstration technologique. Une caméra détecte la pupille, une image bouge, le public applaudit: le musée peut alors vendre l’événement comme une preuve de modernité. Mais l’innovation n’est pas une esthétique. Elle ne devient artistique que lorsqu’elle transforme notre perception, notre position de spectateur ou notre compréhension des systèmes qui nous observent.

Le second risque est économique. Une installation interactive peut être coûteuse à produire, difficile à maintenir et dépendante d’un matériel rapidement obsolète. La promesse de démocratisation portée par le logiciel libre est réelle, mais elle ne doit pas masquer les coûts de développement, de régie et de conservation. Le numérique ne supprime pas la matérialité de l’art; il la disperse dans des composants moins visibles.

Le troisième risque est éthique. Si l’institution capture le regard sans expliquer ce qu’elle en fait, elle reproduit les logiques de surveillance qu’elle prétend parfois interroger. Si elle conçoit l’interaction comme une collecte, le visiteur n’est plus un participant mais une source de données. Et si elle refuse de rendre visibles les limites du système, elle transforme ses erreurs en faute du public.

Pourtant, le potentiel reste considérable. Le regard peut devenir un pinceau, mais aussi une contrainte, un révélateur ou un territoire de négociation. Il peut faire entendre la durée de l’attention, perturber la stabilité d’une image, produire une sculpture de lumière ou rendre perceptible le lien fragile entre un corps et une machine.

La bonne installation interactive n’est pas celle qui répond le plus vite. C’est celle qui nous oblige à comprendre ce que signifie répondre. Qui décide du mouvement? Qui interprète le regard? Qui fixe la règle? Qui possède les traces produites par l’expérience? Et pourquoi une institution qui proclame la participation devrait-elle garder pour elle les conditions réelles de cette participation?

Si l’art numérique veut éviter de devenir le simple service après-vente de l’industrie immersive, il devra répondre à ces questions sans se réfugier derrière la nouveauté du dispositif. Sinon, sous prétexte de créer avec le regard, ne fera-t-il pas surtout apprendre aux machines à nous regarder à notre place?