Réalités Immersives. Passthrough en réalité mixte : le défi de la lumière

Passthrough en réalité mixte: le défi de la lumière

Avec le passthrough vidéo, le casque observe la salle à travers ses caméras, reconstruit un flux stéréoscopique, puis y superpose des formes, des textures et des ombres numériques. Si la pièce est trop sombre, l’image se couvre de bruit. Si une source s’allume brutalement, les objets peuvent se déformer ou changer de couleur pendant quelques instants.

C’est un problème de production avant d’être un problème esthétique. Une installation peut être solide sur le moteur 3D, précise dans le suivi spatial et convaincante dans la maquette. Puis l’exposition ouvre ses portes, la lumière varie, un projecteur frappe un mur blanc, une lampe s’éteint entre deux séances: le monde réel cesse d’être un support fiable pour l’œuvre.

Le passthrough en réalité mixte appliqué à une exposition artistique impose donc une discipline particulière. Il faut penser le casque, les caméras, le maillage de la salle et le rendu comme un seul médium. La scénographie n’est plus autour de l’image. Elle participe à sa fabrication.

La mécanique du passthrough: une caméra avant d’être une fenêtre

Le terme est souvent utilisé comme s’il désignait une transparence directe. Ce n’est pas le cas. Dans un dispositif de passthrough vidéo, le visiteur ne regarde pas le monde à travers un verre transparent. Des caméras externes captent l’environnement, puis les écrans du casque affichent cette image devant les yeux.

Cette différence change tout. Elle introduit une chaîne de traitement entre le lieu et le regard: capture, synchronisation, correction, reconstruction de la profondeur, affichage et superposition du contenu virtuel. Même lorsque le résultat paraît immédiat, le réel est déjà passé par plusieurs opérations numériques.

Le passthrough stéréoscopique s’appuie généralement sur deux caméras afin de produire un flux distinct pour chaque œil. Cette organisation reprend le principe de la parallaxe humaine: chaque caméra observe la scène depuis un point légèrement différent, ce qui aide le système à estimer la profondeur. Pour une œuvre installée dans une salle, cette profondeur n’est pas un détail. Elle conditionne la manière dont un objet virtuel se place contre un mur, devant une table ou au-dessus du sol.

Une mauvaise estimation peut produire un décalage discret mais très visible. Une forme semble flotter quelques centimètres trop loin. Une ombre ne touche pas la surface qu’elle devrait toucher. Un volume virtuel traverse légèrement un meuble réel. Le visiteur ne formule pas nécessairement le défaut, mais il le perçoit: l’objet n’a pas le même statut que le reste de la pièce.

La génération du flux doit aussi rester stable dans le temps. Passthrough+ avait été conçu pour produire un rendu stéréoscopique temporellement stable à 72 Hz, avec une contrainte de consommation de 200 mW sur une plateforme Snapdragon 835. Ce type de chiffre rappelle une réalité peu spectaculaire mais déterminante: chaque image est négociée avec le processeur, la batterie et la latence. Le casque ne dispose pas d’une réserve illimitée pour corriger une scène mal éclairée ou recalculer indéfiniment ses surfaces.

Les générations de casques ont ensuite évolué. L’Oculus Quest 2, commercialisé en 2021, utilisait notamment des caméras infrarouges en noir et blanc pour certaines fonctions de perception. L’annonce du Quest Pro, aussi appelé Cambria, en 2022 a marqué l’arrivée du passthrough couleur dans la gamme professionnelle de Meta. Les casques couleur plus récents ont amélioré le rendu perçu, mais ils n’ont pas supprimé la dépendance à la lumière.

Dans une exposition en passthrough, l’éclairage n’est pas le décor de l’œuvre: c’est l’une de ses entrées techniques.

Pour l’artiste, cela signifie que l’intégration passthrough dans un casque de réalité virtuelle ne commence pas par le choix d’un effet visuel. Elle commence par une question plus sèche: que voient les caméras, et dans quelles conditions?

La luminosité ne produit pas seulement une image plus claire

Une pièce sombre peut sembler intéressante pour une installation immersive. Elle réduit les distractions, concentre le visiteur sur les éléments projetés et donne parfois au numérique une place plus nette. Pour les caméras du passthrough, elle pose pourtant une difficulté directe.

Les caméras ont besoin de lumière pour générer une image exploitable. Lorsque le niveau lumineux baisse, le flux devient bruité et granuleux. Les surfaces perdent leur texture. Les contours sont moins propres. Les zones uniformes, comme un mur peint ou un sol sombre, peuvent se transformer en aplats instables parcourus de parasites.

Le problème ne se limite pas à la qualité visuelle du fond. Le système utilise ce fond pour comprendre l’espace. Une image dégradée complique l’identification des surfaces et des repères. La superposition virtuelle peut alors paraître moins stable, surtout dans les zones où le dispositif doit distinguer un bord, une profondeur ou un changement de plan.

Dans une exposition, plusieurs éléments rendent la situation plus délicate:

• les murs noirs ou très mats offrent peu de détails visuels aux caméras;
• les zones faiblement éclairées produisent davantage de grain dans le flux;
• les surfaces vitrées et réfléchissantes compliquent la lecture de la scène;
• les projecteurs très directionnels créent des contrastes forts entre une zone lisible et une zone presque absente;
• les éclairages décoratifs peuvent changer rapidement lorsque le visiteur déclenche une interaction.

Il serait tentant de répondre par une augmentation générale de la luminosité. Ce serait une solution brutale. Une lumière plus forte peut améliorer la capture, mais elle modifie aussi la perception de l’œuvre, les couleurs du décor et la place du contenu virtuel. Une installation pensée pour un environnement sombre ne devient pas automatiquement meilleure lorsqu’on l’éclaire comme une salle de réunion.

Le travail consiste plutôt à répartir la lumière. Il faut donner aux caméras assez d’informations pour lire la pièce, sans noyer le contenu numérique ni produire d’ombres physiques contradictoires. Un mur peut rester sombre pour le public tout en recevant une lumière discrète, suffisante pour conserver une texture et une limite détectables. Une zone d’interaction peut être éclairée de manière régulière, tandis que les éléments purement contemplatifs restent plus bas dans la hiérarchie lumineuse.

Les valeurs exactes ne peuvent pas être transposées d’un casque à l’autre comme une norme universelle. La sensibilité des caméras, le traitement de l’image, la résolution du flux et le maillage spatial varient selon le matériel. Une scénographie conçue pour un casque couleur récent ne doit pas être supposée compatible avec un modèle plus ancien simplement parce que les deux proposent un mode de réalité mixte.

Le premier rendu à observer est celui de la salle

Avant de régler les matériaux virtuels, l’équipe peut examiner plusieurs zones du lieu dans le flux du casque:

• un mur clair et un mur sombre;
• le sol, notamment s’il est brillant ou couvert d’un motif régulier;
• les angles entre deux surfaces;
• les objets métalliques, transparents ou réfléchissants;
• les espaces situés à proximité d’une source lumineuse;
• les passages entre une zone fortement éclairée et une zone basse lumière.

Ce n’est pas encore une répétition artistique. C’est une lecture du médium. Elle permet de savoir quelles parties du lieu seront fiables comme supports, lesquelles devront être renforcées par le rendu et lesquelles devront être évitées.

Quand l’éclairage trahit la réalité

Les variations brutales sont plus problématiques qu’une lumière faible mais constante. Dans une pièce sombre, le système peut produire un flux dégradé. Lorsqu’une lampe s’allume ou s’éteint soudainement, il doit en plus réinterpréter la scène. Cette transition peut provoquer une distorsion visuelle des objets perçus dans le passthrough et des sauts de couleur.

La scène réelle n’a pas changé de forme, mais l’image du casque, elle, peut se réorganiser. Un meuble paraît se déplacer légèrement. Un bord devient instable. Une surface blanche prend une teinte différente. Pendant ce court moment, les objets numériques continuent parfois leur animation avec leur propre continuité. Le réel saute, le virtuel avance. C’est ce décalage temporel qui rend l’artefact particulièrement visible.

La lumière pulsée, les effets stroboscopiques et les transitions programmées sont donc à traiter avec prudence. Une variation qui fonctionne dans une projection classique ne produit pas nécessairement le même résultat dans une exposition hybride passthrough. Le visiteur ne reçoit pas une image unique: il reçoit un assemblage entre une capture du lieu et un rendu calculé.

Le risque est encore plus grand lorsqu’une œuvre dépend de l’alignement précis entre un élément réel et un élément virtuel. Une ligne numérique doit prolonger une fissure du mur. Une structure virtuelle doit s’appuyer sur une table. Une animation doit suivre l’encadrement d’une porte. Si l’éclairage modifie temporairement la lecture des contours, la contrainte spatiale devient visible comme contrainte technique.

Cela ne veut pas dire qu’il faut neutraliser toute variation. Le changement peut faire partie de la composition. Mais il doit être décidé comme un paramètre de rendu, pas laissé au hasard d’un interrupteur ou d’un projecteur automatique.

Cette table ne remplace pas une validation sur le casque utilisé. Elle sert à déplacer le regard: le défaut ne vient pas toujours du modèle 3D. Il peut venir de la manière dont la salle est captée.

Relighting: faire réagir le virtuel au monde physique

Une œuvre de réalité mixte convaincante ne se contente pas de poser un objet numérique sur une image vidéo. Elle doit donner l’impression que cet objet occupe effectivement la salle. Pour cela, la lumière et les ombres virtuelles doivent répondre, au moins partiellement, au maillage du monde réel.

Les techniques de relighting permettent de faire réagir les ombres et les réflexions virtuelles avec les surfaces physiques identifiées par le système. Un volume numérique placé près d’un mur peut donc produire une ombre qui suit le plan de cette surface. Une forme brillante peut recevoir une variation qui tient compte de son environnement. La scène cesse d’être une simple image de fond; elle devient une structure avec laquelle le rendu négocie.

Le mot négocier est important. Dans une installation, il est rarement possible de reconstruire toute la lumière réelle avec une précision parfaite. Les caméras ne donnent pas toujours une information complète sur les sources lumineuses, leur intensité ou la matière des surfaces. L’artiste travaille donc avec des approximations contrôlées.

Une première méthode consiste à limiter l’ambition du matériau. Un objet virtuel très réfléchissant exposé dans une salle aux sources multiples révèle immédiatement les incohérences. Son reflet ne correspond pas au lieu. Sa couleur semble indépendante du mur voisin. Une matière plus mate, avec un contraste maîtrisé, peut être moins spectaculaire sur la fiche de projet mais beaucoup plus solide dans l’espace.

Une deuxième méthode consiste à faire de l’ombre un élément graphique plutôt qu’une imitation physique. Au lieu de promettre une copie exacte de la lumière, le rendu peut produire une ombre simplifiée, suffisamment cohérente pour donner un poids au volume. Une bordure plus douce, une densité limitée ou une teinte légèrement colorée peuvent mieux résister aux changements de la salle qu’un éclairage réaliste poussé jusqu’à ses limites.

Une troisième méthode consiste à choisir les surfaces d’ancrage. Le sol et les murs ne sont pas équivalents. Un sol sombre et brillant peut donner une intégration instable. Un mur mat et légèrement éclairé peut offrir une base plus fiable. Une œuvre n’a pas besoin d’investir toute la pièce. Elle peut concentrer son interaction sur deux ou trois plans bien compris.

C’est ici que l’itération prend le relais de la promesse technologique. Le prototype doit être observé sous plusieurs conditions: lumière constante, baisse de luminosité, variation douce, passage d’une zone à l’autre. Il faut regarder l’objet virtuel, mais aussi tout ce qui l’entoure. Le bord d’une table. Le contact avec le sol. La trace de l’ombre. Le moment où le visiteur tourne la tête vers une fenêtre ou une source lumineuse.

Le rendu doit accepter la contrainte

Dans les logiciels 3D temps réel, l’itération pousse naturellement vers davantage de détails: matériau plus brillant, ombre plus précise, animation plus dense, effets de particules plus fins. En réalité mixte, chaque ajout doit être confronté à la capture du lieu.

Un effet de glitch peut masquer une instabilité pendant un instant, mais il ne corrige pas une mauvaise relation spatiale. Une texture détaillée ne compense pas un flux passthrough granuleux. Une animation complexe ne rend pas plus crédible un objet qui traverse visuellement le mur.

La contrainte devient alors un outil de direction artistique:

• réduire la brillance pour stabiliser la relation aux sources réelles;
• simplifier les ombres afin de limiter les contradictions;
• réserver les détails aux zones suffisamment éclairées;
• ralentir une animation lorsque le suivi spatial devient moins lisible;
• utiliser une forme qui tolère un léger décalage plutôt qu’un contour qui exige un alignement parfait.

Cette approche ne diminue pas l’ambition de l’œuvre. Elle la rend compatible avec son médium réel. Le casque n’est pas un projecteur invisible posé sur une scénographie neutre. C’est un appareil de capture soumis à la lumière, à la consommation et au temps de calcul.

Construire une scénographie qui aide les capteurs

La scénographie d’une exposition en réalité mixte doit être conçue avec les capteurs, et non après eux. Le décor fournit au système des indices de profondeur, des textures et des contrastes. Il peut faciliter la lecture du lieu ou la rendre plus fragile.

Les surfaces totalement uniformes sont difficiles à exploiter lorsqu’elles sont plongées dans la pénombre. À l’inverse, un motif répétitif ou très régulier peut compliquer l’identification des déplacements. Entre les deux, des variations de matière et des limites clairement perceptibles donnent davantage de prise au suivi.

Les passages sont particulièrement sensibles. Un visiteur qui quitte une zone éclairée pour entrer dans un espace sombre impose au système une adaptation rapide. Si l’œuvre déclenche à cet endroit un événement précis, le moment de transition peut devenir le point faible de toute l’installation. Il est souvent plus efficace de déplacer l’interaction quelques pas plus loin, dans une zone où l’image s’est stabilisée.

La lumière du lieu doit aussi être pensée sur la durée. Une exposition n’est pas seulement visitée pendant la répétition technique. Les portes s’ouvrent, les visiteurs se regroupent, les dispositifs de sécurité fonctionnent, le personnel intervient. Une lampe peut être orientée différemment. Un rideau peut rester ouvert. Une salle voisine peut apporter une lumière qui n’existait pas dans le plan initial.

Il faut donc distinguer la lumière prévue et la lumière effectivement maintenue. Une scénographie robuste ne dépend pas d’un alignement fragile entre une source et un objet. Elle conserve une marge de fonctionnement. Le contenu doit rester compréhensible lorsque la salle n’est pas parfaitement identique à la maquette.

Pour une œuvre destinée à plusieurs lieux, cette marge est encore plus nécessaire. Les dimensions de la salle, les matériaux des murs et la couleur ambiante changent. Un ancrage conçu pour une galerie blanche ne se comporte pas de la même manière dans un espace aux cloisons sombres. Le projet peut prévoir plusieurs profils de luminosité, des intensités de matériaux différentes ou des positions d’installation alternatives.

La réalité mixte n’est pas seulement une technique de superposition. C’est une relation entre un dispositif et un lieu. Plus cette relation est précise, plus le lieu doit être considéré comme une partie variable de l’œuvre.

Ce que le passthrough change dans le geste artistique

Le passage de la réalité virtuelle fermée à la réalité mixte modifie le rôle du décor. Dans une expérience entièrement virtuelle, l’artiste contrôle l’éclairage, les textures, les distances et les comportements de la scène. Dans une œuvre en passthrough, une partie de ces paramètres reste extérieure au fichier de production.

Le monde physique apporte ses écarts. La lumière n’est jamais totalement neutre. Les murs ne répondent pas tous de la même manière. Le flux vidéo ajoute du bruit et des corrections. Le visiteur lui-même devient une variable: il approche une surface, tourne vers une lampe, masque une zone avec son corps.

Cette perte de contrôle n’est pas forcément un défaut. Elle oblige à concevoir autrement. L’artiste peut renoncer à l’illusion d’un objet parfaitement autonome et travailler sur la friction entre capture et rendu. Un décalage léger peut devenir un principe visuel. Une ombre simplifiée peut signaler la présence du calcul. Un changement de couleur peut être intégré à l’animation au lieu d’être traité comme un accident.

Mais cette liberté ne fonctionne que si les limites matérielles sont connues. Il faut d’abord distinguer le choix de l’œuvre et l’échec du dispositif. Un glitch volontaire a une structure, un rythme, une place. Un bruit numérique causé par une pièce trop sombre arrive au mauvais moment, dégrade toute la scène et se répète sans logique. Les deux peuvent se ressembler à l’écran. Ils ne racontent pas la même chose.

La réalité mixte devient un médium lorsque l’artiste compose avec la capture, pas lorsqu’il essaie de la faire disparaître.

Le défi de la lumière est donc aussi un défi d’écriture visuelle. Le code définit les règles. Le rendu les matérialise. La scénographie fournit les conditions. Le casque tranche, image après image, entre ce qui reste lisible et ce qui se perd dans le bruit.

Une exposition hybride se règle comme une œuvre en mouvement

Pour créer une œuvre en réalité mixte fiable, il ne suffit pas de valider l’expérience dans un environnement idéal. Le réglage doit suivre les étapes de production: lecture du lieu, capture des surfaces, première intégration, travail des matières, gestion des ombres, puis observation des variations lumineuses.

Ce processus peut sembler moins spectaculaire qu’une démonstration de casque. Il est pourtant au cœur de la qualité de l’exposition. Le visiteur ne vient pas admirer la performance des caméras. Il vient rencontrer une forme qui doit tenir dans l’espace, malgré les limites de l’appareil.

Le passthrough vidéo apporte une présence particulière au réel, mais cette présence est fabriquée par des capteurs. La lumière lui donne sa matière et ses défauts. Une salle trop sombre ajoute du grain. Une variation soudaine déforme les objets. Une source mal placée désaccorde les ombres. À l’inverse, une scénographie pensée avec le flux peut donner au contenu numérique une profondeur qui ne dépend pas d’un réalisme absolu.

L’exposition artistique en passthrough ne consiste donc pas à rendre le virtuel invisible. Elle consiste à organiser la rencontre entre deux images: celle que les caméras peuvent capter et celle que l’artiste choisit de calculer. C’est dans cet écart, réglé par l’itération, que la réalité mixte trouve sa forme propre.