Technologies Créatives. Gaussian splatting : l'expérience immersive de Thomas

Gaussian splatting: l’expérience immersive de Thomas

À 1080p, le Gaussian Splatting peut dépasser 100 images par seconde. Cette donnée résume son intérêt pour l’art numérique: la technologie ne cherche pas seulement à produire une scène 3D détaillée, mais à maintenir une fréquence d’affichage compatible avec une interaction immédiate, une installation immersive ou un dispositif de réalité virtuelle.

Le terme recouvre toutefois plusieurs usages. Le 3D Gaussian Splatting n’est ni un simple effet visuel, ni une nouvelle variante de la photogrammétrie polygonale. Il s’agit d’une représentation volumétrique fondée sur des millions d’ellipsoïdes semi-transparents, capables de restituer une scène avec un niveau de fidélité élevé sans imposer le même flux de calcul qu’un rendu neuronal traditionnel au moment de l’affichage.

Le titre de cette analyse mentionne une expérience immersive de Thomas. Les éléments disponibles ne permettent pas d’identifier une œuvre précise ni un artiste correspondant. Thomas Leimkühler est l’un des coauteurs de la publication scientifique fondatrice, avec Bernhard Kerbl, Georgios Kopanas et George Drettakis. L’analyse porte donc sur la technologie elle-même et sur ses conséquences pour la création numérique, pas sur une biographie ou une installation attribuée sans preuve.

Au-delà des polygones: la rupture technologique du 3DGS

La plupart des environnements 3D sont construits autour d’un maillage polygonal. Des sommets définissent une géométrie, des faces organisent la surface, puis des textures et des matériaux complètent le modèle. Ce pipeline reste efficace pour les objets conçus directement en trois dimensions. Il devient plus contraignant lorsqu’il faut capturer un espace existant avec ses irrégularités, ses transparences, ses détails de matière et ses conditions de lumière.

La photogrammétrie répond à ce problème en reconstruisant une scène à partir d’images. Elle produit généralement un nuage de points, puis un maillage texturé. Cette conversion ajoute des étapes et introduit des risques: surfaces mal fermées, textures étirées, zones sans information, géométrie instable autour des éléments fins. Pour une visualisation fixe, ces défauts peuvent rester acceptables. Dans une œuvre interactive, ils se transforment en friction visible.

Le Gaussian Splatting prend une autre direction. Au lieu de reconstruire systématiquement une surface polygonale, il représente la scène par une distribution de primitives volumétriques. Chaque primitive correspond à une gaussienne tridimensionnelle, matérialisée par un ellipsoïde semi-transparent. Sa définition repose notamment sur plusieurs paramètres:

• une position dans l’espace;
• une couleur;
• une opacité;
• une taille;
• une covariance anisotrope, qui décrit son orientation et son étirement.

Cette structure permet de conserver l’information issue de la capture sans la forcer immédiatement dans le langage du maillage. La scène n’est pas décrite comme un ensemble de surfaces parfaitement fermées. Elle est décrite comme un champ de contributions visuelles organisées dans l’espace.

Pour l’art numérique, la différence est opérationnelle. Un artiste peut capturer une architecture, un décor, une sculpture ou un fragment de lieu, puis travailler sur la manière dont cet ensemble est rendu depuis différents points de vue. Le modèle devient moins un objet à fabriquer qu’un volume à explorer et à paramétrer.

Le gain du Gaussian Splatting ne tient pas à une image plus spectaculaire. Il tient à la réduction du nombre d’étapes entre la capture d’un lieu et son affichage interactif.

La publication de référence, parue en juillet 2023 sous le titre 3D Gaussian Splatting for Real-Time Radiance Field Rendering, a formalisé cette approche dans le contexte du rendu de champs de radiance. Les auteurs sont associés à l’Inria et au Max Planck Institute. Le projet a également bénéficié du financement ERC Advanced Grant FUNGRAPH, numéro 788065, ainsi que de ressources de calcul du GENCI–IDRIS et de l’infrastructure OPAL de l’Université Côte d’Azur.

La nouveauté n’est donc pas seulement algorithmique. Elle concerne aussi le flux de production. La représentation réduit la dépendance à une reconstruction géométrique classique et rend envisageables des usages plus directs dans les moteurs 3D, les navigateurs et les applications de capture.

L’architecture des ellipsoïdes: comprendre la structure des Gaussiennes

Le terme « gaussienne » peut donner l’impression d’un simple point coloré. Ce serait une lecture trop pauvre. Dans le 3DGS, chaque élément possède une extension spatiale et une distribution d’opacité. L’ellipsoïde n’est pas nécessairement sphérique. Sa covariance anisotrope lui permet d’être allongé, aplati ou orienté selon la structure locale de la scène.

Cette propriété est déterminante pour restituer les détails. Une zone visuelle complexe ne doit pas être compressée dans un volume uniforme. Les primitives peuvent se répartir autour des surfaces et des variations de lumière. Leur accumulation produit une image synthétisée depuis le point de vue de la caméra.

Le processus peut être décrit en trois niveaux:

1. Capture de la scène. Un ensemble d’images fournit les observations nécessaires à la reconstruction. La qualité de cette phase conditionne directement la densité et la stabilité de la représentation finale.

2. Optimisation des primitives. Les paramètres des gaussiennes sont ajustés pour rapprocher les vues reconstruites des images de référence. La position, la couleur, l’opacité et la forme des ellipsoïdes évoluent au cours de cette étape.

3. Synthèse de vue. Le système projette les gaussiennes dans l’image et compose leurs contributions selon la position de la caméra. Le rendu final ne repose pas obligatoirement sur un réseau neuronal lourd à chaque image.

Cette organisation explique pourquoi le Gaussian Splatting est souvent comparé aux NeRF sans leur être identique. Les NeRF utilisent un réseau neuronal pour représenter une scène et estimer sa radiance selon les coordonnées et les directions d’observation. Le 3DGS stocke directement une collection de primitives explicites, optimisées pour la synthèse de vue.

Ce tableau ne doit pas être lu comme un classement. Les trois méthodes ne répondent pas exactement au même besoin. Une œuvre qui exige une animation précise d’un personnage, une simulation physique ou une déformation contrôlée restera plus facile à gérer avec une géométrie polygonale. À l’inverse, une installation qui repose sur l’exploration d’un lieu capturé peut bénéficier de la logique volumétrique du 3DGS.

Le choix dépend donc du niveau de contrôle recherché. Le Gaussian Splatting est performant pour restituer une scène observée. Il n’offre pas automatiquement les mêmes garanties pour modifier cette scène comme un objet entièrement paramétrique.

Performance et fluidité: le cap des 100 images par seconde

Le chiffre de 100 images par seconde en 1080p constitue le principal indicateur de rupture. Il ne signifie pas que toute scène, sur tout matériel, atteindra systématiquement cette fréquence. Il indique que la méthode a été conçue pour une synthèse de vue en temps réel à un niveau de performance qui dépasse le cadre de la visualisation fixe.

Dans une exposition immersive, la fréquence d’affichage n’est pas un détail technique secondaire. Elle détermine la qualité du déplacement, la stabilité de la caméra et la capacité du visiteur à modifier son point de vue sans rupture perceptible. Une scène très détaillée mais affichée avec une fréquence faible crée une dette d’interaction. Le contenu existe, mais l’interface ne suit pas.

Pour évaluer une intégration, quatre indicateurs sont plus utiles qu’une démonstration vidéo:

• La fréquence d’images stable. Une pointe à 100 images par seconde ne suffit pas. L’installation doit maintenir une cadence prévisible lorsque la caméra traverse les zones les plus denses.
• Le temps de chargement. La représentation peut contenir des millions de gaussiennes. Le poids des données, leur compression et leur transfert vers le dispositif déterminent l’accès réel à l’œuvre.
• La mémoire disponible. Une scène volumineuse peut fonctionner sur une station de travail et échouer sur un casque autonome ou un appareil mobile.
• La latence d’interaction. Dans un dispositif immersif, la qualité dépend du délai entre un mouvement et la mise à jour de l’image, pas seulement de la résolution obtenue.

La performance dépend également de la densité de la scène. Une architecture peu chargée ne sollicite pas le même budget de calcul qu’un décor comportant des feuillages, des surfaces brillantes, des éléments fins et des zones semi-transparentes. Les gaussiennes sont efficaces, mais elles ne suppriment pas les contraintes de bande passante, de mémoire et de tri des primitives.

L’artiste ou le commissaire d’exposition doit donc distinguer deux objectifs:

1. obtenir une représentation visuellement fidèle;

2. maintenir un flux interactif exploitable dans les conditions de diffusion prévues.

Ces objectifs peuvent entrer en tension. Une densité plus élevée améliore certains détails, mais augmente le volume de données et le coût de traitement. Une simplification excessive accélère le rendu, mais peut dégrader la lecture des textures et la cohérence des contours.

Dans un contexte de production, le bon indicateur n’est pas le nombre maximal d’images obtenu dans une scène de démonstration. C’est le niveau de performance conservé sur le matériel cible, avec la résolution, le champ de vision, les contrôleurs et les contraintes d’exploitation de l’exposition.

De la recherche à la création: l’adoption par les outils professionnels

Le délai entre la publication de juillet 2023 et l’intégration dans des outils accessibles a été court. Des applications mobiles et web comme Polycam, KIRI Engine ou Spline ont contribué à rendre la capture et la visualisation plus accessibles. Des environnements professionnels ont également commencé à intégrer cette représentation, notamment V-Ray 7.

Cette diffusion modifie le profil du créateur capable d’utiliser le Gaussian Splatting. Il n’est plus nécessaire de disposer immédiatement d’une équipe spécialisée en vision par ordinateur pour produire un premier prototype. La barrière se déplace. Elle ne disparaît pas.

Le problème n’est plus uniquement l’accès à l’algorithme. Il devient nécessaire de maîtriser la qualité de capture, la préparation des données, le choix du dispositif de rendu et la cohérence entre les différentes étapes. L’outil simplifie l’entrée dans le pipeline, mais ne garantit ni la direction artistique ni la robustesse de l’installation.

Un flux de production réaliste comprend généralement les opérations suivantes:

• préparer le lieu ou l’objet à capturer afin de limiter les mouvements parasites;
• produire un ensemble d’images suffisamment cohérent pour reconstruire les volumes observés;
• générer les primitives gaussiennes et contrôler leur densité;
• vérifier les artefacts sur les zones mobiles, réfléchissantes ou peu documentées;
• exporter la scène vers l’environnement de présentation;
• mesurer la fréquence d’affichage sur le matériel final;
• prévoir un mode dégradé si le chargement ou le rendu dépasse le budget disponible.

La dernière étape est souvent négligée. Une œuvre numérique exposée n’est pas un fichier autonome. C’est un système. Elle dépend d’un ordinateur, d’un écran ou d’un casque, d’un réseau éventuel, d’un mécanisme de lancement, d’un protocole de maintenance et d’une procédure de reprise après incident.

Le Gaussian Splatting ajoute une question spécifique: que se passe-t-il lorsque le visiteur sort de la trajectoire prévue? La représentation est particulièrement adaptée à l’exploration, mais une vue imprévue peut révéler les limites de la capture. Les zones non observées peuvent produire des trous, des étirements ou des accumulations artificielles de matière visuelle.

Ce point distingue une démonstration technique d’une œuvre installée. Dans une démonstration, le parcours de caméra est généralement contrôlé. Dans une exposition, le public introduit de la variance. Le système doit absorber cette variance ou organiser l’interaction pour la limiter.

Une scène capturée n’est pas automatiquement une œuvre interactive. Entre les deux, il faut gérer les données, les points de vue, la latence et les conditions de maintenance.

Pour les artistes, cette contrainte peut devenir un choix de conception. Une œuvre n’a pas besoin de masquer toutes ses limites. Elle peut intégrer la discontinuité, le changement de densité ou la déformation des volumes dans son vocabulaire visuel. Mais cette décision doit être explicite. Un artefact subi est un défaut de production; un artefact maîtrisé devient un paramètre de mise en scène.

Le Gaussian Splatting dans l’art numérique: un changement de flux

La recherche sur le 3DGS a un effet direct sur la création numérique: elle rapproche la capture du rendu. Avec un maillage classique, le créateur passe souvent par une série d’étapes de nettoyage, de retopologie, de dépliage UV, de texturage et d’optimisation. Toutes restent pertinentes selon le projet. Mais elles ne constituent plus l’unique chemin pour rendre un lieu ou une scène navigable.

Dans le contexte de l’art numérique, trois usages se détachent.

La capture d’espaces existants

Un musée, un atelier, une architecture temporaire ou un décor d’exposition peuvent être enregistrés sous une forme explorable. Le résultat ne remplace pas nécessairement la visite physique. Il peut servir d’archive, de couche documentaire ou de scène pour une œuvre augmentée.

La précision visuelle est alors un enjeu de conservation. Une capture peut garder la trace d’un agencement appelé à disparaître. Elle peut aussi documenter une œuvre éphémère sans la convertir entièrement en modèle polygonal.

La transformation de scènes réelles

Le 3DGS peut servir de base à une intervention artistique. La scène capturée devient un volume sur lequel l’artiste applique des modifications de couleur, de densité, d’opacité ou de point de vue. Le logiciel ne sert plus uniquement à reproduire un lieu. Il devient l’interface de sa déformation.

Cette approche se rapproche du code créatif. Les paramètres des primitives peuvent être traités comme des variables: intensité, taille, orientation, transparence, distribution spatiale. Un programme peut ensuite appliquer des règles à une partie de la scène ou à l’ensemble du volume.

La création d’installations immersives

La synthèse de vue en temps réel est adaptée aux dispositifs où le visiteur change de position. Écran panoramique, projection, casque de réalité virtuelle ou expérience interactive: chaque support impose un budget distinct, mais la logique reste la même. La caméra devient un instrument de navigation dans une représentation volumétrique.

Le support technique ne définit pas à lui seul l’expérience. Un casque de réalité virtuelle avec une scène très fidèle mais une interaction pauvre reste un dispositif limité. À l’inverse, une représentation moins dense peut être plus efficace si elle répond correctement aux mouvements du public et si son système de navigation est cohérent.

Perspectives immersives: l’intégration du support OpenXR

L’ajout du support OpenXR au printemps 2024 ouvre une piste importante pour la diffusion en réalité virtuelle. OpenXR fournit une couche commune pour les appareils et les environnements immersifs compatibles. Pour le 3DGS, cette intégration réduit potentiellement la fragmentation du déploiement.

Le bénéfice attendu est une meilleure continuité entre le prototype et l’installation. Sans couche commune, un projet peut dépendre d’une combinaison précise de casque, de moteur, de pilote et d’interface. Chaque changement de matériel augmente le coût d’intégration. Avec une interface compatible OpenXR, l’équipe peut viser une architecture plus scalable, même si les écarts de performance entre appareils restent à mesurer.

Le mot « scalable » doit ici être pris au sens technique. Il ne suffit pas de pouvoir lancer la même scène sur plusieurs casques. Il faut maintenir un niveau de qualité acceptable lorsque changent:

• la puissance de calcul;
• la résolution par œil;
• le champ de vision;
• le mode de suivi;
• la mémoire disponible;
• le système de chargement des données;
• les contraintes de sécurité et de maintenance du lieu.

Une stratégie d’intégration solide sépare donc la scène, le moteur de rendu et la couche d’interaction. La scène contient les données gaussiennes. Le moteur assure la synthèse de vue. L’application gère les déplacements, les contrôleurs, les transitions et les règles de visite. Cette séparation facilite les tests et limite la dépendance à une seule configuration matérielle.

Pour une exposition, le déploiement peut être organisé autour de quelques KPI simples:

• fréquence d’affichage minimale maintenue pendant une session;
• temps nécessaire pour charger la scène;
• nombre de redémarrages ou de blocages sur une période d’ouverture;
• consommation mémoire après plusieurs cycles;
• délai de remise en service par un opérateur non spécialiste;
• proportion de la scène accessible sans artefact bloquant.

Ces indicateurs ne remplacent pas l’évaluation artistique. Ils garantissent que l’intention artistique atteint effectivement le public. Une œuvre inaccessible, instable ou trop lente n’est pas sauvée par la sophistication de sa représentation.

Ce que le 3DGS ne résout pas

Le Gaussian Splatting réduit certaines difficultés, mais il ne supprime pas les problèmes fondamentaux de la création immersive. La capture reste sensible aux mouvements du sujet et de l’environnement. Les surfaces réfléchissantes ou transparentes peuvent produire des incohérences. Les angles non documentés limitent la qualité des vues nouvelles. La densité des primitives doit être contrôlée pour éviter un fichier trop lourd ou un rendu irrégulier.

La technologie ne transforme pas non plus automatiquement une scène capturée en objet modifiable. Un artiste qui veut animer précisément une porte, simuler une destruction, appliquer une physique à chaque élément ou isoler proprement tous les volumes devra souvent ajouter d’autres outils. Le 3DGS est efficace pour représenter et afficher. Il n’est pas une solution universelle de modélisation, d’animation et de compositing.

Il faut enfin éviter une confusion entre photoréalisme et qualité artistique. Une scène très fidèle peut rester pauvre en termes de composition, d’interaction ou de narration. Le rôle de la technologie est de déplacer le seuil de faisabilité. Elle ne remplace pas la décision de l’artiste.

Recommandation d’implémentation pour une exposition

Pour un projet de Gaussian Splatting destiné à une exposition, le déploiement devrait commencer par un prototype réduit. Une seule scène, un seul dispositif de diffusion et un parcours d’interaction limité permettent de mesurer les coûts réels avant d’augmenter la densité ou le nombre de points de vue.

La séquence la plus rationnelle est la suivante:

1. Définir le point de vue artistique. La scène doit-elle être observée, parcourue, transformée ou comparée à son état réel? Cette décision détermine la quantité de liberté laissée au visiteur.

2. Capturer avec une contrainte de trajectoire. Une collecte d’images incohérente dégrade le résultat avant même l’étape de rendu.

3. Produire plusieurs niveaux de densité. Une version détaillée peut servir à la station principale; une version allégée peut être destinée aux appareils moins puissants.

4. Tester les vues imprévues. Le parcours libre révèle les défauts invisibles dans une démonstration guidée.

5. Mesurer sur le matériel final. Les performances annoncées ne remplacent pas une mesure dans la configuration exacte de l’exposition.

6. Prévoir la maintenance. Redémarrage automatique, sauvegarde locale, contrôle de température et procédure de remplacement doivent être documentés.

7. Fixer un seuil de sortie. Si la fréquence d’affichage, la latence ou le temps de chargement dépassent le budget défini, il faut réduire la scène ou revoir l’interaction.

Cette méthode évite le piège le plus courant: confondre l’innovation de la représentation avec la maturité du dispositif. Le 3DGS constitue une avancée significative pour la synthèse de vue et la capture de scènes complexes. Son intérêt pour l’art numérique est réel parce qu’il réduit la distance entre le monde observé et l’espace interactif.

La prochaine étape ne consiste pas à remplacer tous les maillages par des gaussiennes. Elle consiste à choisir le bon niveau de représentation pour chaque œuvre. Là où la fidélité d’un lieu et la fluidité de l’exploration dominent, le Gaussian Splatting offre un flux efficace. Là où la déformation, l’animation et la simulation exigent une géométrie contrôlable, le maillage classique conserve son avantage.

Pour une expérience immersive attribuée à Thomas, aucune conclusion sérieuse ne peut être tirée sans identifier l’œuvre et son protocole technique. Pour les créateurs numériques en général, la recommandation est plus nette: commencer par le budget de rendu, les contraintes du public et le matériel cible, puis choisir la représentation. Le Gaussian Splatting devient pertinent lorsque ces trois variables exigent simultanément fidélité, exploration et temps réel.