Technologies Créatives. TouchDesigner en régie : l'installation de Clara

TouchDesigner en régie: l’installation de Clara

Le moindre défaut de synchronisation entre captation, traitement et sortie peut provoquer un décalage visible, une image instable ou une régie impossible à reprendre rapidement.

Dans le cas de l’installation de Clara, TouchDesigner sert de couche d’orchestration. Le logiciel ne se limite pas à générer des formes en temps réel. Il reçoit les données des capteurs, les transforme en paramètres visuels, échange avec d’autres logiciels et transmet les commandes nécessaires à l’environnement technique. La question centrale n’est donc pas seulement de savoir ce que TouchDesigner peut produire. Elle consiste à déterminer comment organiser les flux pour obtenir une œuvre interactive exploitable, maintenable et capable de redémarrer sans intervention quotidienne.

L’architecture nodale au service de l’interactivité

TouchDesigner repose sur une programmation visuelle nodale. Chaque opérateur représente une fonction identifiable: acquisition vidéo, traitement d’image, calcul de données, génération graphique, conversion de signal ou sortie vers un dispositif externe. Les connexions entre opérateurs décrivent le chemin suivi par l’information.

Cette organisation correspond bien aux installations artistiques interactives pour une raison opérationnelle: elle rend visibles les dépendances. Dans un projet classique, une partie de la logique peut être répartie dans plusieurs scripts, bibliothèques et interfaces. Dans TouchDesigner, les flux sont regroupés dans une structure graphique. Cela facilite le diagnostic, à condition que le projet soit construit avec une nomenclature stricte et des blocs clairement séparés.

Pour l’installation de Clara, l’architecture peut être découpée en cinq couches:

• Captation: acquisition des images, des positions et des données de profondeur.
• Interprétation: filtrage, normalisation et conversion des signaux des capteurs.
• Moteur visuel: génération procédurale, composition vidéo et rendu en temps réel.
• Communication: échanges avec les logiciels tiers, les contrôleurs et la régie.
• Sortie et supervision: affichage, éclairage, journalisation des erreurs et redémarrage.

Ce découpage évite de mélanger les responsabilités. Un capteur ne doit pas directement piloter une sortie lumineuse sans passer par une couche d’interprétation. Dans le cas contraire, une variation de signal ou une perte de connexion peut être propagée à toute la chaîne.

Séparer la donnée brute de la donnée artistique

Un capteur de profondeur fournit une information technique. Il peut détecter une distance, une silhouette, une position ou une variation dans l’espace. Cette donnée ne doit pas être utilisée telle quelle pour contrôler une œuvre. Elle doit d’abord être filtrée et ramenée à une échelle cohérente.

Un déplacement mesuré en millimètres peut ainsi devenir:

• une valeur comprise entre 0 et 1 pour contrôler l’intensité lumineuse;
• une position dans un espace tridimensionnel;
• un seuil déclenchant une séquence;
• une vitesse de déplacement influençant la densité d’un motif;
• une zone d’interaction déterminant l’apparition d’un élément visuel.

Cette conversion est essentielle dans une scénographie interactive avec TouchDesigner. Elle permet de dissocier le matériel de la logique artistique. Si une caméra est remplacée par un autre modèle, le moteur visuel ne doit pas être entièrement réécrit. Seule la couche d’adaptation doit évoluer.

Dans une installation interactive, la robustesse vient moins du nombre d’effets que de la séparation stricte entre captation, interprétation et restitution.

La programmation visuelle en temps réel présente un autre avantage: le comportement du système peut être observé pendant son fonctionnement. Les valeurs reçues, les cadences de traitement et les sorties peuvent être affichées séparément. Cette visibilité réduit le temps de diagnostic en régie.

Elle impose toutefois une discipline. Un réseau nodal illisible devient rapidement un point de friction. Les groupes doivent être nommés selon leur fonction. Les paramètres critiques doivent être centralisés. Les valeurs de calibration ne doivent pas être dispersées dans plusieurs opérateurs. Une installation artistique n’est pas un prototype dès lors qu’elle doit être exploitée par une équipe différente de celle qui l’a conçue.

Captation et traitement: intégrer Kinect, LiDAR et caméras de profondeur

TouchDesigner prend en charge plusieurs familles de capteurs utilisés dans les installations interactives: la Kinect Azure de Microsoft, les dispositifs RealSense d’Intel, les caméras ZED de Stereolabs et les scanners LiDAR. Ces équipements ne produisent pas tous le même type de données. Leur intégration doit donc être traitée comme un problème de flux, et non comme une simple question de branchement.

Les différences entre les capteurs

Une caméra de profondeur fournit généralement une information spatiale associée à une image ou à un ensemble de points. Un LiDAR peut produire un nuage de points ou des mesures de distance avec une logique différente. La fréquence d’acquisition, la résolution, le champ de vision et la précision varient selon le matériel et les conditions d’exploitation.

Pour une œuvre visuelle, la précision absolue n’est pas toujours le premier critère. La stabilité du signal peut être plus importante. Un mouvement légèrement moins précis mais régulier donne souvent un résultat plus exploitable qu’une mesure détaillée, mais instable ou bruitée.

Le projet doit donc définir la donnée réellement utile avant de choisir le capteur. Si l’œuvre réagit uniquement à la présence d’un visiteur dans une zone, un nuage de points complet peut être inutile. Si elle repose sur la trajectoire d’un corps dans l’espace, une donnée bidimensionnelle simplifiée peut en revanche produire une interaction trop pauvre.

Le filtrage n’est pas un détail

Les capteurs fournissent des signaux imparfaits. Les variations rapides peuvent venir d’un mouvement réel, mais aussi d’un bruit de mesure. Sans filtrage, l’image réagit de manière nerveuse et l’éclairage peut scintiller. Avec un filtrage trop agressif, l’installation perd sa réactivité.

Il faut régler au minimum:

1. Le seuil de détection, pour distinguer une interaction réelle d’un signal parasite.

2. La zone active, afin d’exclure les espaces qui ne doivent pas influencer l’œuvre.

3. Le lissage, qui réduit les variations brutales mais ajoute un délai.

4. La fréquence de mise à jour, qui doit rester compatible avec la cadence visuelle.

5. Le comportement en cas de perte de données, avec une valeur de repli définie à l’avance.

Cette dernière règle est souvent absente des prototypes. Pourtant, un capteur peut être déconnecté, masqué ou momentanément indisponible. Le système doit savoir quoi faire dans cette situation. Il peut conserver la dernière valeur valide, revenir à un état neutre ou déclencher un mode autonome. Le choix dépend de l’œuvre, mais l’absence de choix constitue un défaut d’architecture.

Calibrer l’espace physique et l’espace numérique

Le capteur observe un volume réel. TouchDesigner travaille dans un espace numérique. La relation entre les deux doit être calibrée. Une position à gauche du champ de captation doit correspondre à une zone définie de l’image ou de la projection. La hauteur et la profondeur doivent également être interprétées de façon cohérente.

Cette calibration ne doit pas être codée uniquement sous forme de valeurs fixes. Dans une installation appelée à être déplacée, le sol, la distance au mur ou l’angle de la caméra peuvent changer. Il est préférable de prévoir une procédure de réglage accessible à la régie:

• affichage des limites du champ capté;
• visualisation des points ou silhouettes reconnus;
• réglage des seuils sans modification du réseau principal;
• sauvegarde d’un profil par configuration d’exposition;
• retour à une calibration de référence.

Le but n’est pas de transformer la régie en interface complexe. Il s’agit de réduire la dépendance à l’équipe de développement. Une œuvre qui exige une intervention de programmation pour chaque déplacement devient difficile à exploiter dans plusieurs lieux.

Communication technique: synchroniser la régie via OSC, DMX et NDI

Une installation interactive ne fonctionne presque jamais dans un environnement isolé. Elle doit dialoguer avec des logiciels de diffusion, des consoles d’éclairage, des systèmes de projection ou d’autres ordinateurs. TouchDesigner prend en charge plusieurs protocoles pour assurer cette circulation.

L’OSC permet d’échanger des paramètres interactifs entre applications. Le MIDI peut servir à transmettre des commandes ou des valeurs de contrôle. NDI facilite la transmission de flux vidéo sur réseau. Spout, sous Windows, et Syphon, sous macOS, permettent de partager des images entre applications compatibles. TUIO est utilisé pour transmettre des informations liées à certaines interfaces tactiles ou interactives.

Le choix du protocole dépend du type de donnée. Utiliser un flux vidéo pour transmettre une simple valeur de position serait disproportionné. À l’inverse, faire passer une image complète par un protocole destiné à des paramètres de contrôle ne répondrait pas au besoin.

OSC pour les paramètres et les états

Dans une installation TouchDesigner utilisant des capteurs et OSC, le protocole sert principalement à transporter des valeurs: position, vitesse, présence, intensité ou changement d’état. Sa souplesse permet d’organiser les messages selon une arborescence lisible.

Une convention d’adressage doit être définie dès le départ. Par exemple, les messages peuvent distinguer:

• les données de présence;
• les coordonnées spatiales;
• les commandes de scène;
• les états de sécurité;
• les paramètres de calibration;
• les informations de supervision.

La régie doit pouvoir identifier la fonction d’un message sans ouvrir le projet. Une adresse ambiguë crée une dépendance inutile au développeur. Une adresse structurée permet de reprendre l’exploitation plus rapidement.

Il faut également prévoir la différence entre une valeur continue et un événement. Une position est une donnée continue. Un déclenchement de séquence est un événement. Les deux ne doivent pas être traités de la même manière. Dans le premier cas, la perte d’un message peut être corrigée par le suivant. Dans le second, la perte du message peut empêcher une action. Cette distinction détermine les mécanismes de répétition, d’acquittement ou de retour à l’état stable.

DMX512, Art-Net et sACN pour l’éclairage

Pour le contrôle d’éclairage et la communication avec la régie technique, TouchDesigner peut utiliser DMX512, Art-Net, sACN — également désigné comme E1.31 — et KiNET. L’opérateur DMX Out CHOP permet de transmettre jusqu’à 512 canaux par univers.

Le protocole ne règle pas à lui seul la question de la synchronisation. Il faut définir ce que représente chaque canal et à quel moment il est mis à jour. Une installation peut, par exemple, associer:

• l’intensité d’un projecteur à la présence détectée;
• une couleur à la position d’un visiteur;
• une vitesse d’effet à la variation d’un mouvement;
• un état d’alerte à une perte de communication;
• une séquence lumineuse à un changement de scène.

Le mapping doit rester documenté. Une table interne suffit, à condition qu’elle soit tenue à jour. Sans cette documentation, la régie peut modifier une valeur en pensant agir sur un équipement alors qu’elle contrôle un effet secondaire.

Le réseau d’éclairage doit aussi être isolé autant que possible du réseau de gestion. Les problèmes de bande passante, de routage ou d’adressage IP ne doivent pas contaminer l’ensemble de l’installation. La séparation des flux réduit les pannes croisées et simplifie la recherche de cause.

NDI, Spout et Syphon pour l’image

Lorsque TouchDesigner doit transmettre une image à une autre application, le choix du protocole dépend du système d’exploitation et du niveau de distribution attendu. NDI convient à des échanges vidéo sur réseau. Spout est utilisé sous Windows pour le partage d’images entre applications. Syphon remplit une fonction comparable sous macOS.

Le point à surveiller est la charge cumulée. Un flux vidéo en haute résolution consomme davantage de ressources qu’un message de contrôle. Plusieurs sorties peuvent augmenter la pression sur le processeur graphique, la mémoire vidéo et le réseau. Il faut donc limiter les conversions inutiles et éviter de recalculer plusieurs fois le même rendu.

Une stratégie efficace consiste à distinguer:

• le rendu principal destiné à la projection;
• les sorties de contrôle pour la régie;
• les flux de prévisualisation;
• les images de diagnostic;
• les enregistrements éventuels.

Chaque sortie doit avoir une raison opérationnelle. Une prévisualisation permanente en haute résolution peut consommer des ressources sans apporter de valeur pendant l’exposition.

Le protocole n’est pas une fonctionnalité isolée. C’est une décision d’architecture qui engage la latence, la supervision et le plan de reprise.

Stabilité et autonomie: automatiser le déploiement d’une œuvre pérenne

Une installation interactive autonome doit fonctionner sans intervention humaine quotidienne. Cette exigence modifie complètement la manière de concevoir le projet. Il ne suffit plus de vérifier que l’œuvre démarre. Il faut déterminer ce qui se passe après une perte réseau, un redémarrage de l’ordinateur, une absence de signal ou une erreur logicielle.

Les créateurs mettent généralement en place plusieurs mécanismes:

• scripts de surveillance des erreurs;
• accès à distance sécurisé;
• réinitialisation automatique après une anomalie réseau ou matérielle;
• lancement automatique des composants nécessaires;
• journalisation des événements;
• retour à un état visuel sûr.

Concevoir un état de repli

Le système doit disposer d’un état stable vers lequel revenir. Cet état peut afficher une animation neutre, maintenir une lumière fixe ou suspendre temporairement l’interaction. Il ne doit pas dépendre du bon fonctionnement de tous les composants externes.

Si le capteur ne répond plus, le moteur visuel peut basculer vers une séquence autonome. Si la communication DMX est interrompue, les sorties lumineuses doivent adopter une valeur définie. Si le flux vidéo externe disparaît, TouchDesigner peut afficher un signal de remplacement ou arrêter proprement la sortie concernée.

Un état de repli bien conçu évite que le public voie une interface technique ou une image bloquée. Il réduit également les interventions sur site. La panne n’est pas supprimée. Elle est contenue.

Surveiller les indicateurs utiles

La supervision doit se concentrer sur quelques indicateurs mesurables:

• cadence d’affichage réelle;
• temps de traitement par image;
• charge du processeur graphique;
• mémoire disponible;
• présence des flux entrants;
• fréquence des messages reçus;
• état des sorties vidéo;
• disponibilité des connexions réseau.

La cible de 60 images par seconde correspond à une référence courante pour obtenir un rendu temps réel fluide. Elle ne doit cependant pas être considérée comme une garantie automatique. Une œuvre peut afficher 60 images par seconde tout en présentant une latence élevée si la chaîne de captation, de traitement et de sortie n’est pas correctement synchronisée.

Il faut donc mesurer le système dans sa configuration d’exploitation, avec les capteurs actifs, les sorties vidéo connectées et les effets réellement utilisés. Une scène vide ou un simple test de lecture ne permet pas d’évaluer la charge de la régie.

Déployer à distance sans ouvrir une faille

L’accès à distance peut réduire les déplacements techniques, mais il crée une surface d’exposition supplémentaire. Il doit être sécurisé, limité aux personnes autorisées et désactivable lorsque l’installation est ouverte au public.

Les commandes de redémarrage, de modification de paramètres et d’arrêt ne doivent pas être accessibles sans contrôle. La documentation doit préciser la procédure de reprise, les identifiants de service et le comportement attendu après chaque action. Le dépannage à distance n’est utile que si l’équipe sait distinguer une panne de capteur, une panne réseau et une panne de rendu.

La pérennité dépend également de la reproductibilité. Le projet TouchDesigner, les médias, les paramètres, les versions logicielles et les profils de calibration doivent être archivés ensemble. Un fichier de projet isolé ne suffit pas à reconstruire une installation.

Choisir sa licence: résolution, déploiement et contraintes de diffusion

Le choix de licence de TouchDesigner doit être effectué selon le mode d’exploitation. La version Non-Commercial est gratuite, mais elle est limitée à une résolution de 1280 × 1280 pixels. Cette restriction peut devenir incompatible avec une diffusion professionnelle, une projection large ou un dispositif composé de plusieurs sorties.

Les formules Commercial et Pro répondent à des besoins plus avancés. La licence Commerciale est indiquée à 600 dollars américains dans les éléments de référence du projet. La licence Pro est indiquée à 2 200 dollars américains. Ces montants doivent être rapportés au périmètre réel de l’installation: nombre de machines, résolution, déploiement, synchronisation et nécessité de protéger certains composants.

La version Non-Commerciale ne doit pas être présentée comme une solution de diffusion professionnelle payante. Elle convient au développement et à l’expérimentation, mais ses contraintes doivent être vérifiées avant tout déploiement public.

La licence comme composant de l’architecture

Dans un projet d’art numérique, la licence n’est pas un poste administratif séparé de la technique. Elle conditionne la résolution de sortie, le nombre de machines et certaines fonctions de déploiement. Une décision tardive peut obliger à modifier l’architecture après la production.

Trois questions doivent être tranchées avant la mise en régie:

1. L’installation doit-elle produire une image supérieure à 1280 × 1280 pixels?

2. Le rendu est-il réparti sur plusieurs machines?

3. Faut-il déployer des moteurs TouchEngine ou protéger des composants du projet?

Si la réponse est positive, la version Non-Commerciale ne constitue probablement pas le cadre adapté. Le choix doit ensuite être aligné sur les besoins de production, et non sur le seul coût initial de la licence.

Une méthode de mise en production pour l’installation de Clara

Le cas de Clara peut être traité comme un projet d’intégration. La priorité n’est pas de multiplier les effets visuels. Elle est de rendre chaque flux identifiable, mesurable et remplaçable.

Une séquence de mise en production cohérente comprend les étapes suivantes:

1. Cartographier les entrées et les sorties

Répertorier les capteurs, les flux vidéo, les contrôleurs d’éclairage, les ordinateurs et les connexions réseau. Chaque liaison doit avoir une fonction précise.

2. Construire le moteur visuel sans dépendance matérielle définitive

Utiliser des valeurs simulées pour tester les réactions de l’image avant l’intégration complète des capteurs. Cela permet de séparer les problèmes de création des problèmes de matériel.

3. Ajouter une couche d’adaptation pour chaque capteur

Normaliser les données de Kinect Azure, RealSense, ZED ou LiDAR avant de les transmettre au moteur artistique. Le rendu ne doit pas dépendre du format brut d’un fabricant.

4. Définir les protocoles de communication

Réserver OSC aux paramètres et aux événements, DMX ou Art-Net à l’éclairage, et NDI, Spout ou Syphon aux flux vidéo selon l’environnement technique.

5. Tester les pertes de connexion

Débrancher un capteur, interrompre le réseau et couper une sortie vidéo. Le comportement de repli doit être observable et documenté.

6. Mesurer la charge dans la configuration finale

Vérifier la cadence d’affichage, la charge graphique et la stabilité avec les résolutions, médias et effets réellement utilisés.

7. Documenter la régie

Fournir un plan de connexion, une procédure de démarrage, les paramètres de calibration et la méthode de redémarrage. La documentation doit permettre à un technicien extérieur de reprendre le système.

Cette méthode réduit la friction entre l’artiste, la régie et le lieu d’exposition. Elle ne remplace pas les essais sur site. Elle limite cependant le nombre de variables qui doivent être résolues simultanément.

Ce que TouchDesigner apporte réellement à l’art numérique

TouchDesigner est pertinent pour une installation interactive parce qu’il couvre plusieurs fonctions dans un même environnement: génération procédurale, traitement vidéo, interaction avec des capteurs, communication réseau et pilotage de dispositifs techniques. Cette concentration réduit le nombre d’interfaces intermédiaires.

Elle ne supprime pas les contraintes. Plus le projet agrège de flux, plus la stabilité dépend de la qualité de l’architecture. Une scène visuelle complexe peut être optimisée. Un réseau mal documenté l’est beaucoup moins. Le logiciel donne les outils de l’intégration, mais il ne fournit pas automatiquement une méthode de production.

Pour une œuvre comme celle de Clara, la réussite opérationnelle repose sur quatre décisions:

• définir précisément les données nécessaires à l’interaction;
• séparer le moteur artistique des composants matériels;
• choisir les protocoles en fonction des flux, et non des habitudes;
• prévoir dès le départ la supervision et le redémarrage automatique.

Le reste relève de l’optimisation: réduction des calculs redondants, limitation des sorties inutiles, contrôle de la mémoire et réglage des effets. Ces améliorations deviennent efficaces lorsque la structure est déjà stable.

Conclusion: déployer comme une infrastructure, pas comme une démonstration

Une installation TouchDesigner en régie doit être pensée comme un système d’exploitation culturelle à petite échelle. Elle capte, transforme, distribue et restitue des données dans un contexte où l’interruption est visible par le public.

Pour l’installation de Clara, l’implémentation recommandée est claire: construire une architecture nodale séparant captation, interprétation, rendu et sorties; normaliser les données des capteurs; réserver chaque protocole à son usage; intégrer un état de repli; puis sélectionner la licence selon la résolution et le déploiement prévus.

La priorité n’est pas d’ajouter une couche d’interactivité supplémentaire. Elle est de garantir que chaque flux possède une destination, une valeur de remplacement et une procédure de reprise. C’est à cette condition que TouchDesigner devient un outil de régie fiable pour l’art numérique, et non un simple environnement de démonstration.