Technologies Créatives. Entraînement de GAN : mon mois avec dix mille croquis

Dix mille croquis pour entraîner un GAN: anatomie d'un projet artistique

Il repère des régularités: une manière de fermer un contour, une proportion qui revient, une densité de noir, une relation entre la ligne et le vide. C'est sur cette matière très concrète que repose l'entraînement d'un GAN avec une base de données d'artiste.

Imaginons un projet artistique construit autour de dix mille croquis. Ce volume peut sembler constituer une abondance confortable. En réalité, il ne garantit rien. Une collection mal cadrée, mal numérisée ou trop répétitive donnera souvent un modèle moins intéressant qu'un ensemble plus réduit, mais plus cohérent. Dans un travail d'art numérique, la question n'est donc pas seulement de savoir combien d'images on peut fournir à l'intelligence artificielle générative. Il faut comprendre ce que ces images autorisent le modèle à percevoir, puis à transformer.

La genèse du jeu de données: dix mille croquis ne font pas encore une œuvre

Avant le générateur, avant le discriminateur, avant les lignes de code, il y a une opération beaucoup moins spectaculaire: décider ce qui mérite d'entrer dans le jeu de données.

Un croquis n'est pas uniquement une image disponible sur un disque dur. C'est une unité de langage visuel. Sa taille, son cadrage, son orientation, la présence d'un arrière-plan ou d'une marge blanche influencent la manière dont le modèle va apprendre. Deux dessins représentant la même forme peuvent produire des effets très différents selon que l'un est centré, l'autre coupé par le bord, l'un tracé au feutre noir, l'autre au crayon léger.

C'est pourquoi la constitution d'un dataset personnel demande un travail de sélection proche de celui d'une édition artistique. L'artiste doit accepter de retirer des images qui lui sont attachées, mais qui introduisent une rupture inutile dans l'ensemble. À l'inverse, une esquisse imparfaite peut être précieuse si elle révèle une variation du geste qu'il souhaite conserver.

Pour un projet construit autour de dix mille croquis, plusieurs questions deviennent rapidement structurantes:

• Les dessins appartiennent-ils réellement à la même famille visuelle, ou a-t-on simplement rassemblé tout ce qui se trouvait dans un dossier?
• Les formats et les proportions sont-ils suffisamment proches pour que le modèle ne confonde pas la forme avec son environnement?
• Les différences de papier, de lumière et de numérisation sont-elles assumées comme une matière esthétique ou doivent-elles être réduites?
• Le dataset contient-il des variations de pose, d'échelle et de densité, ou reproduit-il plusieurs milliers de fois une seule composition?
• Les images les plus nombreuses correspondent-elles à la direction artistique que l'on veut explorer?

Autrement dit, créer son propre dataset GAN n'est pas une étape administrative. C'est déjà une forme de programmation artistique. Les limites dans lesquelles la machine pourra faire apparaître de l'inattendu se choisissent ici.

Organiser sans appauvrir

Le classement par dossiers peut sembler élémentaire, mais il devient déterminant lorsque le nombre d'images augmente. On peut distinguer les croquis par sujet, par type de trait, par posture, par niveau de détail ou par degré d'abstraction. Cette organisation ne sert pas nécessairement à entraîner plusieurs modèles séparés. Elle permet surtout de comprendre la composition de la matière première.

Un dataset de dix mille images peut être vaste tout en restant pauvre en possibilités. Si neuf mille croquis présentent le même objet, sous le même angle et avec un cadrage presque identique, le modèle apprendra une variation autour d'un centre très étroit. Il produira peut-être des résultats cohérents, mais cette cohérence sera celle d'un répertoire fermé.

À l'inverse, une collection trop disparate risque de rendre l'apprentissage instable. Le GAN ne saura plus quelle logique visuelle il doit maintenir. Il pourra mélanger des styles, des échelles et des structures sans parvenir à construire une identité perceptible.

Un dataset artistique n'est pas un entrepôt d'images: c'est le territoire dans lequel le modèle apprend à se déplacer.

La préparation demande donc un équilibre entre continuité et écart. Il faut assez de ressemblance pour qu'une famille se dessine, mais assez de différence pour que cette famille puisse évoluer.

Le duo antagoniste: comment un GAN apprend à produire une image

Le fonctionnement d'un GAN repose sur deux réseaux de neurones entraînés en opposition. Le générateur fabrique des images synthétiques. Le discriminateur examine une image et tente de déterminer si elle provient du jeu de données réel ou si elle a été produite par le générateur.

Cette opposition ne correspond pas à un affrontement spectaculaire entre deux intelligences autonomes. Il s'agit plutôt d'un ajustement progressif. Le générateur reçoit des indications sur ce qui rend ses productions peu crédibles. Le discriminateur, de son côté, devient plus exigeant à mesure qu'il rencontre des images synthétiques mieux construites.

Le GAN a été introduit par Ian Goodfellow et ses collaborateurs en 2014. Son intérêt pour les artistes tient à cette tension: il ne se contente pas de reproduire mécaniquement une image existante. Il cherche à produire une nouvelle configuration qui respecte certaines régularités apprises dans les données.

Dans le cas d'une base de croquis, le générateur peut apprendre une distribution de formes, de lignes et de rapports spatiaux. Il ne mémorise pas nécessairement chaque dessin comme une archive consultable. Il construit plutôt une représentation mathématique des caractéristiques récurrentes du corpus.

Ce que le générateur fabrique réellement

Il est tentant de dire qu'un GAN apprend le style d'un artiste. Cette formule est pratique, mais elle est trop large. Le modèle peut repérer des éléments qui participent au style: épaisseur moyenne du trait, organisation des masses, rapport entre zones pleines et zones vides, inclinaison des formes, rythme des répétitions. Pourtant, il ne possède pas une compréhension globale de la démarche artistique.

La machine ne sait pas qu'un trait a été volontairement interrompu pour laisser respirer la composition. Elle ne sait pas non plus qu'une déformation renvoie à une expérience corporelle, à une référence culturelle ou à un choix critique. Elle exploite les traces visibles de ces décisions, sans accéder à leur histoire.

Cette limite n'annule pas la valeur du résultat. Elle oblige à le regarder autrement. Une image générée par un modèle GAN artiste n'est pas une intention automatisée. C'est une proposition visuelle produite à partir des relations que le modèle a réussi à établir entre les images du corpus.

Le rôle du discriminateur

Le discriminateur joue un rôle essentiel, mais son jugement n'est pas celui d'un commissaire d'exposition. Il ne distingue pas une œuvre forte d'une œuvre faible. Il évalue la proximité statistique entre l'image générée et les exemples présents dans le dataset.

Au début de l'apprentissage, les productions du générateur sont souvent très éloignées des croquis fournis. Le discriminateur les repère facilement. Puis le générateur apprend à imiter certaines propriétés du corpus: la distribution des contours, les densités, les textures ou la construction des silhouettes.

Cette mécanique peut produire une évolution intéressante pour la création. Les premières images sont parfois informes, tandis que les suivantes deviennent plus lisibles. Mais une progression visuelle ne signifie pas automatiquement une progression artistique. Un modèle peut devenir très habile à produire des images plausibles tout en perdant ce qui rendait le corpus singulier.

C'est pourquoi l'artiste doit observer les étapes intermédiaires et non uniquement les résultats finaux. Les défauts, les fusions et les accidents peuvent révéler les zones où le modèle ouvre une nouvelle piste. À l'inverse, une image techniquement nette peut signaler que le système se rapproche d'une imitation trop prudente.

Prétraitement et normalisation: la partie invisible de l'image

L'entraînement d'un GAN commence rarement avec des images prêtes à l'emploi. Les croquis doivent être redimensionnés, recadrés et convertis dans une forme lisible par le modèle. Cette préparation paraît éloignée de la sensibilité artistique, mais elle modifie directement la perception du corpus.

Une photographie de dessin peut contenir des ombres, des plis, une dominante colorée ou une perspective de prise de vue. Si ces éléments ne sont pas corrigés, le modèle risque d'apprendre le papier et l'éclairage autant que le trait. Ce n'est pas forcément une erreur: la matérialité du support peut faire partie du projet. Mais elle doit être choisie, pas subie.

Résolution, canaux et niveaux de gris

Les ensembles de données standards en niveaux de gris sont souvent ramenés à une résolution fixe de 28 × 28 pixels, avec des valeurs normalisées dans l'intervalle allant de -1 à 1. Ce format est utile pour comprendre les principes de base et expérimenter avec des architectures légères. Il est toutefois très éloigné des besoins d'une pratique artistique où la vibration d'un contour ou la finesse d'un détail peut être essentielle.

Pour des images visuelles destinées à un travail artistique, les résolutions de 256 × 256 ou 512 × 512 pixels sont courantes dans de nombreux dispositifs d'entraînement. Elles offrent davantage d'espace pour les textures et les détails, mais elles augmentent aussi les exigences de calcul et la sensibilité aux défauts du dataset.

Le choix du nombre de canaux compte également:

• Une image en niveaux de gris utilise un seul canal et concentre l'apprentissage sur la luminosité, le contraste et la structure du trait.
• Une image RVB utilise trois canaux et conserve les relations de couleur, de saturation et de température.
• Une conversion trop brutale vers le noir et blanc peut effacer des nuances qui participaient à la profondeur ou à la matière du dessin.
• Une conservation automatique de la couleur peut, à l'inverse, introduire des variations qui détournent le modèle de la forme.

La normalisation ne transforme pas seulement les fichiers en nombres compatibles avec un réseau de neurones. Elle définit une manière de hiérarchiser l'information. Ce qui est préservé devient disponible pour l'apprentissage; ce qui est supprimé cesse d'exister du point de vue du modèle.

Recadrer, centrer, laisser déborder

Le recadrage constitue l'un des choix les plus sensibles. Une forme toujours placée au centre donnera au modèle une habitude de composition très forte. Une forme parfois coupée par le bord lui permettra d'explorer une relation plus ouverte avec le cadre. De même, uniformiser toutes les tailles peut faciliter l'apprentissage, mais aussi réduire les écarts d'échelle qui donnaient de la tension aux croquis.

Il n'existe pas de réglage universel. Tout dépend de ce que l'artiste veut préserver. Pour une série destinée à produire des silhouettes reconnaissables, un cadrage régulier peut être pertinent. Pour une recherche sur la spatialisation et la perception du fragment, la répétition du centre deviendrait probablement une contrainte.

Le prétraitement doit donc être pensé comme une scénographie. Il organise la place donnée à chaque élément avant même que l'image ne soit générée.

Transfer learning et modèles pré-entraînés: partir d'un regard déjà formé

Entraîner un GAN depuis zéro peut être instructif, mais ce n'est pas toujours la stratégie la plus adaptée à un projet artistique. Le transfer learning consiste à partir d'un modèle déjà entraîné sur un ensemble d'images, puis à l'adapter à un nouveau corpus.

Cette approche permet de conserver certaines représentations générales tout en orientant le modèle vers les formes propres à l'artiste. Elle est particulièrement utile lorsque le dataset personnel reste limité ou lorsque l'on veut explorer rapidement plusieurs directions.

Il faut toutefois éviter une confusion: réutiliser un modèle ne signifie pas que l'artiste abandonne son identité visuelle à une machine préexistante. Cela signifie que le travail se déplace. Au lieu de construire toutes les représentations à partir de rien, on négocie avec une structure qui porte déjà des habitudes de forme.

Cette négociation peut être féconde, mais elle comporte un risque d'homogénéisation. Les caractéristiques du modèle initial peuvent continuer à peser sur les résultats, même après un affinement poussé. C'est pourquoi les phases de reprise demandent souvent une vigilance accrue sur la diversité du corpus personnel.

Sketch Your Own GAN: adapter le modèle au trait

Le projet Sketch Your Own GAN illustre cette démarche de manière particulièrement lisible. Issu d'un travail de recherche universitaire, cet outil propose de partir d'un modèle pré-entraîné sur de grandes masses d'images pour le spécialiser sur un corpus de croquis, puis sur les dessins d'un artiste en particulier. L'idée centrale est de conserver la capacité générative d'un réseau déjà riche, tout en orientant ses sorties vers un univers graphique spécifique.

Cette approche modifie la temporalité du travail. Au lieu de mobiliser des ressources importantes pour quelques expériences, l'artiste peut tester rapidement plusieurs orientations, observer comment le modèle réagit aux variations du dataset et affiner ses choix en cours de route.

Pour un corpus de dix mille croquis, Sketch Your Own GAN peut servir de point de départ plutôt que de destination. Le modèle offre une première cartographie du geste. L'artiste y ajoute ensuite ses contraintes: suppression de certains angles, mise en avant d'une matière, recentrage sur une famille de sujets.

Négocier avec un modèle pré-entraîné

Le transfert de connaissances n'est pas une opération neutre. Le modèle initial possède une mémoire implicite des formes qu'il a déjà vues. Même après ajustement, certaines régularités peuvent persister. Une silhouette trop géométrique, un volume trop doux ou une palette trop standardisée peuvent trahir l'origine du modèle plus que la voix de l'artiste.

Pour limiter cet effet, plusieurs pratiques aident:

• Réduire progressivement l'influence du modèle initial en diminuant le taux d'apprentissage au fil des itérations.
• Mélanger le dataset personnel à des exemples choisis pour leur écart, plutôt que de chercher une fusion trop lisse.
• Comparer les sorties du modèle affiné à celles d'un modèle entraîné depuis zéro sur le même corpus, lorsque cela reste matériellement possible.
• Documenter les réglages utilisés pour pouvoir revenir en arrière si le modèle perd la singularité du corpus.

Le transfer learning reste un compromis. Il offre un gain de temps et une base technique solide, mais il introduit un filtre supplémentaire entre l'artiste et le résultat. Ce filtre doit être connu, pas invisible.

Le défi de la résolution: du format 28 × 28 aux standards artistiques

L'une des différences les plus concrètes entre un GAN expérimental et un GAN artistique tient à la résolution des images produites. Les exemples les plus connus en machine learning, comme ceux issus de jeux de données classiques, travaillent souvent à très basse résolution. Cette contrainte simplifie l'entraînement, mais elle éloigne considérablement le résultat d'une pratique de l'image.

À 28 × 28 pixels, un croquis n'est plus qu'une constellation de zones claires et sombres. La qualité artistique d'un trait ne peut pas s'y exprimer. Le format reste utile pour comprendre l'architecture et observer la dynamique d'apprentissage, mais il ne suffit pas à produire des images présentables au regard d'un public d'art.

Les résolutions de 256 × 256 ou 512 × 512 pixels, courantes dans les modèles génératifs visuels, ouvrent un espace plus pertinent. Les contours deviennent lisibles, les densités de trait se différencient, les vides respirent. Le modèle dispose également d'une capacité accrue pour mémoriser des détails fins, ce qui peut devenir un problème si le dataset contient trop d'images trop proches.

Hiérarchiser les couches du modèle

Pour produire des images à plus haute résolution, plusieurs architectures existent. Elles reposent souvent sur une logique de hiérarchie: une première couche propose une structure générale, les suivantes ajoutent des détails. Cette organisation multiplie les paramètres à entraîner et les calculs à effectuer, mais elle permet aussi de contrôler plus finement ce que le modèle apprend à chaque niveau.

Pour un dataset de croquis, cette hiérarchie peut être mise à profit. Une couche basse peut apprendre l'organisation des masses et des vides. Une couche intermédiaire peut s'occuper des contours et des rapports d'échelle. Une couche haute peut gérer la texture du papier, le grain du crayon ou les irrégularités de numérisation. Cette répartition reste schématique, mais elle aide à comprendre pourquoi une résolution plus élevée ne signifie pas simplement plus de pixels: elle signifie davantage de niveaux de décision pour le modèle.

Adapter la résolution au projet, pas l'inverse

Le choix de la résolution finale ne doit pas être dicté uniquement par la puissance de calcul disponible. Il dépend du type d'images que l'artiste veut obtenir et de la manière dont il envisage de les montrer. Une série destinée à être imprimée en grand format réclamera une netteté de contour et une définition des masses qu'une publication web n'exigera pas dans les mêmes proportions.

À l'inverse, une résolution trop élevée peut pousser le modèle à mémoriser des détails techniques au détriment de la structure. Le dataset de dix mille croquis contient peut-être de magnifiques accidents de numérisation, mais aussi des défauts qui n'ont aucune raison d'apparaître dans les images générées. La résolution agit comme une loupe: elle amplifie ce que le modèle a appris, y compris ses angles morts.

L'enjeu n'est donc pas d'atteindre la définition la plus haute possible, mais de choisir une définition cohérente avec le corpus et avec l'intention du projet.

Lire les résultats: ce que dix mille croquis apprennent au regard

Une fois l'entraînement mené à son terme, la tentation est grande de juger le modèle sur ses images les plus réussies. Cette sélection n'est pas inutile, mais elle risque de masquer la logique globale du système. Un GAN entraîné sur dix mille croquis n'est pas seulement une machine à produire de belles images. C'est aussi une manière de rendre visible un certain rapport au dessin.

Observer les productions par séries, en variant les paramètres de génération, permet de repérer les zones de stabilité et les zones d'incertitude du modèle. Une famille de silhouettes qui se maintient quelle que soit l'initialisation aléatoire signale une zone fortement encadrée par le dataset. Une zone où les sorties divergent fortement signale une région où le corpus laisse plus de liberté.

Cette cartographie devient un outil de travail. Elle permet à l'artiste de comprendre quelles parties de son univers visuel ont été le mieux apprises, et lesquelles restent en mouvement. Elle aide aussi à formuler les itérations suivantes: faut-il ajouter des exemples, en retirer, ou laisser le modèle poursuivre son exploration?

Entraîner un GAN sur sa propre base, c'est accepter de voir son geste à travers le regard statistique d'un autre.

Conclusion: un outil, pas un auteur

Dix mille croquis ne produisent pas une œuvre à eux seuls. Ils ne remplacent pas la décision artistique, la curation, l'écriture curatoriale ou le dialogue avec un public. Ils offrent une matière supplémentaire, avec ses règles propres, ses contraintes techniques et ses ouvertures.

L'intérêt d'un GAN pour un artiste ne réside pas dans l'automatisation du style. Il réside dans la possibilité de prolonger une recherche visuelle par un système qui propose des configurations nouvelles, à condition d'avoir été nourri avec un corpus pensé comme tel. La base de données devient alors un prolongement de la pratique, et le modèle une manière de dialoguer avec ce que le geste laisse dans la matière.

La véritable question, au terme de l'entraînement, n'est pas de savoir si le modèle a réussi. Elle est de savoir ce qu'il a appris du regard de l'artiste, et ce que celui-ci peut encore décider à partir de là.