IA personnalisée : la révolution du texte à l'image par NVIDIA

L'IA générative, en particulier dans le domaine des effets visuels, a révolutionné la création d'images à partir d'invites textuelles. Alimentée par des modèles fondamentaux de langage visuel pré-entraînés, cette technologie étend sa portée à diverses applications, de la légende d'images à la synthèse 3D. Un défi majeur réside dans la personnalisation de ces modèles, leur permettant d'intégrer des concepts visuels spécifiques à l'utilisateur. Cet article explore les approches innovantes développées par NVIDIA Research pour relever ce défi, en se concentrant sur la création d'images personnalisées avec un contrôle et une efficacité améliorés.

L'inversion textuelle sert de technique fondamentale pour l'IA générative personnalisée. Elle consiste à enseigner de nouveaux concepts au modèle en trouvant de nouveaux mots dans l'espace d'intégration de mots d'un modèle fondamental de langage visuel figé. Cette méthode apprend à associer un nouveau pseudo-mot à un concept spécifique, permettant au modèle de générer des images similaires aux images d'entraînement lorsque le pseudo-mot est utilisé dans une invite. L'avantage clé est qu'elle ne modifie pas le modèle fondamental sous-jacent, préservant ainsi sa compréhension générale du texte et ses capacités de généralisation. Cette approche utilise un petit nombre de paramètres pour encoder les concepts.

Bien que l'inversion textuelle soit légère, sa qualité peut se dégrader lors de la combinaison de plusieurs concepts ou lorsqu'un contrôle précis est requis. DreamBooth, une autre approche, utilise une architecture U-Net plus grande, conduisant à des modèles gourmands en ressources. NVIDIA Research a introduit le Key-Locked Rank One Editing, ou Perfusion, pour surmonter ces limitations. Perfusion permet une meilleure généralisation, des modèles plus petits (environ 100 Ko) et une personnalisation plus rapide (4-7 minutes). L'idée principale consiste à « verrouiller » des composants clés du modèle, en particulier le module de co-attention, lors de la génération d'images. Cela garantit que l'image générée correspond plus étroitement à la fois à l'invite textuelle et aux caractéristiques visuelles du concept appris. Un mécanisme de déclenchement affine davantage le processus, permettant la combinaison de plusieurs concepts appris.

Perfusion permet la création d'images personnalisées de haute qualité qui combinent de manière transparente plusieurs nouveaux concepts. Par exemple, le modèle peut apprendre les concepts d'un 'Teddy™' et d'une 'Teapot™' puis générer des images de 'un ours en peluche naviguant dans une Teapot™'. De plus, Perfusion permet aux créateurs de contrôler l'équilibre entre la fidélité visuelle et la similarité textuelle à l'aide d'un seul paramètre d'exécution. Ce paramètre permet une large gamme de résultats sans réentraîner le modèle.

Pour accélérer davantage le processus de personnalisation, NVIDIA Research a développé l'Encoder for Tuning (E4T). E4T utilise un encodeur pré-entraîné pour prédire le résultat du processus d'entraînement de personnalisation. Cette approche en deux étapes consiste à apprendre à prédire de nouveaux mots et un ensemble de décalages de poids pour la catégorie du concept. Les poids complets du modèle sont ensuite affinés, ce qui entraîne une accélération significative, réduisant le temps d'entraînement à quelques secondes seulement et ne nécessitant que quelques étapes d'entraînement.

Perfusion démontre une cohérence d'invite supérieure par rapport aux méthodes de base, sans être excessivement influencé par les caractéristiques des images d'entraînement. Cela permet une génération d'images plus précise et contrôlable basée sur les invites textuelles fournies.

Malgré les avancées, ces techniques présentent encore des limites. Les modèles appris peuvent ne pas toujours préserver parfaitement les caractéristiques du concept, et la modification à l'aide d'invites textuelles plutôt que de concepts généraux peut être difficile. Les recherches futures se concentreront sur la résolution de ces limitations pour améliorer encore la qualité et le contrôle de la génération d'images personnalisées.

Les dernières avancées en matière d'IA générative personnalisée, en particulier les techniques développées par NVIDIA Research, permettent la création d'images personnalisées de haute qualité dans de nouveaux contextes surprenants. En combinant des techniques telles que le Key-Locked Rank One Editing et l'Encoder for Tuning, il est désormais possible de générer des images personnalisées rapidement, efficacement et avec un haut degré de contrôle. Ces innovations ouvrent la voie à un avenir où la génération d'images alimentée par l'IA sera plus accessible et adaptée aux besoins individuels et aux visions créatives.