Maîtriser l'entraînement SDXL 1.0 : Un guide complet pour les passionnés d'IA

SDXL 1.0 est un modèle révolutionnaire de Stability AI, avec une taille d'image de base de 1024x1024. Cela représente une amélioration significative de la qualité et de la fidélité des images par rapport aux modèles Stable Diffusion précédents. SDXL intègre de nouveaux encodeurs Clip et diverses modifications architecturales, qui impactent à la fois la génération d'images et les processus d'entraînement. Bien que Stability AI ait promu SDXL comme facile à entraîner, il est important de noter que les exigences matérielles sont plus élevées que prévu initialement.

L'entraînement de SDXL nécessite un matériel plus robuste par rapport à l'entraînement de SD 1.5 LoRA. Au minimum, 12 Go de VRAM sont nécessaires, certains utilisateurs rapportant un entraînement réussi avec 8 Go de VRAM, bien que cela soit à des vitesses significativement plus lentes. Pour des performances optimales, envisagez les éléments suivants : - PyTorch 2 a tendance à utiliser moins de VRAM que PyTorch 1 - Activer le Gradient Checkpointing peut aider à gérer l'utilisation de la VRAM - Le fine-tuning peut être réalisé avec 24 Go de VRAM en utilisant une taille de lot de 1 - Pour les systèmes avec 8 Go-10 Go de VRAM, essayez d'activer le Gradient Checkpointing et l'attention efficace en mémoire, en réglant le LR Scheduler sur Constant, en utilisant l'Optimiseur AdamW8bit, et en réduisant le Rang du Réseau et la taille de l'image d'entrée.

Google Colab offre une solution basée sur le cloud pour l'entraînement de SDXL, particulièrement bénéfique pour ceux qui n'ont pas accès à un matériel local haut de gamme. Bien qu'il ait été initialement pensé qu'un compte Colab Pro payant était nécessaire, des mises à jour récentes suggèrent que l'entraînement sur le niveau gratuit pourrait désormais être possible. Pour utiliser Colab pour l'entraînement de SDXL : 1. Choisissez un carnet Colab approprié (par exemple, le Colab de Camenduru Kohya_ss ou le Formulaire Koyha XL LoRA Trainer de Johnson) 2. Familiarisez-vous avec l'interface de Colab, y compris les cellules, les sessions et l'intégration de Google Drive 3. Suivez les instructions du carnet, en personnalisant les paramètres si nécessaire 4. Faites attention à votre utilisation des sessions Colab, surtout si vous utilisez des unités de calcul payantes.

Pour l'entraînement local, l'interface graphique Kohya_ss (version v21.8.5 ou ultérieure) est un choix populaire. Lors de la configuration pour l'entraînement de SDXL : 1. Assurez-vous d'avoir la dernière version de Kohya Trainer installée 2. Définissez le chemin du modèle SDXL et cochez la case du modèle SDXL dans les paramètres 3. Saisissez manuellement les paramètres recommandés ou chargez un fichier JSON préconfiguré 4. Ajustez les chemins de dossier et le répertoire source du modèle SDXL pour correspondre à votre configuration locale.

Sur la base d'expériences d'entraînement réussies, les paramètres suivants sont recommandés pour l'entraînement SDXL LoRA : - Entraînez contre la base SDXL 1.0 avec VAE Fix (0.9 VAE) - Utilisez le type LoRA standard - Réglez la précision mixte et la précision de sauvegarde sur bf16 - Activez le Cache Latents et le Cache Latents sur disque - Utilisez l'optimiseur Prodigy avec des arguments supplémentaires spécifiques - Réglez la résolution maximale sur 1024x1024 - Activez le Gradient checkpointing et utilisez xformers - Ajustez le Rang du Réseau, Alpha et les taux d'apprentissage selon les besoins Ces paramètres ont été trouvés pour produire des résultats rapides et flexibles avec une utilisation modérée de la VRAM (13-14 Go).

Pour optimiser votre processus d'entraînement SDXL : 1. Expérimentez avec les tailles de lot pour trouver la plus grande qui ne provoque pas d'erreurs de mémoire 2. Envisagez d'utiliser des images de résolution inférieure (par exemple, 768x768 ou 512x512) pour réduire les exigences en VRAM, bien que cela puisse affecter la qualité 3. Faites attention au nombre de répétitions, d'époques et de taille de lot pour atteindre votre nombre total de pas souhaité 4. Surveillez l'utilisation de la VRAM et ajustez les paramètres en conséquence 5. Pour les utilisateurs de Colab, déconnectez-vous toujours des sessions actives lorsque vous avez terminé pour éviter une consommation de ressources inutile.

Les expériences d'entraînement utilisant à la fois les configurations locales de Kohya et Colab ont donné des résultats impressionnants. Par exemple, un ensemble de données de test de 15 images mettant en vedette Jar Jar Binks a été utilisé pour entraîner un modèle LoRA. Le modèle résultant a démontré la capacité de générer des images diverses et créatives, telles que : - Jar Jar Binks mangeant des spaghettis - Jar Jar Binks dessiné au trait - Jar Jar Binks en tant que juge de la cour - Jar Jar Binks en tant que tout-petit - Jar Jar Binks panthère fantastique - Le 8ème anniversaire de Jar Jar Binks Ces exemples illustrent la flexibilité et le potentiel de l'entraînement SDXL LoRA pour créer des modèles de génération d'images spécialisés.