Maîtriser l'entraînement Lora pour Playground V2.5 : Un guide complet

L'entraînement Lora pour Playground V2.5 est une technique avancée qui permet d'affiner et de personnaliser les modèles d'IA. Ce guide se concentre sur l'utilisation du dépôt Diffusers, car Lora n'est pas encore implémenté dans le dépôt Kohya. Le processus implique l'utilisation d'un script spécifique et d'un outil de conversion de jeu de données pour obtenir des résultats optimaux.

Avant de commencer le processus d'entraînement Lora, il est essentiel de configurer correctement votre environnement. Commencez par installer les dépendances nécessaires en utilisant pip : ```bash pip install huggingface_hub datasets pillow xformers bitsandbytes transformers accelerate wandb dadaptation prodigyopt torch -q pip install peft -q pip install git+https://github.com/huggingface/diffusers.git -q ``` Après l'installation, exécutez la commande `accelerate config default` pour configurer les paramètres d'accélération.

Le script principal pour l'entraînement est `train_dreambooth_lora_sdxl_advanced.py`. Pour exécuter ce script, utilisez la structure de commande suivante : ```bash #!/usr/bin/env bash accelerate launch train_dreambooth_lora_sdxl_advanced.py \ --pretrained_model_name_or_path="playgroundai/playground-v2.5-1024px-aesthetic" \ --dataset_name="$dataset_name" \ --instance_prompt="$instance_prompt" \ --validation_prompt="$validation_prompt" \ --output_dir="$output_dir" \ --caption_column="$caption_column" \ --do_edm_style_training \ --mixed_precision="bf16" \ --resolution=1024 \ --train_batch_size=3 \ --repeats=1 \ --report_to="wandb"\ --gradient_accumulation_steps=1 \ --gradient_checkpointing \ --learning_rate=1e-5 \ --optimizer="AdamW"\ --lr_scheduler="constant" \ --rank="$rank" \ --max_train_steps=2000 \ --checkpointing_steps=2000 \ --seed="0" \ --push_to_hub ``` Assurez-vous de remplacer les variables de remplacement (par exemple, $dataset_name, $instance_prompt) par vos valeurs spécifiques.

Comprendre les paramètres clés est crucial pour un entraînement Lora réussi : 1. dataset_name : Le chemin vers votre jeu de données HuggingFace. 2. instance_prompt : Utilisé comme légende de secours et pour le readme du modèle. 3. validation_prompt : Génère des images pendant l'entraînement pour visualiser le processus d'apprentissage. 4. caption_column : Spécifie le nom de la colonne pour les légendes dans votre jeu de données HuggingFace. Ces paramètres vous permettent de personnaliser le processus d'entraînement selon vos besoins spécifiques et la structure de votre jeu de données.

Sur la base d'expérimentations, les paramètres suivants ont montré produire les meilleurs résultats : 1. Taux d'apprentissage : 1e-5 ou en utilisant l'optimiseur Prodigy. 2. Taille de lot : 3 (comme spécifié dans le script). 3. Nombre maximum d'étapes d'entraînement : 2000 (ajustez en fonction de la taille de votre jeu de données et du temps d'entraînement souhaité). Il est crucial de surveiller le surapprentissage pendant le processus d'entraînement. Utilisez les invites de validation et les images générées pour évaluer les progrès du modèle et ajuster les paramètres si nécessaire.

Pour vous aider davantage avec votre entraînement et votre inférence Lora, les ressources suivantes sont disponibles : 1. Flux de travail ComfyUI pour l'inférence : Disponible sur Hugging Face ou GitHub. 2. Notebook Colab pour l'entraînement : Fournit une interface conviviale pour exécuter le processus d'entraînement. 3. Script de conversion de jeu de données : Aide à convertir les jeux de données au format Kohya en format HuggingFace. Ces ressources peuvent être trouvées à : - https://huggingface.co/artificialguybr/Playground-V2.5-Lora-Colab-Inference-Comfyui - https://github.com/artificialguybr/Playground-V2.5-LoraCreator-Inference/tree/main L'utilisation de ces outils supplémentaires peut rationaliser votre flux de travail et améliorer votre expérience d'entraînement Lora avec Playground V2.5.