Освоение обучения Lora для Playground V2.5: Полное руководство

Обучение Lora для Playground V2.5 — это продвинутая техника, позволяющая тонко настраивать и кастомизировать модели ИИ. Это руководство сосредоточено на использовании репозитория Diffusers, так как Lora еще не реализована в репозитории Kohya. Процесс включает использование специального скрипта и инструмента для конвертации наборов данных для достижения оптимальных результатов.

Перед началом процесса обучения Lora важно правильно настроить вашу среду. Начните с установки необходимых зависимостей с помощью pip: ```bash pip install huggingface_hub datasets pillow xformers bitsandbytes transformers accelerate wandb dadaptation prodigyopt torch -q pip install peft -q pip install git+https://github.com/huggingface/diffusers.git -q ``` После установки выполните команду `accelerate config default`, чтобы настроить параметры ускорения.

Основной скрипт для обучения — `train_dreambooth_lora_sdxl_advanced.py`. Чтобы запустить этот скрипт, используйте следующую структуру команды: ```bash #!/usr/bin/env bash accelerate launch train_dreambooth_lora_sdxl_advanced.py \ --pretrained_model_name_or_path="playgroundai/playground-v2.5-1024px-aesthetic" \ --dataset_name="$dataset_name" \ --instance_prompt="$instance_prompt" \ --validation_prompt="$validation_prompt" \ --output_dir="$output_dir" \ --caption_column="$caption_column" \ --do_edm_style_training \ --mixed_precision="bf16" \ --resolution=1024 \ --train_batch_size=3 \ --repeats=1 \ --report_to="wandb"\ --gradient_accumulation_steps=1 \ --gradient_checkpointing \ --learning_rate=1e-5 \ --optimizer="AdamW"\ --lr_scheduler="constant" \ --rank="$rank" \ --max_train_steps=2000 \ --checkpointing_steps=2000 \ --seed="0" \ --push_to_hub ``` Убедитесь, что вы заменили переменные-заполнители (например, $dataset_name, $instance_prompt) на ваши конкретные значения.

Понимание ключевых параметров имеет решающее значение для успешного обучения Lora: 1. dataset_name: Путь к вашему набору данных HuggingFace. 2. instance_prompt: Используется как запасной заголовок и для документации модели. 3. validation_prompt: Генерирует изображения во время обучения для визуализации процесса обучения. 4. caption_column: Указывает имя столбца для заголовков в вашем наборе данных HuggingFace. Эти параметры позволяют вам настроить процесс обучения в соответствии с вашими конкретными потребностями и структурой набора данных.

На основе экспериментов следующие настройки показали наилучшие результаты: 1. Скорость обучения: 1e-5 или использование оптимизатора Prodigy. 2. Размер партии: 3 (как указано в скрипте). 3. Максимальное количество шагов обучения: 2000 (регулируйте в зависимости от размера вашего набора данных и желаемого времени обучения). Важно следить за переобучением в процессе обучения. Используйте валидационные подсказки и сгенерированные изображения для оценки прогресса модели и при необходимости корректируйте параметры.

Чтобы дополнительно помочь с вашим обучением и выводом Lora, доступны следующие ресурсы: 1. Рабочий процесс ComfyUI для вывода: Доступен на Hugging Face или GitHub. 2. Ноутбук Colab для обучения: Предоставляет удобный интерфейс для выполнения процесса обучения. 3. Скрипт конвертации набора данных: Помогает конвертировать наборы данных формата Kohya в формат HuggingFace. Эти ресурсы можно найти по следующим адресам: - https://huggingface.co/artificialguybr/Playground-V2.5-Lora-Colab-Inference-Comfyui - https://github.com/artificialguybr/Playground-V2.5-LoraCreator-Inference/tree/main Использование этих дополнительных инструментов может упростить ваш рабочий процесс и улучшить ваш опыт обучения Lora с Playground V2.5.