Освоение обучения SDXL 1.0: Полное руководство для энтузиастов ИИ

SDXL 1.0 — это революционная новая модель от Stability AI, с базовым размером изображения 1024x1024. Это представляет собой значительное улучшение качества и точности изображений по сравнению с предыдущими моделями Stable Diffusion. SDXL включает новые кодировщики Clip и различные архитектурные изменения, которые влияют как на процесс генерации изображений, так и на обучение. Хотя Stability AI продвигает SDXL как легкую в обучении модель, важно отметить, что требования к аппаратному обеспечению выше, чем ожидалось изначально.

Обучение SDXL требует более мощного аппаратного обеспечения по сравнению с обучением SD 1.5 LoRA. Минимум, необходимый для обучения, составляет 12 ГБ видеопамяти, при этом некоторые пользователи сообщают о успешном обучении с 8 ГБ видеопамяти, хотя и с значительно более медленной скоростью. Для оптимальной производительности рассмотрите следующее: - PyTorch 2, как правило, использует меньше видеопамяти, чем PyTorch 1 - Включение контрольных точек градиента может помочь управлять использованием видеопамяти - Тонкая настройка может быть выполнена с 24 ГБ видеопамяти, используя размер пакета 1 - Для систем с 8 ГБ-10 ГБ видеопамяти попробуйте включить контрольные точки градиента и эффективное внимание, установить LR Scheduler на Constant, использовать оптимизатор AdamW8bit и уменьшить ранг сети и размер входного изображения.

Google Colab предлагает облачное решение для обучения SDXL, особенно полезное для тех, у кого нет доступа к высококачественному локальному оборудованию. Хотя изначально считалось, что для этого требуется платная учетная запись Colab Pro, недавние обновления предполагают, что обучение на бесплатном уровне теперь может быть возможным. Чтобы использовать Colab для обучения SDXL: 1. Выберите подходящий блокнот Colab (например, Kohya_ss Colab от Camenduru или Johnson's Fork Koyha XL LoRA Trainer) 2. Ознакомьтесь с интерфейсом Colab, включая ячейки, сессии и интеграцию с Google Drive 3. Следуйте инструкциям в блокноте, настраивая параметры по мере необходимости 4. Будьте внимательны к использованию вашей сессии Colab, особенно если вы используете платные вычислительные единицы

Для локального обучения популярным выбором является графический интерфейс Kohya_ss (выпуск v21.8.5 или позже). При настройке для обучения SDXL: 1. Убедитесь, что у вас установлена последняя версия Kohya Trainer 2. Установите путь к модели SDXL и отметьте флажок модели SDXL в настройках 3. Либо вручную введите рекомендуемые настройки, либо загрузите предварительно настроенный файл JSON 4. Настройте пути к папкам и директорию источника модели SDXL в соответствии с вашей локальной настройкой

На основе успешных экспериментов по обучению рекомендуются следующие настройки для обучения SDXL LoRA: - Обучение против базовой модели SDXL 1.0 с исправлением VAE (0.9 VAE) - Используйте стандартный тип LoRA - Установите смешанную точность и сохраните точность на bf16 - Включите кэширование латентов и кэширование латентов на диск - Используйте оптимизатор Prodigy с конкретными дополнительными аргументами - Установите максимальное разрешение на 1024x1024 - Включите контрольные точки градиента и используйте xformers - Настройте ранг сети, альфа и скорости обучения по мере необходимости Эти настройки, как было установлено, обеспечивают быстрые, гибкие результаты с умеренным использованием видеопамяти (13-14 ГБ).

Чтобы оптимизировать процесс обучения SDXL: 1. Экспериментируйте с размерами пакетов, чтобы найти наибольший, который не вызывает ошибок нехватки памяти 2. Рассмотрите возможность использования изображений с более низким разрешением (например, 768x768 или 512x512), чтобы уменьшить требования к видеопамяти, хотя это может повлиять на качество 3. Обратите внимание на количество повторений, эпох и размер пакета, чтобы достичь желаемого общего количества шагов 4. Следите за использованием видеопамяти и соответственно корректируйте настройки 5. Для пользователей Colab всегда отключайтесь от активных сессий по завершении, чтобы избежать ненужного потребления ресурсов

Эксперименты по обучению с использованием как локальных, так и Colab настроек дали впечатляющие результаты. Например, тестовый набор данных из 15 изображений с Джар Джар Бинксом был использован для обучения модели LoRA. Полученная модель продемонстрировала способность генерировать разнообразные и креативные изображения, такие как: - Джар Джар Бинкс, едущий спагетти - Линия, нарисованная Джар Джар Бинксом - Судья Джар Джар Бинкс - Малыш Джар Джар Бинкс - Фантазийный пантер Джар Джар Бинкс - 8-й день рождения Джар Джар Бинкса Эти примеры демонстрируют гибкость и потенциал обучения SDXL LoRA для создания специализированных моделей генерации изображений.