Освоение генеративного ИИ для создания индивидуального художественного стиля: Полное руководство для художников

Генеративный ИИ открыл новые возможности для художников, позволяя им ускорить рабочий процесс, исследовать интересные альтернативы и преодолевать технические ограничения. Это руководство сосредоточено на помощи художникам в создании индивидуальных моделей LoRa (Low-Rank Adaptation) для генерации активов в их уникальном стиле. Следуя этому процессу, художники могут контролировать согласованность и стиль своих произведений, созданных ИИ. Руководство проведет вас через несколько ключевых этапов: 1. Сбор набора данных из ваших собственных рисунков 2. Автоматическое получение описаний для ваших изображений 3. Обучение алгоритма с использованием изображений и описаний 4. Использование полученного файла safetensor для генерации новых изображений в вашем стиле Хотя существует множество платформ для генерации изображений с использованием вашей индивидуальной LoRa, это руководство сосредоточено на помощи в получении файла safetensor, который можно использовать на различных платформах генерации.

Первый шаг в создании вашей индивидуальной модели LoRa — подготовка набора данных из ваших собственных рисунков. Вот несколько ключевых моментов, которые следует учитывать: 1. Количество: Начните с как минимум 35 изображений, но даже меньший набор данных может быть полезен для генерации базовой модели, которую можно улучшать со временем. 2. Согласованность: При выборе рисунков для вашего набора данных поддерживайте согласованность в характеристиках, которые вы хотите выделить. Например, если у вас есть определенный стиль рисования деревьев, включите несколько примеров этого стиля. 3. Размеры изображений: Хотя изображения могут иметь разные размеры, старайтесь придерживаться стандартных разрешений, таких как 1024x1024, 780x1024 и 1024x780. Слишком большая вариация в размере может повлиять на процесс обучения. 4. Качество: Если у вас меньше изображений, сосредоточьтесь на их качестве и разрешении, чтобы компенсировать нехватку количества. 5. Разнообразие: Включите разные темы и композиции, которые представляют ваш стиль, такие как пейзажи, персонажи, объекты и любые специфические темы, с которыми вы часто работаете. Подготовка вашего набора данных может занять несколько часов, но это важный шаг для обеспечения точности вашей модели LoRa в захвате вашего уникального художественного стиля.

После подготовки вашего набора данных следующим шагом является тегирование ваших изображений для обучения ИИ. Этот процесс включает использование блокнота Colab для автоматической генерации описаний для ваших изображений. Вот как это сделать: 1. Получите доступ к предоставленному блокноту Colab для тегирования изображений. 2. Подключите блокнот к вашему Google Drive и создайте папку проекта. 3. Загрузите ваши изображения в папку набора данных внутри вашей папки проекта. 4. Выберите одну из двух моделей зрения для тегирования: аниме (лучше для художественных изображений с персонажами) или фотография (лучше для общих изображений и пейзажей). 5. Установите порог чувствительности тегов, как предложено в блокноте. 6. Добавьте слово активации, которое будет вызывать ваш стиль во время генерации. Выберите уникальное слово, которое не будет путаться с общими тегами. Процесс тегирования обычно занимает около 4 минут. После завершения у вас будет набор тегированных изображений, готовых для обучения вашей модели LoRa.

С подготовленным и тегированным набором данных пришло время настроить блокнот для обучения. Это руководство использует блокнот Lora Trainer от Hollowstrawberry. Вот ключевые шаги: 1. Введите то же название проекта, которое вы использовали в процессе тегирования. 2. Выберите базовую модель для обучения. Популярные варианты включают Stable Diffusion SDXL base 1.0, которая хорошо подходит для создания активов. 3. Установите количество тегов активации (обычно 1, если вы использовали слово активации на предыдущем этапе). 4. Настройте параметры обучения, которые мы рассмотрим в следующем разделе. Помните, что выбор базовой модели может повлиять на то, насколько хорошо ваша LoRa работает с различными моделями генерации. Например, LoRa, обученная на SDXL base 1.0, может лучше работать с моделями, основанными на SDXL.

Правильная настройка параметров обучения имеет решающее значение для успеха вашей модели LoRa. Вот ключевые параметры, которые следует учитывать: 1. num_repeats: Количество итераций обучения с каждым изображением. 2. Epochs: Количество раз, когда модель будет обрабатывать весь набор данных. 3. batch_size: Количество изображений, которые модель будет сравнивать в каждой эпохе. Чтобы рассчитать общее количество шагов обучения, используйте эту формулу: (Количество изображений x num_repeats) / batch_size x epochs = Общее количество шагов Стремитесь к 300-500 общим шагам для оптимальных результатов. Вот несколько примеров конфигураций: - 10 изображений: 20 num_repeats, 6 batch_size, 10 epochs = 400 шагов - 50 изображений: 4 num_repeats, 6 batch_size, 10 epochs = 400 шагов - 100 изображений: 2 num_repeats, 6 batch_size, 10 epochs = 400 шагов Для оптимизатора выберите между adamW8bits (для больших наборов данных) или prodigy (для меньших наборов данных, особенно хорош для обучения персонажей). Настройте аргумент, как рекомендовано автором блокнота, при изменении оптимизатора.

После настройки всех параметров пришло время запустить процесс обучения: 1. Начните обучение, запустив блокнот. 2. Процесс обычно занимает от 1,5 до 3 часов. 3. Имейте в виду, что Google Colab предоставляет ограниченное время вычислений в день, поэтому блокнот может отключиться примерно через 3 часа. 4. Если обучение остановится до завершения, вы можете продолжить с того места, на котором оно остановилось, в новой сессии. 5. После завершения финальные файлы будут доступны в папке вывода на вашем Google Drive. Во время процесса обучения модель учится генерировать изображения в вашем стиле на основе предоставленного набора данных и тегов. Полученный файл safetensor содержит изученные параметры, которые можно использовать для управления генерацией изображений на различных платформах ИИ-искусства.

С вашей обученной моделью LoRa вы готовы начать генерировать изображения. Хотя существует множество доступных платформ, это руководство использует Civitai как бесплатную альтернативу: 1. Загрузите вашу модель LoRa на Civitai (или на вашу предпочтительную платформу). 2. Следуйте форме платформы, чтобы настроить вашу модель. Учитывайте настройки конфиденциальности, если вы хотите сохранить модель приватной на начальном этапе. 3. Выберите базовую модель, совместимую с вашей LoRa. 4. Напишите подсказку, которая включает ваше слово активации и желаемые элементы. 5. Генерируйте изображения и экспериментируйте с различными подсказками и настройками. Помните, что сгенерированные результаты не являются окончательными выводами. Вам нужно будет доработать, очистить и поработать над сгенерированными изображениями, чтобы достичь наилучших результатов. Однако эти изображения, созданные ИИ, могут служить отличной отправной точкой для макетов, заполнителей или вдохновения для вашего искусства.

Когда вы начинаете интегрировать искусство, созданное ИИ, в ваш рабочий процесс, имейте в виду следующие лучшие практики и советы: 1. Итерация — это ключ: Не ожидайте идеальных результатов с первой попытки. Экспериментируйте с различными подсказками, настройками и базовыми моделями, чтобы найти то, что лучше всего подходит для вашего стиля. 2. Постобработка необходима: Изображения, созданные ИИ, часто требуют очистки, доработки и дополнительного художественного вклада. Используйте эти генерации как отправную точку, а не как окончательный продукт. 3. Сочетайте с традиционными техниками: Интегрируйте элементы, созданные ИИ, с вашими нарисованными от руки или цифровыми произведениями для уникальных результатов. 4. Уважайте авторские права и этику: Убедитесь, что у вас есть право использовать все изображения в вашем наборе данных для обучения, и будьте прозрачными в отношении использования ИИ в вашем творческом процессе. 5. Непрерывное обучение: Оставайтесь в курсе новых разработок в генерации искусства с помощью ИИ, так как эта область быстро развивается. 6. Сохраняйте свой уникальный стиль: Используйте ИИ как инструмент для улучшения вашей креативности, а не для ее замены. Ваше художественное видение и навыки остаются наиболее важными элементами вашей работы. 7. Экспериментируйте с различными моделями: Попробуйте вашу LoRa с различными базовыми моделями, чтобы увидеть, как она работает и какие комбинации дают наилучшие результаты для вашего стиля. Следуя этому руководству и этим лучшим практикам, вы сможете использовать возможности генеративного ИИ для улучшения вашего художественного рабочего процесса, исследования новых возможностей и создания уникальных активов, которые соответствуют вашему личному стилю.