掌握生成式AI以定制艺术风格：艺术家的全面指南

生成式AI为艺术家开辟了新的可能性，使他们能够加速工作流程，探索有趣的替代方案，并克服技术限制。本指南专注于帮助艺术家创建自定义LoRa（低秩适应）模型，以生成他们独特风格的资产。通过遵循此过程，艺术家可以掌控其AI生成创作的一致性和风格。 本指南将引导您完成几个关键步骤： 1. 收集您自己绘画的数据集 2. 自动获取您图像的描述 3. 使用图像和描述训练算法 4. 使用生成的safetensor文件生成您风格的新图像 虽然有许多平台可用于使用您的自定义LoRa生成图像，但本指南专注于帮助您获取safetensor文件，该文件可以在各种生成平台上使用。

创建自定义LoRa模型的第一步是准备您自己绘画的数据集。以下是一些关键点： 1. 数量：至少从35张图像开始，但即使是较小的数据集也可以用于生成一个基本模型，随着时间的推移可以改进。 2. 一致性：在选择数据集的绘画时，保持您想要突出的特征的一致性。例如，如果您有特定的树木绘画风格，请包含该风格的多个示例。 3. 图像大小：虽然图像可以有不同的大小，但尽量坚持使用标准分辨率，如1024x1024、780x1024和1024x780。大小变化过大可能会影响训练过程。 4. 质量：如果您图像较少，请关注它们的质量和分辨率，以弥补数量的不足。 5. 多样性：包括不同主题和构图，代表您的风格，例如风景、角色、物体以及您经常处理的任何特定主题。 准备您的数据集可能需要几个小时，但这是确保您的LoRa模型准确捕捉您独特艺术风格的关键步骤。

准备好数据集后，下一步是为AI训练标记您的图像。此过程涉及使用Colab笔记本自动生成图像描述。以下是操作步骤： 1. 访问提供的Colab笔记本进行图像标记。 2. 将笔记本连接到您的Google Drive并创建项目文件夹。 3. 将您的图像上传到项目文件夹中的数据集文件夹。 4. 在标记时选择两种视觉模型之一：动漫（更适合基于角色的艺术）或摄影（更适合一般图像和风景）。 5. 根据笔记本的建议设置标签敏感度的阈值。 6. 添加一个激活词，在生成时触发您的风格。选择一个独特的词，以免与常见标签混淆。 标记过程通常需要约4分钟。完成后，您将拥有一组准备好用于训练您的LoRa模型的标记图像。

准备好并标记好数据集后，是时候设置训练笔记本了。本指南使用Hollowstrawberry的Lora Trainer笔记本。以下是关键步骤： 1. 输入您在标记过程中使用的相同项目名称。 2. 选择一个用于训练的基础模型。流行的选择包括Stable Diffusion SDXL base 1.0，适合资产创建。 3. 设置激活标签的数量（如果您在上一步使用了触发词，通常为1）。 4. 配置训练参数，我们将在下一部分中讨论。 请记住，基础模型的选择可能会影响您的LoRa在不同生成模型中的表现。例如，基于SDXL base 1.0训练的LoRa可能在基于SDXL的模型中表现最佳。

正确配置训练参数对您的LoRa模型的成功至关重要。以下是需要考虑的关键参数： 1. num_repeats：每张图像训练的迭代次数。 2. Epochs：模型处理整个数据集的次数。 3. batch_size：模型在每个epoch中比较的图像数量。 要计算总训练步骤，请使用以下公式： （图像数量 x num_repeats）/ batch_size x epochs = 总步骤 目标是300到500个总步骤以获得最佳结果。以下是一些示例配置： - 10张图像：20 num_repeats，6 batch_size，10 epochs = 400步骤 - 50张图像：4 num_repeats，6 batch_size，10 epochs = 400步骤 - 100张图像：2 num_repeats，6 batch_size，10 epochs = 400步骤 对于优化器，选择adamW8bits（适用于较大数据集）或prodigy（适用于较小数据集，特别适合角色训练）。在更改优化器时，根据笔记本作者的建议调整参数。

配置好所有参数后，是时候运行训练过程了： 1. 通过运行笔记本开始训练。 2. 该过程通常需要1.5到3小时。 3. 请注意，Google Colab提供有限的每日计算时间，因此笔记本可能在约3小时后断开连接。 4. 如果训练在完成之前停止，您可以在新会话中从中断的地方恢复。 5. 完成后，最终文件将在您的Google Drive的输出文件夹中可用。 在训练过程中，模型学习根据提供的数据集和标签生成您风格的图像。生成的safetensor文件包含可以用于指导各种AI艺术平台图像生成的学习参数。

拥有经过训练的LoRa模型后，您可以开始生成图像。虽然有许多可用的平台，但本指南使用Civitai作为免费的替代方案： 1. 将您的LoRa模型上传到Civitai（或您首选的平台）。 2. 按照平台的表单设置您的模型。如果您希望最初保持模型私密，请考虑隐私设置。 3. 选择与您的LoRa兼容的基础模型。 4. 编写包含您的激活词和所需元素的提示。 5. 生成图像并尝试不同的提示和设置。 请记住，生成的结果不是最终输出。您需要对生成的图像进行细化、清理和加工，以获得最佳结果。然而，这些AI生成的图像可以作为您艺术作品的优秀起点、占位符或灵感。

在您开始将AI生成艺术融入工作流程时，请记住以下最佳实践和提示： 1. 迭代是关键：不要指望第一次尝试就能得到完美的结果。尝试不同的提示、设置和基础模型，以找到最适合您风格的组合。 2. 后期处理是必不可少的：AI生成的图像通常需要清理、细化和额外的艺术输入。将这些生成视为起点，而不是最终产品。 3. 结合传统技术：将AI生成的元素与您手绘或数字创作的艺术结合，以获得独特的效果。 4. 尊重版权和伦理：确保您有权使用训练数据集中所有图像，并对您在创作过程中使用AI保持透明。 5. 持续学习：保持对AI艺术生成新发展的关注，因为该领域正在迅速发展。 6. 保持您独特的风格：将AI作为增强您创造力的工具，而不是替代它。您的艺术视野和技能仍然是您作品中最重要的元素。 7. 尝试不同的模型：尝试将您的LoRa与各种基础模型结合，以查看其表现以及哪些组合为您的风格带来最佳结果。 通过遵循本指南和这些最佳实践，您可以利用生成式AI的力量来增强您的艺术工作流程，探索新的可能性，并创建与您的个人风格相符的独特资产。