掌握 SDXL 1.0 训练：AI 爱好者的全面指南

SDXL 1.0 是 Stability AI 推出的突破性新模型，基础图像大小为 1024x1024。这相比于之前的 Stable Diffusion 模型在图像质量和保真度上有了显著提升。SDXL 结合了新的 Clip 编码器和各种架构变化，这些变化影响了图像生成和训练过程。虽然 Stability AI 宣传 SDXL 易于训练，但需要注意的是，硬件要求比最初预期的要高。

训练 SDXL 需要比训练 SD 1.5 LoRA 更强大的硬件。至少需要 12 GB 的 VRAM，一些用户报告使用 8GB VRAM 成功训练，尽管速度显著较慢。为了获得最佳性能，请考虑以下几点： - PyTorch 2 通常比 PyTorch 1 使用更少的 VRAM - 启用梯度检查点可以帮助管理 VRAM 使用 - 使用 24GB VRAM 和批量大小为 1 可以完成微调 - 对于 8GB-10GB VRAM 的系统，尝试启用梯度检查点和内存高效注意力，将 LR 调度器设置为常量，使用优化器 AdamW8bit，并减少网络等级和输入图像大小。

Google Colab 提供了一种基于云的解决方案来训练 SDXL，特别适合那些没有高端本地硬件的人。虽然最初认为需要付费的 Colab Pro 账户，但最近的更新表明现在可能可以使用免费层进行训练。要使用 Colab 进行 SDXL 训练： 1. 选择合适的 Colab 笔记本（例如，Camenduru 的 Kohya_ss Colab 或 Johnson 的 Fork Koyha XL LoRA Trainer） 2. 熟悉 Colab 的界面，包括单元格、会话和 Google Drive 集成 3. 按照笔记本的说明进行操作，根据需要自定义设置 4. 注意您的 Colab 会话使用情况，特别是在使用付费计算单元时。

对于本地训练，Kohya_ss GUI（版本 v21.8.5 或更高）是一个流行的选择。在设置 SDXL 训练时： 1. 确保安装了最新版本的 Kohya Trainer 2. 设置 SDXL 模型路径，并在设置中勾选 SDXL 模型框 3. 手动输入推荐设置或加载预配置的 JSON 文件 4. 调整文件夹路径和 SDXL 模型源目录以匹配您的本地设置。

根据成功的训练实验，推荐以下 SDXL LoRA 训练设置： - 针对 SDXL 1.0 基础模型进行训练，使用 VAE 修复（0.9 VAE） - 使用标准 LoRA 类型 - 将混合精度和保存精度设置为 bf16 - 启用缓存潜变量并将潜变量缓存到磁盘 - 使用 Prodigy 优化器并添加特定的额外参数 - 将最大分辨率设置为 1024x1024 - 启用梯度检查点并使用 xformers - 根据需要调整网络等级、Alpha 和学习率。 这些设置已被发现能够在适度的 VRAM 使用（13-14 GB）下产生快速、灵活的结果。

要优化您的 SDXL 训练过程： 1. 尝试不同的批量大小，以找到不会导致内存溢出错误的最大值 2. 考虑使用较低分辨率的图像（例如，768x768 或 512x512）以减少 VRAM 要求，尽管这可能会影响质量 3. 注意重复次数、周期和批量大小，以实现所需的总步骤数 4. 监控 VRAM 使用情况并相应调整设置 5. 对于 Colab 用户，完成后始终断开与活动会话的连接，以避免不必要的资源消耗。

使用本地 Kohya 和 Colab 设置进行的训练实验取得了令人印象深刻的结果。例如，使用包含 15 张 Jar Jar Binks 图像的测试数据集训练了一个 LoRA 模型。生成的模型展示了生成多样和创意图像的能力，例如： - Jar Jar Binks 吃意大利面 - 线条画的 Jar Jar Binks - 法庭正义的 Jar Jar Binks - 幼儿 Jar Jar Binks - 幻想中的黑豹 Jar Jar Binks - Jar Jar Binks 的第八个生日 这些例子展示了 SDXL LoRA 训练在创建专业图像生成模型方面的灵活性和潜力。