DiffusionGPT：通过LLM驱动的模型选择革新文本到图像生成

DiffusionGPT是一个创新的文本到图像生成系统，旨在解决当前稳定扩散模型的局限性。它利用大型语言模型（LLMs）创建一个统一框架，能够处理多样化的输入提示并整合领域专家模型。该系统旨在克服特定领域模型的局限性和提示类型的限制，提供高质量图像生成的多功能解决方案。

DiffusionGPT由几个关键组成部分构成： 1. 大型语言模型（LLM）：作为核心控制器，引导整个工作流程。 2. 提示解析代理：分析并提取输入提示中的重要信息。 3. 思维树（ToT）结构：根据先前知识组织各种生成模型。 4. 模型选择代理：利用人类反馈和优势数据库选择最合适的模型。 5. 提示扩展代理：增强输入提示以提高生成质量。 6. 领域专家生成模型：来自开源社区的多样化模型。

DiffusionGPT的工作流程包括四个主要步骤： 1. 提示解析：LLM分析输入提示并提取核心内容。 2. 思维树模型构建与搜索：构建并搜索模型树以识别候选模型。 3. 结合人类反馈的模型选择：使用优势数据库和人类偏好选择最合适的模型。 4. 生成执行：利用所选模型生成高质量图像，结合提示扩展以改善结果。

DiffusionGPT相较于传统文本到图像生成方法提供了几个优势： 1. 多功能性：处理多样化的提示类型，包括基于提示、基于指令、基于灵感和基于假设的输入。 2. 改进的语义对齐：生成的图像更好地捕捉输入提示的整体语义信息。 3. 提升的质量：生成更详细和准确的图像，尤其是与人类相关的物体。 4. 灵活性：轻松整合新模型并适应不同领域。 5. 人类对齐：结合人类反馈以改善模型选择和输出质量。

实验展示了DiffusionGPT的有效性： 1. 定性结果：视觉比较显示与基线模型如SD1.5和SDXL相比，语义对齐和图像美学有所改善。 2. 定量结果：DiffusionGPT在图像奖励和美学评分方面超越基线模型。 3. 用户研究：人类评估者一致偏好DiffusionGPT生成的图像，而非基线模型。 4. 消融研究：展示了思维树结构、人类反馈和提示扩展组件的有效性。

尽管DiffusionGPT显示出良好的结果，但仍有未来改进的空间： 1. 基于反馈的优化：将反馈直接纳入LLM优化过程。 2. 模型候选扩展：丰富模型生成空间，增加更多样化的模型。 3. 超越文本到图像任务：将DiffusionGPT框架应用于其他任务，如可控生成、风格迁移和属性编辑。 局限性包括需要一个大型模型库和人类反馈中的潜在偏见。正在进行的研究旨在解决这些挑战，进一步提高系统的性能和多功能性。