Dominando o Treinamento SDXL 1.0: Um Guia Abrangente para Entusiastas de IA

SDXL 1.0 é um modelo inovador da Stability AI, apresentando um tamanho de imagem base de 1024x1024. Isso representa uma melhoria significativa na qualidade e fidelidade da imagem em comparação com modelos anteriores de Stable Diffusion. O SDXL incorpora novos codificadores Clip e várias mudanças arquitetônicas, que impactam tanto os processos de geração de imagem quanto de treinamento. Embora a Stability AI tenha promovido o SDXL como fácil de treinar, é importante notar que os requisitos de hardware são mais altos do que o esperado inicialmente.

O treinamento do SDXL exige hardware mais robusto em comparação com o treinamento do SD 1.5 LoRA. No mínimo, são necessários 12 GB de VRAM, com alguns usuários relatando sucesso no treinamento usando 8GB de VRAM, embora a velocidades significativamente mais lentas. Para um desempenho ideal, considere o seguinte: - O PyTorch 2 tende a usar menos VRAM do que o PyTorch 1 - Habilitar o Gradient Checkpointing pode ajudar a gerenciar o uso de VRAM - O ajuste fino pode ser realizado com 24GB de VRAM usando um tamanho de lote de 1 - Para sistemas com 8GB-10GB de VRAM, tente habilitar o Gradient Checkpointing e a atenção eficiente em memória, definindo o LR Scheduler como Constante, usando o Otimizador AdamW8bit e reduzindo a Classificação da Rede e o tamanho da imagem de entrada.

O Google Colab oferece uma solução baseada em nuvem para o treinamento do SDXL, especialmente benéfica para aqueles sem acesso a hardware local de alto desempenho. Embora inicialmente se pensasse que era necessário uma conta paga do Colab Pro, atualizações recentes sugerem que o treinamento na camada gratuita pode agora ser possível. Para usar o Colab para treinamento do SDXL: 1. Escolha um notebook Colab adequado (por exemplo, o Colab Kohya_ss de Camenduru ou o Treinador Koyha XL LoRA de Johnson) 2. Familiarize-se com a interface do Colab, incluindo células, sessões e integração com o Google Drive 3. Siga as instruções do notebook, personalizando as configurações conforme necessário 4. Esteja atento ao uso da sua sessão Colab, especialmente se estiver usando Unidades de Computação pagas

Para treinamento local, a GUI Kohya_ss (versão v21.8.5 ou posterior) é uma escolha popular. Ao configurar para o treinamento do SDXL: 1. Certifique-se de ter a versão mais recente do Kohya Trainer instalada 2. Defina o caminho do Modelo SDXL e marque a caixa do Modelo SDXL nas configurações 3. Insira manualmente as configurações recomendadas ou carregue um arquivo JSON pré-configurado 4. Ajuste os caminhos das pastas e o diretório de origem do modelo SDXL para corresponder à sua configuração local

Com base em experimentos de treinamento bem-sucedidos, as seguintes configurações são recomendadas para o treinamento SDXL LoRA: - Treine contra o SDXL 1.0 Base com VAE Fix (0.9 VAE) - Use o Tipo LoRA Padrão - Defina a Precisão Mista e a Precisão de Salvamento para bf16 - Habilite Cache Latents e Cache Latents para Disco - Use o otimizador Prodigy com argumentos extras específicos - Defina a resolução máxima para 1024x1024 - Habilite o Gradient checkpointing e Use xformers - Ajuste a Classificação da Rede, Alpha e as taxas de aprendizado conforme necessário Essas configurações mostraram produzir resultados rápidos e flexíveis com uso moderado de VRAM (13-14 GB).

Para otimizar seu processo de treinamento do SDXL: 1. Experimente tamanhos de lote para encontrar o maior que não cause erros de falta de memória 2. Considere usar imagens de resolução mais baixa (por exemplo, 768x768 ou 512x512) para reduzir os requisitos de VRAM, embora isso possa impactar a qualidade 3. Preste atenção ao número de repetições, épocas e tamanho do lote para alcançar o número total de passos desejado 4. Monitore o uso de VRAM e ajuste as configurações conforme necessário 5. Para usuários do Colab, sempre desconecte-se das sessões ativas quando terminar para evitar consumo desnecessário de recursos

Experimentos de treinamento usando tanto configurações locais do Kohya quanto do Colab produziram resultados impressionantes. Por exemplo, um conjunto de dados de teste com 15 imagens apresentando Jar Jar Binks foi usado para treinar um modelo LoRA. O modelo resultante demonstrou a capacidade de gerar imagens diversas e criativas, como: - Jar Jar Binks comendo espaguete - Jar Jar Binks desenhado a lápis - Jar Jar Binks como Juiz do Tribunal - Jar Jar Binks bebê - Jar Jar Binks Pantera Fantasia - O 8º Aniversário de Jar Jar Binks Esses exemplos mostram a flexibilidade e o potencial do treinamento SDXL LoRA para criar modelos de geração de imagem especializados.