Dominando el Entrenamiento de SDXL 1.0: Una Guía Completa para Entusiastas de la IA

SDXL 1.0 es un modelo innovador de Stability AI, que presenta un tamaño de imagen base de 1024x1024. Esto representa una mejora significativa en la calidad y fidelidad de las imágenes en comparación con los modelos anteriores de Stable Diffusion. SDXL incorpora nuevos codificadores Clip y varios cambios arquitectónicos, que impactan tanto en la generación de imágenes como en los procesos de entrenamiento. Aunque Stability AI ha promovido SDXL como fácil de entrenar, es importante señalar que los requisitos de hardware son más altos de lo inicialmente esperado.

Entrenar SDXL requiere hardware más robusto en comparación con el entrenamiento de SD 1.5 LoRA. Como mínimo, se necesitan 12 GB de VRAM, aunque algunos usuarios han informado de entrenamientos exitosos utilizando 8GB de VRAM, aunque a velocidades significativamente más lentas. Para un rendimiento óptimo, considera lo siguiente: - PyTorch 2 tiende a usar menos VRAM que PyTorch 1 - Habilitar el Gradient Checkpointing puede ayudar a gestionar el uso de VRAM - El ajuste fino se puede realizar con 24GB de VRAM utilizando un tamaño de lote de 1 - Para sistemas con 8GB-10GB de VRAM, intenta habilitar el Gradient Checkpointing y la atención eficiente en memoria, configurando el LR Scheduler en Constante, utilizando el Optimizador AdamW8bit y reduciendo el Rango de la Red y el tamaño de la imagen de entrada.

Google Colab ofrece una solución basada en la nube para entrenar SDXL, especialmente beneficiosa para aquellos sin acceso a hardware local de alta gama. Aunque inicialmente se pensó que requería una cuenta de Colab Pro de pago, actualizaciones recientes sugieren que el entrenamiento en la capa gratuita puede ser ahora posible. Para usar Colab para el entrenamiento de SDXL: 1. Elige un cuaderno de Colab adecuado (por ejemplo, el Colab de Kohya_ss de Camenduru o el Entrenador Koyha XL LoRA de Johnson) 2. Familiarízate con la interfaz de Colab, incluyendo celdas, sesiones e integración con Google Drive 3. Sigue las instrucciones del cuaderno, personalizando la configuración según sea necesario 4. Ten en cuenta el uso de tu sesión de Colab, especialmente si utilizas Unidades de Cómputo de pago

Para el entrenamiento local, la GUI de Kohya_ss (versión v21.8.5 o posterior) es una opción popular. Al configurar para el entrenamiento de SDXL: 1. Asegúrate de tener la última versión del Entrenador Kohya instalada 2. Establece la ruta del Modelo SDXL y marca la casilla del Modelo SDXL en la configuración 3. Ingresa manualmente la configuración recomendada o carga un archivo JSON preconfigurado 4. Ajusta las rutas de las carpetas y el directorio de origen del modelo SDXL para que coincidan con tu configuración local

Basado en experimentos de entrenamiento exitosos, se recomiendan las siguientes configuraciones para el entrenamiento de SDXL LoRA: - Entrenar contra SDXL 1.0 Base con VAE Fix (0.9 VAE) - Usar Tipo LoRA Estándar - Configurar Precisión Mixta y Guardar Precisión en bf16 - Habilitar Cache Latents y Cache Latents en Disco - Usar el optimizador Prodigy con argumentos adicionales específicos - Establecer la resolución máxima en 1024x1024 - Habilitar el Gradient checkpointing y Usar xformers - Ajustar el Rango de la Red, Alpha y las tasas de aprendizaje según sea necesario Estas configuraciones han demostrado producir resultados rápidos y flexibles con un uso moderado de VRAM (13-14 GB).

Para optimizar tu proceso de entrenamiento de SDXL: 1. Experimenta con tamaños de lote para encontrar el más grande que no cause errores de falta de memoria 2. Considera usar imágenes de menor resolución (por ejemplo, 768x768 o 512x512) para reducir los requisitos de VRAM, aunque esto puede afectar la calidad 3. Presta atención al número de repeticiones, épocas y tamaño de lote para lograr tu número total de pasos deseado 4. Monitorea el uso de VRAM y ajusta la configuración según sea necesario 5. Para usuarios de Colab, siempre desconéctate de las sesiones activas cuando termines para evitar un consumo innecesario de recursos

Los experimentos de entrenamiento utilizando tanto configuraciones locales de Kohya como Colab han producido resultados impresionantes. Por ejemplo, se utilizó un conjunto de datos de prueba de 15 imágenes con Jar Jar Binks para entrenar un modelo LoRA. El modelo resultante demostró la capacidad de generar imágenes diversas y creativas, tales como: - Jar Jar Binks comiendo espagueti - Jar Jar Binks dibujado a línea - Jar Jar Binks como Juez de la Corte - Jar Jar Binks de niño - Jar Jar Binks pantera de fantasía - El 8º Cumpleaños de Jar Jar Binks Estos ejemplos muestran la flexibilidad y el potencial del entrenamiento de SDXL LoRA para crear modelos de generación de imágenes especializados.