Meisterung des SDXL 1.0 Trainings: Ein umfassender Leitfaden für KI-Enthusiasten

SDXL 1.0 ist ein bahnbrechendes neues Modell von Stability AI, das eine Basisbildgröße von 1024x1024 bietet. Dies stellt eine signifikante Verbesserung der Bildqualität und -treue im Vergleich zu früheren Stable Diffusion-Modellen dar. SDXL integriert neue Clip-Encoder und verschiedene architektonische Änderungen, die sowohl die Bildgenerierung als auch die Trainingsprozesse beeinflussen. Während Stability AI SDXL als einfach zu trainieren bewirbt, ist es wichtig zu beachten, dass die Hardwareanforderungen höher sind als zunächst erwartet.

Das Training von SDXL erfordert robustere Hardware im Vergleich zum Training von SD 1.5 LoRA. Mindestens 12 GB VRAM sind notwendig, wobei einige Benutzer erfolgreich mit 8 GB VRAM trainiert haben, jedoch bei deutlich langsameren Geschwindigkeiten. Für optimale Leistung sollten Sie Folgendes beachten: - PyTorch 2 benötigt tendenziell weniger VRAM als PyTorch 1 - Aktivierung von Gradient Checkpointing kann helfen, den VRAM-Verbrauch zu steuern - Feinabstimmung kann mit 24 GB VRAM bei einer Batch-Größe von 1 durchgeführt werden - Für Systeme mit 8 GB-10 GB VRAM versuchen Sie, Gradient Checkpointing und speichereffiziente Aufmerksamkeit zu aktivieren, den LR Scheduler auf Konstant zu setzen, den Optimierer AdamW8bit zu verwenden und den Netzwerk-Rang sowie die Eingabebildgröße zu reduzieren.

Google Colab bietet eine cloudbasierte Lösung für das Training von SDXL, die besonders vorteilhaft für diejenigen ist, die keinen Zugang zu leistungsstarker lokaler Hardware haben. Während ursprünglich angenommen wurde, dass ein kostenpflichtiges Colab Pro-Konto erforderlich ist, deuten aktuelle Updates darauf hin, dass das Training im kostenlosen Tarif jetzt möglich sein könnte. Um Colab für das SDXL-Training zu nutzen: 1. Wählen Sie ein geeignetes Colab-Notebook (z. B. Camendurus Kohya_ss Colab oder Johnsons Fork Koyha XL LoRA Trainer) 2. Machen Sie sich mit der Benutzeroberfläche von Colab vertraut, einschließlich Zellen, Sitzungen und Google Drive-Integration 3. Befolgen Sie die Anweisungen des Notebooks und passen Sie die Einstellungen nach Bedarf an 4. Achten Sie auf Ihre Colab-Sitzungsnutzung, insbesondere wenn Sie kostenpflichtige Compute-Einheiten verwenden.

Für das lokale Training ist die Kohya_ss GUI (Version v21.8.5 oder später) eine beliebte Wahl. Bei der Einrichtung für das SDXL-Training: 1. Stellen Sie sicher, dass Sie die neueste Version des Kohya Trainers installiert haben 2. Setzen Sie den SDXL-Modellpfad und aktivieren Sie das SDXL-Modellfeld in den Einstellungen 3. Geben Sie entweder die empfohlenen Einstellungen manuell ein oder laden Sie eine vorkonfigurierte JSON-Datei 4. Passen Sie die Ordnerpfade und das SDXL-Modellverzeichnis an Ihre lokale Konfiguration an.

Basierend auf erfolgreichen Trainingsexperimenten werden die folgenden Einstellungen für das SDXL LoRA-Training empfohlen: - Trainieren Sie gegen das SDXL 1.0 Basis mit VAE Fix (0.9 VAE) - Verwenden Sie den Standard LoRA-Typ - Setzen Sie gemischte Präzision und Speicherpräzision auf bf16 - Aktivieren Sie Cache Latents und Cache Latents auf Disk - Verwenden Sie den Prodigy-Optimierer mit spezifischen zusätzlichen Argumenten - Setzen Sie die maximale Auflösung auf 1024x1024 - Aktivieren Sie Gradient Checkpointing und verwenden Sie xformers - Passen Sie Netzwerk-Rang, Alpha und Lernraten nach Bedarf an Diese Einstellungen haben sich als schnell und flexibel erwiesen, mit moderatem VRAM-Verbrauch (13-14 GB).

Um Ihren SDXL-Trainingsprozess zu optimieren: 1. Experimentieren Sie mit Batch-Größen, um die größte zu finden, die keine Out-of-Memory-Fehler verursacht 2. Ziehen Sie in Betracht, Bilder mit niedrigerer Auflösung (z. B. 768x768 oder 512x512) zu verwenden, um die VRAM-Anforderungen zu reduzieren, obwohl dies die Qualität beeinträchtigen kann 3. Achten Sie auf die Anzahl der Wiederholungen, Epochen und die Batch-Größe, um die gewünschte Gesamtanzahl an Schritten zu erreichen 4. Überwachen Sie die VRAM-Nutzung und passen Sie die Einstellungen entsprechend an 5. Für Colab-Nutzer: Trennen Sie sich immer von aktiven Sitzungen, wenn Sie fertig sind, um unnötigen Ressourcenverbrauch zu vermeiden.

Trainingsexperimente mit sowohl lokalen Kohya- als auch Colab-Setups haben beeindruckende Ergebnisse geliefert. Beispielsweise wurde ein Testdatensatz von 15 Bildern mit Jar Jar Binks verwendet, um ein LoRA-Modell zu trainieren. Das resultierende Modell zeigte die Fähigkeit, vielfältige und kreative Bilder zu generieren, wie z. B.: - Jar Jar Binks, der Spaghetti isst - Mit Linie gezeichneter Jar Jar Binks - Gericht Justiz Jar Jar Binks - Kleinkind Jar Jar Binks - Fantasie-Panther Jar Jar Binks - Jar Jar Binks' 8. Geburtstag Diese Beispiele zeigen die Flexibilität und das Potenzial des SDXL LoRA-Trainings zur Erstellung spezialisierter Bildgenerierungsmodelle.