Meisterung von Generative AI für benutzerdefinierte Kunststile: Ein umfassender Leitfaden für Künstler

Generative AI hat neue Möglichkeiten für Künstler eröffnet, indem sie deren Arbeitsabläufe beschleunigt, interessante Alternativen erkundet und technische Einschränkungen überwunden werden. Dieser Leitfaden konzentriert sich darauf, Künstlern zu helfen, benutzerdefinierte LoRa (Low-Rank Adaptation) Modelle zu erstellen, um Assets in ihrem einzigartigen Stil zu generieren. Durch das Befolgen dieses Prozesses können Künstler die Konsistenz und den Stil ihrer KI-generierten Kreationen kontrollieren. Der Leitfaden führt Sie durch mehrere wichtige Schritte: 1. Sammeln eines Datensatzes Ihrer eigenen Zeichnungen 2. Automatisches Erhalten von Beschreibungen für Ihre Bilder 3. Trainieren eines Algorithmus mit den Bildern und Beschreibungen 4. Verwenden der resultierenden Safetensor-Datei, um neue Bilder in Ihrem Stil zu generieren Obwohl es viele Plattformen gibt, die das Generieren von Bildern mit Ihrem benutzerdefinierten LoRa ermöglichen, konzentriert sich dieser Leitfaden darauf, Ihnen zu helfen, die Safetensor-Datei zu erhalten, die auf verschiedenen Generierungsplattformen verwendet werden kann.

Der erste Schritt zur Erstellung Ihres benutzerdefinierten LoRa-Modells besteht darin, einen Datensatz Ihrer eigenen Zeichnungen vorzubereiten. Hier sind einige wichtige Punkte zu beachten: 1. Menge: Beginnen Sie mit mindestens 35 Bildern, aber auch ein kleinerer Datensatz kann nützlich sein, um ein grundlegendes Modell zu generieren, das im Laufe der Zeit verbessert werden kann. 2. Konsistenz: Achten Sie bei der Auswahl der Zeichnungen für Ihren Datensatz auf Konsistenz in den Merkmalen, die Sie hervorheben möchten. Wenn Sie beispielsweise einen bestimmten Stil für das Zeichnen von Bäumen haben, fügen Sie mehrere Beispiele dieses Stils hinzu. 3. Bildgrößen: Während Bilder unterschiedliche Größen haben können, versuchen Sie, sich an Standardauflösungen wie 1024x1024, 780x1024 und 1024x780 zu halten. Zu große Größenvariationen können den Trainingsprozess beeinträchtigen. 4. Qualität: Wenn Sie weniger Bilder haben, konzentrieren Sie sich auf deren Qualität und Auflösung, um den Mangel an Menge auszugleichen. 5. Vielfalt: Fügen Sie verschiedene Motive und Kompositionen hinzu, die Ihren Stil repräsentieren, wie Landschaften, Charaktere, Objekte und spezifische Themen, mit denen Sie häufig arbeiten. Die Vorbereitung Ihres Datensatzes kann einige Stunden in Anspruch nehmen, ist jedoch ein entscheidender Schritt, um sicherzustellen, dass Ihr LoRa-Modell Ihren einzigartigen künstlerischen Stil genau erfasst.

Nachdem Sie Ihren Datensatz vorbereitet haben, besteht der nächste Schritt darin, Ihre Bilder für das KI-Training zu taggen. Dieser Prozess umfasst die Verwendung eines Colab-Notebooks, um automatisch Beschreibungen für Ihre Bilder zu generieren. So geht's: 1. Greifen Sie auf das bereitgestellte Colab-Notebook für das Tagging von Bildern zu. 2. Verbinden Sie das Notebook mit Ihrem Google Drive und erstellen Sie einen Projektordner. 3. Laden Sie Ihre Bilder in den Datensatzordner innerhalb Ihres Projektordners hoch. 4. Wählen Sie zwischen zwei Vision-Modellen für das Tagging: Anime (besser für charakterbasierte Kunst) oder Fotografie (besser für allgemeine Bilder und Landschaften). 5. Stellen Sie die Schwelle für die Tag-Empfindlichkeit gemäß den Vorschlägen des Notebooks ein. 6. Fügen Sie ein Aktivierungswort hinzu, das Ihren Stil während der Generierung auslöst. Wählen Sie ein einzigartiges Wort, das nicht mit gängigen Tags verwechselt wird. Der Tagging-Prozess dauert in der Regel etwa 4 Minuten. Nach Abschluss haben Sie eine Reihe von getaggten Bildern, die bereit sind, Ihr LoRa-Modell zu trainieren.

Nachdem Ihr Datensatz vorbereitet und getaggt ist, ist es an der Zeit, das Trainingsnotebook einzurichten. Dieser Leitfaden verwendet das Lora Trainer-Notebook von Hollowstrawberry. Hier sind die wichtigsten Schritte: 1. Geben Sie denselben Projektnamen ein, den Sie im Tagging-Prozess verwendet haben. 2. Wählen Sie ein Basis-Modell für das Training. Beliebte Optionen sind das Stable Diffusion SDXL Basis 1.0, das sich gut für die Erstellung von Assets eignet. 3. Legen Sie die Anzahl der Aktivierungstags fest (in der Regel 1, wenn Sie im vorherigen Schritt ein Triggerwort verwendet haben). 4. Konfigurieren Sie die Trainingsparameter, die wir im nächsten Abschnitt behandeln werden. Denken Sie daran, dass die Wahl des Basis-Modells beeinflussen kann, wie gut Ihr LoRa mit verschiedenen Generierungsmodellen funktioniert. Ein LoRa, das auf SDXL Basis 1.0 trainiert wurde, funktioniert möglicherweise am besten mit Modellen, die auf SDXL basieren.

Die ordnungsgemäße Konfiguration der Trainingsparameter ist entscheidend für den Erfolg Ihres LoRa-Modells. Hier sind die wichtigsten Parameter, die Sie berücksichtigen sollten: 1. num_repeats: Die Anzahl der Wiederholungen des Trainings mit jedem Bild. 2. Epochen: Die Anzahl der Male, die das Modell den gesamten Datensatz verarbeitet. 3. batch_size: Die Anzahl der Bilder, die das Modell in jeder Epoche vergleicht. Um die Gesamtzahl der Trainingsschritte zu berechnen, verwenden Sie diese Formel: (Anzahl der Bilder x num_repeats) / batch_size x Epochen = Gesamtzahl der Schritte Zielen Sie auf 300 bis 500 Gesamtschritte für optimale Ergebnisse ab. Hier sind einige Beispielkonfigurationen: - 10 Bilder: 20 num_repeats, 6 batch_size, 10 Epochen = 400 Schritte - 50 Bilder: 4 num_repeats, 6 batch_size, 10 Epochen = 400 Schritte - 100 Bilder: 2 num_repeats, 6 batch_size, 10 Epochen = 400 Schritte Für den Optimierer wählen Sie zwischen adamW8bits (für größere Datensätze) oder prodigy (für kleinere Datensätze, besonders gut für das Training von Charakteren). Passen Sie das Argument gemäß den Empfehlungen des Notebook-Autors an, wenn Sie den Optimierer ändern.

Nachdem Sie alle Parameter konfiguriert haben, ist es an der Zeit, den Trainingsprozess zu starten: 1. Starten Sie das Training, indem Sie das Notebook ausführen. 2. Der Prozess dauert in der Regel zwischen 1,5 und 3 Stunden. 3. Beachten Sie, dass Google Colab eine begrenzte tägliche Rechenzeit bietet, sodass das Notebook nach etwa 3 Stunden getrennt werden kann. 4. Wenn das Training vor Abschluss stoppt, können Sie in einer neuen Sitzung dort weitermachen, wo es aufgehört hat. 5. Nach Abschluss sind die endgültigen Dateien im Ausgabeverzeichnis auf Ihrem Google Drive verfügbar. Während des Trainingsprozesses lernt das Modell, Bilder in Ihrem Stil basierend auf dem bereitgestellten Datensatz und den Tags zu generieren. Die resultierende Safetensor-Datei enthält die gelernten Parameter, die zur Steuerung der Bildgenerierung auf verschiedenen KI-Kunstplattformen verwendet werden können.

Mit Ihrem trainierten LoRa-Modell sind Sie bereit, Bilder zu generieren. Obwohl es viele Plattformen gibt, verwendet dieser Leitfaden Civitai als kostenlose Alternative: 1. Laden Sie Ihr LoRa-Modell auf Civitai (oder Ihre bevorzugte Plattform) hoch. 2. Befolgen Sie das Formular der Plattform, um Ihr Modell einzurichten. Berücksichtigen Sie die Datenschutzeinstellungen, wenn Sie das Modell zunächst privat halten möchten. 3. Wählen Sie ein Basis-Modell, das mit Ihrem LoRa kompatibel ist. 4. Schreiben Sie einen Prompt, der Ihr Aktivierungswort und die gewünschten Elemente enthält. 5. Generieren Sie Bilder und experimentieren Sie mit verschiedenen Prompts und Einstellungen. Denken Sie daran, dass die generierten Ergebnisse keine endgültigen Ausgaben sind. Sie müssen die generierten Bilder verfeinern, bereinigen und daran arbeiten, um die besten Ergebnisse zu erzielen. Diese KI-generierten Bilder können jedoch hervorragende Ausgangspunkte für Mockups, Platzhalter oder Inspiration für Ihre Kunstwerke sein.

Wenn Sie beginnen, KI-generierte Kunst in Ihren Arbeitsablauf zu integrieren, beachten Sie diese Best Practices und Tipps: 1. Iteration ist der Schlüssel: Erwarten Sie keine perfekten Ergebnisse beim ersten Versuch. Experimentieren Sie mit verschiedenen Prompts, Einstellungen und Basis-Modellen, um herauszufinden, was am besten zu Ihrem Stil passt. 2. Nachbearbeitung ist unerlässlich: KI-generierte Bilder erfordern oft eine Bereinigung, Verfeinerung und zusätzliche künstlerische Eingaben. Verwenden Sie diese Generationen als Ausgangspunkt, nicht als Endprodukt. 3. Kombinieren Sie mit traditionellen Techniken: Integrieren Sie KI-generierte Elemente mit Ihrer handgezeichneten oder digital erstellten Kunst für einzigartige Ergebnisse. 4. Respektieren Sie Urheberrechte und Ethik: Stellen Sie sicher, dass Sie das Recht haben, alle Bilder in Ihrem Trainingsdatensatz zu verwenden, und seien Sie transparent über die Verwendung von KI in Ihrem kreativen Prozess. 5. Kontinuierliches Lernen: Bleiben Sie über neue Entwicklungen in der KI-Kunstgenerierung informiert, da sich das Feld schnell weiterentwickelt. 6. Bewahren Sie Ihren einzigartigen Stil: Nutzen Sie KI als Werkzeug, um Ihre Kreativität zu fördern, nicht um sie zu ersetzen. Ihre künstlerische Vision und Fähigkeiten bleiben die wichtigsten Elemente Ihrer Arbeit. 7. Experimentieren Sie mit verschiedenen Modellen: Probieren Sie Ihr LoRa mit verschiedenen Basis-Modellen aus, um zu sehen, wie es funktioniert und welche Kombinationen die besten Ergebnisse für Ihren Stil liefern. Indem Sie diesen Leitfaden und diese Best Practices befolgen, können Sie die Kraft der generativen KI nutzen, um Ihren künstlerischen Arbeitsablauf zu verbessern, neue Möglichkeiten zu erkunden und einzigartige Assets zu erstellen, die mit Ihrem persönlichen Stil übereinstimmen.