SDXL 1.0 교육 마스터하기: AI 애호가를 위한 종합 가이드

SDXL 1.0은 Stability AI의 혁신적인 새로운 모델로, 기본 이미지 크기는 1024x1024입니다. 이는 이전 Stable Diffusion 모델에 비해 이미지 품질과 충실도가 크게 향상된 것을 의미합니다. SDXL은 새로운 Clip 인코더와 다양한 구조적 변화를 통합하여 이미지 생성 및 훈련 과정에 영향을 미칩니다. Stability AI는 SDXL이 훈련하기 쉽다고 홍보했지만, 하드웨어 요구 사항이 예상보다 더 높다는 점에 유의해야 합니다.

SDXL 훈련은 SD 1.5 LoRA 훈련에 비해 더 강력한 하드웨어를 요구합니다. 최소 12GB의 VRAM이 필요하며, 일부 사용자는 8GB VRAM을 사용하여 성공적으로 훈련했다고 보고했지만, 속도가 상당히 느려졌습니다. 최적의 성능을 위해 다음 사항을 고려하세요: - PyTorch 2는 PyTorch 1보다 VRAM을 덜 사용하는 경향이 있습니다. - Gradient Checkpointing을 활성화하면 VRAM 사용량을 관리하는 데 도움이 됩니다. - 배치 크기 1로 24GB VRAM을 사용하여 미세 조정할 수 있습니다. - 8GB-10GB VRAM을 가진 시스템에서는 Gradient Checkpointing 및 메모리 효율적인 주의를 활성화하고, LR Scheduler를 Constant로 설정하며, Optimizer를 AdamW8bit로 사용하고, 네트워크 랭크 및 입력 이미지 크기를 줄여보세요.

Google Colab은 SDXL 훈련을 위한 클라우드 기반 솔루션을 제공하며, 고급 로컬 하드웨어에 접근할 수 없는 사용자에게 특히 유용합니다. 처음에는 유료 Colab Pro 계정이 필요할 것으로 생각되었지만, 최근 업데이트에 따르면 무료 계정으로도 훈련이 가능할 수 있습니다. SDXL 훈련을 위해 Colab을 사용하려면: 1. 적절한 Colab 노트북 선택 (예: Camenduru의 Kohya_ss Colab 또는 Johnson의 Fork Koyha XL LoRA Trainer) 2. 셀, 세션 및 Google Drive 통합을 포함한 Colab 인터페이스에 익숙해지기 3. 노트북의 지침을 따르고 필요에 따라 설정을 사용자 정의하기 4. 유료 컴퓨트 유닛을 사용하는 경우 Colab 세션 사용에 유의하기

로컬 훈련의 경우, Kohya_ss GUI (버전 v21.8.5 이상)가 인기 있는 선택입니다. SDXL 훈련을 설정할 때: 1. 최신 버전의 Kohya Trainer가 설치되어 있는지 확인하기 2. SDXL 모델 경로를 설정하고 설정에서 SDXL 모델 박스를 체크하기 3. 추천 설정을 수동으로 입력하거나 미리 구성된 JSON 파일을 로드하기 4. 폴더 경로 및 SDXL 모델 소스 디렉토리를 로컬 설정에 맞게 조정하기

성공적인 훈련 실험을 바탕으로 SDXL LoRA 훈련을 위한 다음 설정을 추천합니다: - VAE Fix (0.9 VAE)를 사용하여 SDXL 1.0 Base에 대해 훈련하기 - 표준 LoRA 유형 사용 - 혼합 정밀도 및 저장 정밀도를 bf16으로 설정하기 - Cache Latents 및 Cache Latents to Disk 활성화하기 - 특정 추가 인수와 함께 Prodigy 옵티마이저 사용하기 - 최대 해상도를 1024x1024로 설정하기 - Gradient checkpointing 활성화 및 xformers 사용하기 - 필요에 따라 네트워크 랭크, 알파 및 학습률 조정하기 이 설정은 중간 VRAM 사용량(13-14GB)으로 빠르고 유연한 결과를 생성하는 것으로 나타났습니다.

SDXL 훈련 프로세스를 최적화하려면: 1. 메모리 부족 오류를 일으키지 않는 최대 배치 크기를 찾기 위해 배치 크기를 실험해보세요. 2. VRAM 요구 사항을 줄이기 위해 낮은 해상도 이미지(예: 768x768 또는 512x512)를 사용하는 것을 고려하세요. 그러나 이는 품질에 영향을 미칠 수 있습니다. 3. 원하는 총 단계 수를 달성하기 위해 반복 횟수, 에포크 및 배치 크기에 주의하세요. 4. VRAM 사용량을 모니터링하고 설정을 조정하세요. 5. Colab 사용자는 항상 세션이 끝난 후 활성 세션에서 연결을 끊어 불필요한 자원 소비를 피하세요.

로컬 Kohya 및 Colab 설정을 사용한 훈련 실험은 인상적인 결과를 가져왔습니다. 예를 들어, Jar Jar Binks를 특징으로 하는 15개의 이미지로 구성된 테스트 데이터셋을 사용하여 LoRA 모델을 훈련했습니다. 결과 모델은 다음과 같은 다양한 창의적인 이미지를 생성할 수 있는 능력을 보여주었습니다: - 스파게티를 먹고 있는 Jar Jar Binks - 선으로 그린 Jar Jar Binks - 법원 판사 Jar Jar Binks - 유아 Jar Jar Binks - 판타지 팬서 Jar Jar Binks - Jar Jar Binks의 8번째 생일 이 예시는 SDXL LoRA 훈련의 유연성과 전문화된 이미지 생성 모델을 만드는 잠재력을 보여줍니다.