처음으로 GPU로 뭘 가르쳐 본 후기 (feat. LoRA)

어제 첫 LoRA 학습 이후 좀더 여기저기서 사전 정보를 찾아보고 2회차 학습을 시도해보았습니다.

제미나이의 권장사항과는 달랐는데요.

제미나이가 설명해준 최적의 데이타 세트는 아래와 같았습니다.

전략적으로 보았을 때, **학습하려는 모델(Base Model)**에 따라 승자가 달라집니다. 하지만 최신 트렌드(SDXL, Pony, Flux)를 기준으로 한다면 1024x1024 쪽이 압도적으로 유리합니다.

단, "1024 해상도인데 얼굴이 작게 나온 사진"은 최악입니다. 이 미묘한 차이와 승리 전략을 정리해 드립니다.

1. 512x512 얼굴 꽉 찬 사진 (Face Close-up)

• 장점: 얼굴의 점, 속눈썹, 피부 질감 등 디테일 학습에 유리합니다. AI가 "아, 눈은 이렇게 생겼구나"를 확실히 배웁니다.

• 치명적 단점:

  • SDXL/Pony/Flux에서 사용 불가: 최신 모델들은 기본 학습 해상도가 1024입니다. 512짜리 사진을 넣으면 강제로 늘리거나(흐릿해짐), 픽셀이 뭉개져서 화질이 박살납니다.

  • 대두(Floating Head) 현상: 얼굴만 둥둥 떠다니는 이미지만 생성하게 될 위험이 큽니다. 목과 어깨의 연결 부위를 모르게 됩니다.

2. 1024x1024 몸까지 나온 사진 (Full Body / Upper Body)

• 장점: 최신 모델(SDXL 등)의 네이티브 해상도에 맞습니다. 신체 비율과 스타일을 함께 학습합니다.

• 치명적 단점:

  • 얼굴 픽셀 부족: 1024 캔버스 안에 전신이 들어가면, 실제 얼굴이 차지하는 면적은 100x100 픽셀도 안 될 수 있습니다.

  • 결과적으로 AI는 "사람 형체"는 그리는데, "이목구비가 뭉개진(누구세요?)" 결과물을 내놓습니다.

3. 필승 전략: "고해상도 원본 + 스마트 크롭"

질문하신 두 가지 중 하나를 고르는 것이 아니라, 1024 해상도를 유지하면서 얼굴 비중을 높이는 제3의 방법을 써야 고퀄리티 LoRA가 나옵니다.

전략 A: 얼빡샷 (Face) 비중을 50% 이상으로

학습 데이터의 절반 이상은 **"1024x1024 해상도이되, 얼굴이 화면의 60% 이상을 꽉 채운 사진"**이어야 합니다.

• 방법: 전신 사진이라도 얼굴 부분만 잘라내서(Crop) 1024로 리사이징(Upscale) 하세요. (단, 원본 화질이 좋아야 함)

전략 B: 버킷(Bucketing) 활용 (정사각형 강박 버리기)

꼭 1024x1024 정사각형일 필요가 없습니다. 요즘 학습 툴(Kohya_ss 등)은 직사각형을 지원합니다.

• 몸을 보여주고 싶다면 832x1216 (세로 긴 비율) 등으로 잘라서, 얼굴이 차지하는 픽셀 면적을 확보하면서 몸도 보여주세요.

4. 요약: 이렇게 구성하세요

인물 LoRA 학습 시 가장 이상적인 20장 구성은 다음과 같습니다.

1. 초근접 (얼굴 꽉 참): 1024x1024 (또는 비슷한 고해상도) - 10장

   • 목적: 눈매, 쌍꺼풀, 입술 모양 등 '닮음'을 결정짓는 요소 학습.

2. 상반신 (가슴~허리 위): 1024x1024 - 6장

   • 목적: 헤어 스타일, 목선, 어깨 넓이 학습.

3. 전신/무릎 위: 1024x1024 - 4장

   • 목적: 전체적인 체형 학습 (얼굴 디테일은 포기하고 체형만 가르치는 용도).

결론:512px 사진은 버리세요(SD 1.5 쓸 거 아니면).1024px 캔버스에 얼굴이 크게(꽉 차게) 들어간 사진이 가장 전략적으로 유리합니다.

------

그런데 3시간 350W 태우기에는 전기요금 고지서가 두려워서...

1/4인 512pix 로 시도를 강행하기로 해보았습니다.

픽셀이 1/4이기 때문에 소요시간은 약 1/3로 줄었습니다. 1시간 13분만에 끝!

이제 품질을 평가해볼 시간입니다.

사진들의 일관적인 특징은 얼굴이 대부분이었기 때문에...

1000스텝 부터도 어느정도 아이양 얼굴이 표현이 되고 있습니다.

*aiangv2=3000스텝, aiang=3000스텝 입니다.

그런데 확대해서 보면 차이가 조금 있습니다. 512*512로 학습한 LoRA에서 픽셀 패턴이 보입니다.

이게 아까 제미나이가 설명해준,

치명적 단점:

SDXL/Pony/Flux에서 사용 불가: 최신 모델들은 기본 학습 해상도가 1024입니다. 512짜리 사진을 넣으면 강제로 늘리거나(흐릿해짐), 픽셀이 뭉개져서 화질이 박살납니다.

에 해당하는 것으로 생각이 되었습니다.

클로즈업 한 이미지를 생성했을 때는 노이즈 제거 과정에서 제거되어 괜찮은 품질을 보여줍니다.

여기서 부터 과적합 (과하게 학습한 결과물)이 보이기 시작합니다.

아이앙v2 LoRA에 팔자주름이 도드라져 보입니다.

v2 3000은 얼굴이 더 심하게 찐해져 있습니다.

v1 3000보다는 v2 2500이 제가 주관적으로 느낀 아이앙의 이미지에 가깝습니다.

아이앙 우측 여행객의 짐이 3000에서만 백으로 바뀌었습니다. 이게 과적합인가 생각해보게 됩니다.

얼굴을 학습하다 못해 최대한 얼굴 주변에 작은 무엇인가도 다 학습한 결과라는 생각이죠.

얼굴 쉐잎이 v2 3000은 갸름하지 않다고 느껴집니다.

이건 v1 3000이 가장 마음에 들지만... 전반적인 품질을 고려해서 고르라면... v2 2500이 제일 괜찮아 보입니다.

v2 3000은 혼자 손을 들고 있으니... 이것또한 과적합인가 생각해봅니다.

v2 3000은 확실히 과적합이다! 라고 느껴지는 이미지가 생성되었습니다.

이로써 저의 aiang v2의 최종 선택은 LoRA 2500스텝입니다.

3000스텝은 자주 과하게 학습한 이미지가 나온다는 생각이 들었습니다.

제미나이의 걱정과 달리 512*512 얼굴 학습은 나쁘지 않았습니다.

학습 속도는 더 빠르고 학습한 결과도 나쁘지 않았습니다.

자~ 이제 aiang v2 LoRA로 찾아뵙겠습니다.