Stable Diffusion으로 내 선화에 색칠하기 [AI 채색]
copainter라는 AI 채색 서비스가 출시되면, 저는 더 이상 Stable Diffusion을 사용해 색칠하지 않을 것 같아요(귀찮아서). 하지만 정말 좋은 ControlNet 모델이 출시되었으니 소개하고 싶습니다.
이 기사에서 예상하는 환경
webUI: a1111 또는 forge
모델: SDXL 계열 (나중에 나올 생성 예에서는 Animagine XL 3.1을 사용했습니다)
이미 환경을 구축한 분들을 위한 간단한 설명입니다.
사용할 ControlNet 모델
https://huggingface.co/kataragi/ControlNet-LineartXL이게 시작할 때 언급한 “정말 좋은 ControlNet 모델"입니다.
Katarag_lineartXL-fp16.safetensors
이건 카타라기님의 lineart입니다. 현재 SDXL 계열의 lineart에서는 이 모델이 가장 정확한 것 같습니다.
ControlNet 모델의 다운로드 방법과 저장 위치는 각자 검색해 주세요.
Stable Diffusion으로 내 선화에 색칠하는 방법
i2i에서 ControlNet 선화를 사용할 것입니다.
i2i 설정
i2i 탭을 선택하고 “여기에 이미지를 드롭하세요 – 또는 – 클릭하여 업로드"라는 곳에 이미지를 입력합니다.
예시로 이 이미지를 넣었습니다. i2i에서 기준 이미지를 지정한 후 “Interrogate CLIP" 또는 “Interrogate DeepBooru“를 사용하여 프롬프트를 입력합니다. (귀찮지 않은 분들은 물론 직접 입력해도 됩니다.)
불필요한 프롬프트가 있으면 삭제하고, 추가하고 싶은 것이 있으면 추가합니다.
생성 이미지 크기 섹션에서 삼각자 아이콘을 눌러 원본 이미지의 크기를 가져옵니다. (원본 이미지와 같은 크기로 생성하려는 경우.)
Denoising Strength를 원하는 값으로 설정합니다. 0.5에서 0.75 정도가 좋다고 생각합니다.
ControlNet 설정
lineart용 이미지를 지정합니다.
이번에는 이 선화를 넣었습니다. preprocesser로 i2i 원 이미지에서 선화를 생성할 수 있지만, 자작 선화가 있다면 자작 선화를 넣는 것이 선화에 더 충실하게 색칠할 수 있습니다.
preprocesser에서 “invert (흰색 배경과 검은색 선에서)“를 선택합니다.
모델로 Katarag_lineartXL-fp16.safetensors를 선택합니다.
다른 수치는 건드릴 필요 없습니다. 이제 생성해 보세요.
생성 결과
겹쳐진 선화
생성물에 선화를 겹쳐 놓은 것입니다. 선화는 70%의 빨간색으로 겹쳐 있습니다.
Denoising Strength 0.5
SD1.5 계열에서는 0.5로도 더 많은 그림자가 있었던 것 같은데, 조금만 그려졌습니다.
Denoising Strength 0.65
개인적으로 이번에 시도한 것 중에서는 이 0.65 설정이 가장 좋았던 것 같습니다. 그림자는 물론 빛도 잘 표현되면서 그림도 잘 나오고, 원래 색상도 적당히 남아 있습니다.
Denoising Strength 0.75
0.75는 전체적으로 가장 잘 그려지지만, 색상이 꽤 많이 변합니다. 기본 색상을 만들 때 부품별로 레이어를 나누기 때문에, 생성 후에 그 레이어를 사용하여 색상을 조정할 수 있을 것 같습니다。
시도하지 못한 것들
사실 SD1.5 계열로 색칠할 때는 lineart와 tile을 함께 사용했습니다. tile을 함께 사용하면 색상의 유지도가 올라가서 Denoising Strength 값을 높일 수 있고 좋은 느낌이 나는데, 이번에는 그걸 하려니 에러가 나와서 진행할 수 없었습니다.
최근 제 환경에서는 에러가 자주 발생하고 있어서, 뭔가 잘못된 점을 알 수가 없습니다. tile을 함께 사용해본 분이 있다면 결과가 어땠는지 알려주시면 감사하겠습니다.
정말 멋진 lineart네요!
개발자분들께는 죄송하지만, SDXL 계열은 ControlNet의 정확도가 계속해서 좋지 않았습니다. 그림을 그리는 사람으로서 AI를 제 그림에 맞추고 싶었지만, 그게 불가능한 상황이었습니다. 그러다 갑자기 이 모델의 테스트 버전이 출시되고, 그 사이에 Katarag_lineartXL이 출시되었습니다. “색칠은 이미 copainter의 독주다!"라고 생각했지만, 이렇게 정확한 모델이 공개될 줄은 몰랐습니다. 이미지 생성 AI는 화가들이 꼭 사용했으면 좋겠다고 생각하기 때문에, 이런 화가들에게 유용한 모델이 공개되는 것은 정말 기쁩니다. 감사합니다.
끝