어쩌다보니

지금 까지 스테이블 디퓨전 AI 이미지 생성 방식에 대해서 알아보았습니다. 이번에는 결과물을 생성해 보도록 하겠습니다. 많은 사람들이 AI 이미지 하면 떠올리시는 AI 이미지를 생성하기 위해서는 Checkpoint부터 시작해서 여러 가지 준비가 필요합니다. 이번에 사용된 Checkpoint는 Civitai에서 검색해서 무료로 받으실 수 있는 XXMix_9realistic 체크 포인트입니다. 그 외의 추가 Extension은 사용하지 않는 상태로 생성해 보도록 하겠습니다.

XXMix_9realistic 사용

 XXmix_9realistic checkpoint는 Civitai에서도 높은 추천수를 받고 있는 Checkpoint입니다.

지속적인 업데이트가 진행 중인 프로젝트이고 인터넷에서 보통 보시는 AI generated image들의 얼굴을 다수 포함 하고 있습니다.

만약 AI 이미지 생성에 관심 가진 이유 중 하나가 평상시 인터넷에서 보시던 이미지를 한번 생성해보고 싶어서 시작하셨다면 최적의 체크 포인트가 될 것 같습니다.

이미지는 클릭하시면 확대해서 보실 수 있습니다.

사용된 Prompt입니다.

1. Prompt - (a girl standing in Nature), masterpiece, best quality, (1 girl), 8k, very detailed, high detailed texture, cinematic illumination, volumetric lighting, black hair, elegant makeup

2. Negative Prompt - (nsfw:1.1), easy negative,ng_deepnegative_v1_75t,(worst quality:1.5),(low quality:1.5),(normal quality:2),low-res, bad anatomy, bad hands, normal quality,((watermark)), mark)), blurry, logo, disfigured face, morbid,

이미지 생성 가이드

1. 위의 이미지들은 전부 512 X 512 사이즈로 제작되어 얼굴이 중심이 된 이미지로 생성되었습니다.

만약 전체 샷을 원하는 경우 1024 X 1024 사이즈로 제작하시면 다른 프롬프트를 건들지 않고 생성 가능 합니다.

https://civitai.com/models/47274/xxmix9realistic 에서 Checkpoint는 다운로드하실 수 있습니다.

결론

현제 대부분의 AI 생성 이미지는 위의 얼굴로 제작되는 것을 보실 수 있습니다.

이는 AI 생성 과정에서 대칭 형 얼굴 중 보편적으로 인간이 아름답다고 생각되는 얼굴 형이 위의 얼굴입니다.

위의 얼굴에서 벗어나서 다른 얼굴 형으로 AI 이미지를 생성하시고 싶으시면 얼굴에 관한 프롬프트를 추가 입력 하시면 됩니다.

또는 얼굴 변경을 위하여 LORA를 추가하는 방법도 있습니다

그 이외에 방법으로는 다른 얼굴 형을 학습된 Checkpoint를 찾아 생성하는 방법도 있습니다.

스테이블 디퓨전의 샘플링 매소드에 대해서 알아보겠습니다. Stable diffusion Webui에서 이미지 생성 시 선택해야 될 내용 중 checkpoint 만큼 중요한 Sampling Method라는 항목이 있습니다. Sampling Method는 AI 이미지를 생성 시 Checkpoint와 더불어 어떤 방식으로 이미지를 만들지에 대한 방식을 선택하는 항목입니다. 이 값은 보통 Checkpoint 제작자가 어떤 Sampling Method에 맞게 제작되었는지 알려주지만 사용자의 목적에 맞게 변경해서 사용해도 괜찮은 항목입니다. 오히려 다양한 경험을 위해 여러 가지의 Sampling method를 선택 그리고 이미지를 생성해 보는 것도 나쁘지 않습니다.

Sampling Method 선택 방법

1. 스테이블 디퓨전 속 Sampling Method는 Generation Tab 아래에 바로 있습니다. DPM++ 2M Karras로 기본 설정 되어있습니다. 이미지 생성 시 대부분의 제작자는 DPM++ 2M Karras를 기본적으로 작동 되게 제작하기 때문에 웬만하면 변경하지 않아도 사용이 가능합니다. Sampling Method를 변경해서 여러 다른 느낌의 이미지를 얻을 수 있기 때문에 다른 방식도 사용해 보는 것도 좋습니다.

2. 아래에는 샘플링 이해를 위해 Sampling Method 값을 제외한 모든 설정을 동일하게 고정 후 AI 생성된 이미지입니다.

. 이미지는 클릭하시면 크게 보실 수 있습니다.

Euler	DPM++2MSDEKarras	DPM++2MSDE	DPM++3MSDE	DPM++3MSDEKarras

위의 사진들은 전부 같은 설정값을 가진 상태로 Sampling Method의 항목만 변경 후 생성 된 AI 이미지입니다.

Sampling Method는 여러 방식이 있습니다. 현재 사용 가능한 리스트로는 DPM++2M Karras, DPM++ SDE Karras, DPM++2M SDE Exponential, DPM++ 2M SDE Karras, Euler a, Euler, LMS, Heun, DPM2, DPM2 a, DPM++ 2S a, DPM++ 2M, DPM++ SDE, DPM++ 2M SDE, DPM++ 2M SDE Heun, DPM++ SDE Heun Karras, DPM++ 2M SDE Heun Exponetial, DPM++ 3M SDE, DPM++ 3M SDE Karras, DPM++ 3M SDE Exponential, DPM Fast, DPM adaptive, LMS Karras, DPM2 Karras, DPM2 a Karras, DPM++ 2S as Karras, Restart, DDIM, PLMS, UniPC 등이 있습니다. 그중에 보편적으로 그리고 많이 사용되고 있는 방식은 Euler a, DPM++ 2M SDE Karras입니다.

Sampling Method에 따른 결과

1. 샘플링 매소드 값에 따라 같은 값을 사용하여도 다른 느낌의 AI 이미지를 생성할 수 있습니다. 현재 사용 중인 Checkpoint로 생성했을 경우, Euler와 DPM++ 2M SDE Karras를 제외한 나머지 생성 된 이미지에서는 여러 가지 에러를 확인할 수 있습니다. 그 이유로는 여러 가지가 있지만 제일 큰 이유로는 사용 중인 Checkpoint가 Euler를 사용하도록 제작되었기 때문입니다. 위의 사진을 클릭 후 확대해서 보시면 알 수 있듯이 Euler Sampling Method가 제일 안정적이고 에러 없는 이미지를 생성해 주는 것을 볼 수 있습니다. Checkpoint 제작자의 목표 Sampling method가 Euler였기 때문입니다. 하지만 보는 이의 관점에 따라서는 DPM++ 2M  SDE Karras가 더 좋은 이미지라고 생각할 수 도 있습니다. 그렇기 때문에 Checkpoint 가 주로 사용하는 Sampling Method를 굳이 고집해서 사용할 필요 없이 다른 Sampling method를 사용 그리고 확인해 볼 필요가 있습니다.

스테이블 디퓨전의 샘플링에 대해서 알아보겠습니다.  스테이블 디퓨전 속 샘플링 스텝 설정은 AI의 이미지 생성 과정 중 이미지에서 노이즈를 제거하는 값입니다. 얼마만큼의 샘플링 스텝이 설정되는지에 따라서 이미지의 생성 속도, 노이즈는 얼마나 제거되는지, 그리고 디테일이 얼마나 살아나는지에 대해 차이가 발생합니다. Stable diffusion sampling steps의 값이 높을수록 노이즈를 제거하는 스텝이 증가하므로 조금 더 깨끗하고 선명한 이미지를 생성할 수 있습니다. 그러나 이 Sampling Steps의 값이 늘어나면 늘어날수록 걸리는 시간이 증가하기 때문에 적절한 값을 찾아 사용해야 됩니다.

How to : Stable Diffusion Sampling Steps

1. 스테이블 디퓨전의 Sampling Steps 값을 이해하기 위해서는 여러 값을 고정 후 Sampling Steps의 값만 변경하여 AI 이미지를 생성하면 이해하기 편합니다.

2. 아래에는 이해하시기 편하게 Sampling Steps 값을 제외한 모든 설정을 동일하게 고정 후 Generate 된 이미지 들입니다.

이미지는 클릭하시면 크게 보실 수 있습니다.

S.S 값 - 150	S.S 값 - 100	S.S 값 - 50	S.S 값 - 30	S.S 값 - 20	S.S 값 - 10	S.S 값 - 1

위의 사진들은 전부 같은 설정값을 가진 상태로 Stable Diffusion Sampling Steps 값만 변경 후 생성한 AI 이미지입니다. 사용된 Prompt는 masterpiece, best quality, pov, raw, realistic, solo, beautiful, light sky-blue eyes, red lips, 8k, Very detailed, high detailed texture, cinematic illumination, volumetric lighting, black hair, simple white background, glossy lips, 로 입력 하였습니다. 하지만 위의 사진들과 같이 Sampling Steps 값에 따른 사진의 결과물의 디테일 차이가 생기는 것을 알 수 있습니다. 

Stable diffusion Sampling Steps에 따른 사진 결과

1. Stable diffusion sampling steps - 150부터 50 사이의 경우에는 AI 이미지의 디테일의 차이를 거의 찾아볼 수 없을 정도로 흡사한 것을 보실 수 있습니다. 그 이유로는 Sampling Steps 값이 30 이후부터는 샘플링 스텝 단계에서 제거되어야 할 노이즈값이 0에 거의 근접하기 때문입니다. 샘플링 스텝의 값이 높으면 높을수록 한없이 0에 가까워지나 30 이후부터는 인간의 눈으로 구별을 할 수 있을 노이즈들이 대부분 제거되었기 때문에 한 장의 AI 이미지 생성을 위한 시간과 결과물의 디테일의 사이에서 선택을 해야 되기 때문에 Sampling Steps은 보통 20~30 사이로 설정합니다.

2. Stable diffusion sampling steps - 30부터 20 사이의 경우에는 AI 이미지의 디테일의 차이를 자세히 본다면 찾아볼 수 있습니다. 이유로는 30 아래의 샘플링 스텝의 값은 아직 인간의 눈으로 구별 가능한 노이즈를 제거하는 단계 이기 때문입니다. 하지만 20~30 사이의 샘플링 값은 이미 충분히 디테일한 AI 이미지를 생성할 수 있기 때문에 최소한의 시간 대비 좋은 품질을 생성하기에는 적당한 값입니다.

3. Stable diffusion sampling steps - 10부터 1 사이의 경우에는 AI 이미지의 디테일이 너무 떨어집니다. 이 단계의 샘플링 스텝은 인간의 눈으로 이해하기에는 많은 오류와 노이즈가 있기 때문에 원하던 이미지를 생성할 수 없거나 또는 이미지 자체가 생성되지 않는 경우를 볼 수 있습니다. 이 단계의 결과물은 디테일의 문재가 많기 때문에 거의 사용이 불가능 한 단계입니다.

Stable diffusion Sampling Steps 값은 들어가는 시간과 리소스를 계산했을 때 20에서 30 사이가 가장 합리적인 값입니다.