어쩌다보니

지금 까지 스테이블 디퓨전 AI 이미지 생성 방식에 대해서 알아보았습니다. 이번에는 결과물을 생성해 보도록 하겠습니다. 많은 사람들이 AI 이미지 하면 떠올리시는 AI 이미지를 생성하기 위해서는 Checkpoint부터 시작해서 여러 가지 준비가 필요합니다. 이번에 사용된 Checkpoint는 Civitai에서 검색해서 무료로 받으실 수 있는 XXMix_9realistic 체크 포인트입니다. 그 외의 추가 Extension은 사용하지 않는 상태로 생성해 보도록 하겠습니다.

XXMix_9realistic 사용

 XXmix_9realistic checkpoint는 Civitai에서도 높은 추천수를 받고 있는 Checkpoint입니다.

지속적인 업데이트가 진행 중인 프로젝트이고 인터넷에서 보통 보시는 AI generated image들의 얼굴을 다수 포함 하고 있습니다.

만약 AI 이미지 생성에 관심 가진 이유 중 하나가 평상시 인터넷에서 보시던 이미지를 한번 생성해보고 싶어서 시작하셨다면 최적의 체크 포인트가 될 것 같습니다.

이미지는 클릭하시면 확대해서 보실 수 있습니다.

사용된 Prompt입니다.

1. Prompt - (a girl standing in Nature), masterpiece, best quality, (1 girl), 8k, very detailed, high detailed texture, cinematic illumination, volumetric lighting, black hair, elegant makeup

2. Negative Prompt - (nsfw:1.1), easy negative,ng_deepnegative_v1_75t,(worst quality:1.5),(low quality:1.5),(normal quality:2),low-res, bad anatomy, bad hands, normal quality,((watermark)), mark)), blurry, logo, disfigured face, morbid,

이미지 생성 가이드

1. 위의 이미지들은 전부 512 X 512 사이즈로 제작되어 얼굴이 중심이 된 이미지로 생성되었습니다.

만약 전체 샷을 원하는 경우 1024 X 1024 사이즈로 제작하시면 다른 프롬프트를 건들지 않고 생성 가능 합니다.

https://civitai.com/models/47274/xxmix9realistic 에서 Checkpoint는 다운로드하실 수 있습니다.

결론

현제 대부분의 AI 생성 이미지는 위의 얼굴로 제작되는 것을 보실 수 있습니다.

이는 AI 생성 과정에서 대칭 형 얼굴 중 보편적으로 인간이 아름답다고 생각되는 얼굴 형이 위의 얼굴입니다.

위의 얼굴에서 벗어나서 다른 얼굴 형으로 AI 이미지를 생성하시고 싶으시면 얼굴에 관한 프롬프트를 추가 입력 하시면 됩니다.

또는 얼굴 변경을 위하여 LORA를 추가하는 방법도 있습니다

그 이외에 방법으로는 다른 얼굴 형을 학습된 Checkpoint를 찾아 생성하는 방법도 있습니다.

스테이블 디퓨전의 샘플링 매소드에 대해서 알아보겠습니다. Stable diffusion Webui에서 이미지 생성 시 선택해야 될 내용 중 checkpoint 만큼 중요한 Sampling Method라는 항목이 있습니다. Sampling Method는 AI 이미지를 생성 시 Checkpoint와 더불어 어떤 방식으로 이미지를 만들지에 대한 방식을 선택하는 항목입니다. 이 값은 보통 Checkpoint 제작자가 어떤 Sampling Method에 맞게 제작되었는지 알려주지만 사용자의 목적에 맞게 변경해서 사용해도 괜찮은 항목입니다. 오히려 다양한 경험을 위해 여러 가지의 Sampling method를 선택 그리고 이미지를 생성해 보는 것도 나쁘지 않습니다.

Sampling Method 선택 방법

1. 스테이블 디퓨전 속 Sampling Method는 Generation Tab 아래에 바로 있습니다. DPM++ 2M Karras로 기본 설정 되어있습니다. 이미지 생성 시 대부분의 제작자는 DPM++ 2M Karras를 기본적으로 작동 되게 제작하기 때문에 웬만하면 변경하지 않아도 사용이 가능합니다. Sampling Method를 변경해서 여러 다른 느낌의 이미지를 얻을 수 있기 때문에 다른 방식도 사용해 보는 것도 좋습니다.

2. 아래에는 샘플링 이해를 위해 Sampling Method 값을 제외한 모든 설정을 동일하게 고정 후 AI 생성된 이미지입니다.

. 이미지는 클릭하시면 크게 보실 수 있습니다.

Euler	DPM++2MSDEKarras	DPM++2MSDE	DPM++3MSDE	DPM++3MSDEKarras

위의 사진들은 전부 같은 설정값을 가진 상태로 Sampling Method의 항목만 변경 후 생성 된 AI 이미지입니다.

Sampling Method는 여러 방식이 있습니다. 현재 사용 가능한 리스트로는 DPM++2M Karras, DPM++ SDE Karras, DPM++2M SDE Exponential, DPM++ 2M SDE Karras, Euler a, Euler, LMS, Heun, DPM2, DPM2 a, DPM++ 2S a, DPM++ 2M, DPM++ SDE, DPM++ 2M SDE, DPM++ 2M SDE Heun, DPM++ SDE Heun Karras, DPM++ 2M SDE Heun Exponetial, DPM++ 3M SDE, DPM++ 3M SDE Karras, DPM++ 3M SDE Exponential, DPM Fast, DPM adaptive, LMS Karras, DPM2 Karras, DPM2 a Karras, DPM++ 2S as Karras, Restart, DDIM, PLMS, UniPC 등이 있습니다. 그중에 보편적으로 그리고 많이 사용되고 있는 방식은 Euler a, DPM++ 2M SDE Karras입니다.

Sampling Method에 따른 결과

1. 샘플링 매소드 값에 따라 같은 값을 사용하여도 다른 느낌의 AI 이미지를 생성할 수 있습니다. 현재 사용 중인 Checkpoint로 생성했을 경우, Euler와 DPM++ 2M SDE Karras를 제외한 나머지 생성 된 이미지에서는 여러 가지 에러를 확인할 수 있습니다. 그 이유로는 여러 가지가 있지만 제일 큰 이유로는 사용 중인 Checkpoint가 Euler를 사용하도록 제작되었기 때문입니다. 위의 사진을 클릭 후 확대해서 보시면 알 수 있듯이 Euler Sampling Method가 제일 안정적이고 에러 없는 이미지를 생성해 주는 것을 볼 수 있습니다. Checkpoint 제작자의 목표 Sampling method가 Euler였기 때문입니다. 하지만 보는 이의 관점에 따라서는 DPM++ 2M  SDE Karras가 더 좋은 이미지라고 생각할 수 도 있습니다. 그렇기 때문에 Checkpoint 가 주로 사용하는 Sampling Method를 굳이 고집해서 사용할 필요 없이 다른 Sampling method를 사용 그리고 확인해 볼 필요가 있습니다.

스테이블 디퓨전의 샘플링에 대해서 알아보겠습니다.  스테이블 디퓨전 속 샘플링 스텝 설정은 AI의 이미지 생성 과정 중 이미지에서 노이즈를 제거하는 값입니다. 얼마만큼의 샘플링 스텝이 설정되는지에 따라서 이미지의 생성 속도, 노이즈는 얼마나 제거되는지, 그리고 디테일이 얼마나 살아나는지에 대해 차이가 발생합니다. Stable diffusion sampling steps의 값이 높을수록 노이즈를 제거하는 스텝이 증가하므로 조금 더 깨끗하고 선명한 이미지를 생성할 수 있습니다. 그러나 이 Sampling Steps의 값이 늘어나면 늘어날수록 걸리는 시간이 증가하기 때문에 적절한 값을 찾아 사용해야 됩니다.

How to : Stable Diffusion Sampling Steps

1. 스테이블 디퓨전의 Sampling Steps 값을 이해하기 위해서는 여러 값을 고정 후 Sampling Steps의 값만 변경하여 AI 이미지를 생성하면 이해하기 편합니다.

2. 아래에는 이해하시기 편하게 Sampling Steps 값을 제외한 모든 설정을 동일하게 고정 후 Generate 된 이미지 들입니다.

이미지는 클릭하시면 크게 보실 수 있습니다.

S.S 값 - 150	S.S 값 - 100	S.S 값 - 50	S.S 값 - 30	S.S 값 - 20	S.S 값 - 10	S.S 값 - 1

위의 사진들은 전부 같은 설정값을 가진 상태로 Stable Diffusion Sampling Steps 값만 변경 후 생성한 AI 이미지입니다. 사용된 Prompt는 masterpiece, best quality, pov, raw, realistic, solo, beautiful, light sky-blue eyes, red lips, 8k, Very detailed, high detailed texture, cinematic illumination, volumetric lighting, black hair, simple white background, glossy lips, 로 입력 하였습니다. 하지만 위의 사진들과 같이 Sampling Steps 값에 따른 사진의 결과물의 디테일 차이가 생기는 것을 알 수 있습니다. 

Stable diffusion Sampling Steps에 따른 사진 결과

1. Stable diffusion sampling steps - 150부터 50 사이의 경우에는 AI 이미지의 디테일의 차이를 거의 찾아볼 수 없을 정도로 흡사한 것을 보실 수 있습니다. 그 이유로는 Sampling Steps 값이 30 이후부터는 샘플링 스텝 단계에서 제거되어야 할 노이즈값이 0에 거의 근접하기 때문입니다. 샘플링 스텝의 값이 높으면 높을수록 한없이 0에 가까워지나 30 이후부터는 인간의 눈으로 구별을 할 수 있을 노이즈들이 대부분 제거되었기 때문에 한 장의 AI 이미지 생성을 위한 시간과 결과물의 디테일의 사이에서 선택을 해야 되기 때문에 Sampling Steps은 보통 20~30 사이로 설정합니다.

2. Stable diffusion sampling steps - 30부터 20 사이의 경우에는 AI 이미지의 디테일의 차이를 자세히 본다면 찾아볼 수 있습니다. 이유로는 30 아래의 샘플링 스텝의 값은 아직 인간의 눈으로 구별 가능한 노이즈를 제거하는 단계 이기 때문입니다. 하지만 20~30 사이의 샘플링 값은 이미 충분히 디테일한 AI 이미지를 생성할 수 있기 때문에 최소한의 시간 대비 좋은 품질을 생성하기에는 적당한 값입니다.

3. Stable diffusion sampling steps - 10부터 1 사이의 경우에는 AI 이미지의 디테일이 너무 떨어집니다. 이 단계의 샘플링 스텝은 인간의 눈으로 이해하기에는 많은 오류와 노이즈가 있기 때문에 원하던 이미지를 생성할 수 없거나 또는 이미지 자체가 생성되지 않는 경우를 볼 수 있습니다. 이 단계의 결과물은 디테일의 문재가 많기 때문에 거의 사용이 불가능 한 단계입니다.

Stable diffusion Sampling Steps 값은 들어가는 시간과 리소스를 계산했을 때 20에서 30 사이가 가장 합리적인 값입니다.

Stable Diffusion 속 CFG scale 설정은 AI 이미지를 생성 시 얼마나 Prompt를 충실히 이해하고 입력하는지를 나타내는 값입니다. CFG sacle 설정을 통하여 프롬프트로 얼마나 강력하게 제어해서 AI 이미지를 만들어 낼지 정할 수 있습니다. 대부분의 스테이블 디퓨전 속 CFG scale 은 7로 설정되어있고 대부분의 작업물에 7은 안전하고 그리고 prompt를 어느 정도 따라 가게 할 수 있는 범위입니다. prompt가 얼마나 상세히 설정되었는지 또는 얼마나 AI가 이해하기 쉽게 입력이 되어있는지에 따라 범위를 늘리고 줄이고 하면서 설정할 필요가 있는 값입니다.

How to: Stable diffusion CFG Scale

1. 스테이블 디퓨전의 CFG scale 값을 이해하기 위해서는 prompt 및 여러 값들은 전부 고정 후 CFG scale 값만 변경해서 이미지를 생성해보시는 게 이해하시기 편합니다.

2. 아래에는 이해 하시기 편하게 CFG 값을 제외한 모든 설정을 동일하게 고정 후 generate 된 이미지들입니다.

이미지는 클릭하시면 크게 보실 수 있습니다.

CFG Scale - 1	CFG Scale - 7	CFG Scale - 13	CFG Scale - 20	CFG Scale - 26	CFG Scale - 30

 위의 사진들은 전부 같은 seed 값과 설정값 그리고 똑같은 프롬프트를 가지고 CFG scale 값에만 변화를 주어 생성한 이미지입니다. 사용된 Prompt에는 (A cute girl standing in front of a house), (Lucxery expensive house), (A pool next to the house), masterpiece, best quality, light sky-blue eyes, red lips, 8k, detailed, detailed texture, 로 입력 하였습니다. 하지만 위의 사진들과 같이 CFG Sacle에 따라 사진의 결과물이 천차만별로 나오는 것을 알 수 있습니다.

Stable diffusion CFG Scale에 따른 사진 결과

1.CFG Scale - 1의 경우에는 사진 속 주체가 되는 main object를 제외한 다른 물건들은 기괴하거나 완성되지 않는 모습으로 나오는 것을 확인하실 수 있습니다. 이 경우에는 AI가 Prompt를 제대로 이해 하기 위해 여러번 생각을 하지 않는 상태로 생성된 이미지 입니다. 말 그대로 prompt가 재대로 적용되지 않는 모습을 보여줍니다.

2. CFG Scale - 7의 경우에는 주 메인 오브젝트를 제외한 나머지 사물들도 꽤 정교하게 만들어졌습니다. CFG Sacle 7 이상부터는 기본 defualt 값으로 설정되어있는 만큼, 기대하는 최소치의 퀄리티를 제공해주고 있습니다. 입력된 prompt 도 대부분 나오며 나쁘지 않은 결과 물을 보여 줍니다.

3. CFG Scale - 13의 경우에는 7보다 조금 더 prompt에 가깝게 만들어지며 조금 더 현실에 가깝게 제작됩니다. 빛에 관련된 내용이 추가로 들어가면 빛 반사 또는 빛의 방향을 계산해서 만들어 주고 이미지의 깊이 감도 추가로 늘려줍니다. 제일 중요한 점은 Prompt가 제대로 입력되었다는 가정 하에 제작되면 최고치를 뽑아낼 수 있는 값으로 생각됩니다.

4. CFG Scale - from 20 to 30의 경우에는 사용의 거의 불가능하다고 생각됩니다. 이유로는 여러 가지가 있겠지만, 생성된 AI 이미지 결과물이 너무 기괴하고 현실적이지 않다는 이유가 있습니다. 이 단계의 값부터는 Prompt가 AI를 위한 단어들을 사용해야 되며 감정를 배제한 단어로 사용 해야되며 명확한 단어만 사용되어야 합니다. 

스테이블 디퓨전 WebUI에서 원하는 그림이 나왔을 때, 해당 이미지에 들어간 설정 값을 정확히 알아내고 다음에 사용하기 위해서 설정 값을 다른 곳에 따로 정리해 적어 놓는 것은 쉽지 않습니다. 그렇기 때문에 다음에 WebUI를 사용할 때 똑같은 설정 값을 가지고 오계 하기 위해서 WebUI에 해당 설정값을 저장하는 방법을 알아보도록 하겠습니다. 여러 가지 방법 중 쉬운 방법과 복잡한 방법이 있는데 쉬운 방법부터 차근차근 알아보도록 하겠습니다.

스테이블 디퓨전 WebUI 설정 값 저장 방법

1. WebUI를 사용하고 있는 경우 txt2img에서 프롬프트를 입력 후 generate 할 경우 여러 이미지를 생성할 수 있습니다. 이미지 생성 중 원하는 그림이 나왔을 경우 해당 prompt와 generation 설정 값등을 저장해 두면 다음에도 비슷한 또는 같은 그림의 결과물을 노릴 수 있습니다.  Webui에서 Edit Styles를 통해서 저장해 둘 수 있습니다. 

2. WebUI 오른쪽 상단에 보시면 Generate 버튼 아래 Edit styles 버튼 찾으실 수 있습니다. 이 버튼을 클릭 시 Styles를 저장할 수 있는 공간이 나오고 차례대로 첫 번째 칸에는 등록할 이름, prompt에는 사진 속 포함 되어야 될 내용들, negative prompt에는 포함되지 않아야 될 내용을 저장할 수 있습니다.

3. 위의 내용 중 Negative prompt 안의 단어들은 Civitai 사이트에 사용되는 단어 중 입력하면 고품질의 이미지를 생성하는데 도움을 주는 프롬프트입니다.  ((nsfw:1.1), easy negative,ng_deepnegative_v1_75t,(worst quality:1.5),(low quality:1.5),(normal quality:2),low-res, bad anatomy, bad hands, normal quality,((watermark)), mark)), blurry, logo, disfigured face, morbid)

중요 Stable Diffusion 설정 값

Stable diffusion Styles 값을 저장했다면, Generation Tab 아래 중요 stable diffusion 설정 값들을 정리해주어야 됩니다.

위의 사진에서 볼 수 있듯이 이미지 생성에 필요한 중요 값들이 몇 개 있습니다.

• Sampling method - DPM++ 2M Karras가 저사양 컴퓨터에서도 준수한 이미지를 생성할 때 사용 되는 method입니다. 다른 method도 유용한 게 많지만 처음에는 DPM++ 2M Karras로 AI 이미지 생성 Step을 이해하시는 게 좋습니다.
• Sampling Steps - 이미지를 생성할 때 얼마만큼의 재확인 step이 필요한지에 대해서 설정하는 곳입니다. 주로 25 ~ 30 사이로 설정해 놓고 사용합니다. 높은 숫자일수록 여러 번 확인하여 에러를 찾아내어 조금 더 정확한 이미지를 생성해주기는 하지만 숫자가 높으면 높을수록 기하급수적으로 늘어나는 이미지 생성 시간이 문제가 됩니다. 30 이상부터는 마이너 한 디테일을 확인하기 때문에 굳이 그 이상의 숫자를 입력하여 시간 낭비를 할 필요가 없어 보입니다. 물론 결과물의 디테일이 중요하다면 샘플링 스텝 사이즈를 늘리는 것도 추천됩니다.
• CFG Scale - 이 설정 값은 이미지 생성이 Prompt 안 단어를 얼마만큼 강력하게 입력할지에 대해서 설정하는 값입니다. 숫자가 낮으면 AI가 단어를 포괄적으로 이해 후 이미지를 생성하기 때문에 디테일이 떨어질 수도 있습니다. 반대로 설정값이 높으면 AI가 단어 하나하나 뜻을 이해 후 이미지를 생성하기 때문에 디테일이 추가될 수도 있지만 그만큼 생성된 이미지가 Prompt가 잘못되었을 경우 기괴한 이미지를 생성할 수도 있게 됩니다. 주로 7 ~ 10 정도 사이에서 설정합니다. 
• Seed - 이 설정 값은 이미지 생성 시 사용된 seed값입니다. minecraft에서 map seed 값과 같은 느낌으로 여러 이미지 생성 시 seed 값에 따라서 다른 구도, 다른 색채 그리고 다른 그림체를 얻을 수 있습니다. 보통 -1로 사용됩니다. -1 뜻은 Random입니다.

Stable diffusion 블로그 글을 전부 따라왔다면 이제 정확히 원하는 이미지를 생성해내기 위한 준비가 되었다고 생각한다. 이제 이미지를 만들기 위한 프롬프트를 알아내보자. Stable diffusion은 아직 한글 prompt가 정상 작동 하지 않기 때문에 영어로 된 prompt를 입력해야 된다. 하지만 한국어도 단어마다 품고 있는 사전적 의미와 실 사용 의미가 느낌적으로 다른 단어들이 있듯이 영어로 똑같이 정확한 단어를 찾아내는 것은 상당히 힘들다. 심지어 AI가 이해하기 쉬운 단어로 작성해야 Stable diffusion에서 뽑아낸 이미지가 원하는 이미지에 가까워진다. 이를 위한 Stable diffusion prompt를 알아보자.

Stable diffusion prompt from Civitai

1. stable diffusion prompt 는 일반적으로 사용되는 단어를 입력하면 정확히 원하는 이미지를 생성해 내기는 힘들지만 적당히 근사치에 해당하는 이미지를 생성할 수는 있다. 그러한 이미지들은 자세히 관찰하게 되면 여러 이상한 점을 발견할 수 있게 된다. 이유는 여러 가지가 될 수 있지만 보통 positive promt에 입력 한 내용이 정확하지 않다던가, negative promt에 입력한 내용이 정확하지 않아서 일수도 있다. 또는 promt에 입력된 단어들이 AI 이미지 생성에 이해하기 어려운 단어 이거나 명확하지 않고 애매모호한 단어 일 경우도 있다.

2. 위의 경우를 회피 하기 위해서는 여러 가지 방법이 있는데 그중에 Civitai를 사용하는 방법이 쉽고 빠르다. 일단 지난 글을 따라 했다면 Civitai 사이트에 가입되어있을 것이다. 그렇다면 Cicitai 사이트에 접속 후 위의 Tab 중에 Images를 클릭해보면 다른 유저들이 미리 만들어본 많은 이미지들을 볼 수 있을 것이다. 이중에 일단 생성하기 원하는 이미지를 찾아본다. 검색창에 원하는 단어를 입력해서 검색을 누르게 되면 해당하는 단어의 이미지들이 나열되는데 그중에 근사치를 찾아서 클릭해본다. 그러면 그 이미지를 만드는 데 사용된 Checkpoint 나 LoRA 등이 오른쪽에 나오고 그 밑에 Generation Data가 나온다. 일단 똑같은 그림 생성을 위해 Generation Data를 그대로 복사 붙여 넣기 후 AI 이미지 생성을 해준다. 그렇게 생성을 하게 되면 다른 사람이 생성한 이미지와 같거나 거의 비슷한 이미지를 생성할 수 있게 될 것이다. 그 상태에서 이미지에 변경점을 더 주고 싶다면 Prompt에 원하는 단어를 조금 더 입력해준다면 그림체는 고정된 상태에서 새로 추가된 단어들이 적용된 이미지가 생성될 것이다.

Stable diffusion prompt with ChatGPT

1. Stable diffusion을 통해 만들려고 하는 이미지가 만약 Civitai에서 찾을 수 없다면 ChatGPT를 이용하여 만드는 방법도 있다. 이 방법은 위의 경우와 달리 여러 번의 이미지 생성을 통해 근삿값을 찾아야 된다는 단점이 있지만 원하는 이미지가 독창적이고 창의적이라면 이 방법이 의외로 빠를 수도 있다. 하는 방법은 일단 ChatGPT를 구글에서 검색 후 로그인을 진행해 주어야 된다. 구글 아이디로 가입이 가능하기 때문에 바로 진행할 수 있을 것이다. 일단 들어가게 되면 영어로 구성되어있을 것인데 메시지 작성창에 바로 Change a languge to korean이라고 입력하면 한글 베타 버전을 사용할 수 있을 것이다. 

2. 한글 베타 버전을 사용할 수 있게 되었다면 메시지 창에 AI Image 생성을 위한 프롬프트를 만들도록 명령해보자. 일단 예시로 "파괴되고 있는 지구를 AI 이미지 생성을 위한 영어 프롬프트를 만들어줘"라고 입력해본다. 그러면 ChatGPT가 상당히 자세히 설명되어있는 문장을 만들어준다. 이 문장을 그대로 복사 후 ( ) 안에 넣어주면 큰 틀의 이미지 생성 promt를 완성했다. 이후 추가로 디테일 한 단어들은 Chatgpt에서 예시로 "(디테일한 내용) AI 이미지 생성을 위한 영어 키워드를 4개 정도 알려줘"라고 입력 후 나오는 단어들을 차례대로 입력하다 보면 원하는 이미지를 생성할 수 있게 될 것이다.

스테이블 디퓨전의 로라 설치 방법

 Stable diffusion Lora 설치를 알아봅시다.

만약 스테이블 디퓨전 Checkpoint를 설치 하지 않았다면 위의 글에서 확인 부탁 드리겠습니다. 

Stable diffusion LoRA는 Civitai 에서 검색해서 받을 수 있습니다.

이 전 글에서 설명 했듯이 Civitai에 접속해서 필터를 Lora로 설정하게 되면 원하는 스테이블 디퓨전 로라를 받을 수 있습니다.

스테이블 디퓨전 로라를 이해 해봅시다

1. Stable diffusion LoRA는 이전 글의 Checkpoint와는 달리 여러 개를 사용할 수 있습니다. 

checkpoint는 인간의 몸으로 따지면 뇌를 담당하는 소스라고 이해하면 쉽고, LoRA는 그 뇌를 구성하는 경험이라고 생각하시면 조금 더 이해하는데 도움이 될 것 같습니다.

Checkpoint로 원하는 뇌를 구성하여 목적이 되는 그림체를 만들어 낼 수 있게 되었다면, 로라를 통하여 조금 더 디테일 하고 확실한 구조를 만들어 낼수 있습니다. 

2. LoRA는 경험이라고 설명 할 수 있습니다. 여러개의 로라를 통하여 디테일한 내용을 추가 할수 있습니다. 예를 들어, 서양화 Check point에 동양화 Lora를 입력 하여 서양화 전공자가 그리는 동양화풍 결과물을 볼수 있다던가, 반 고흐가 그리는 애니 그림을 만들기 등을 할수 있습니다.

3. 로라를 통하여 포즈도 설정할 수 있고 옷도 정할 수 있습니다. 말 그대로 메인이 되는 checkpoint에 서브로 LoRA를 추가하여 조금 더 명확히 원하는 이미지를 생성할 수 있습니다.

스테이블 디퓨전 로라를 설치 시 오류

1. LoRA를 받은 뒤 Check point 설치 장소와 다른 컴퓨터\sd.webui\webui\models\Lora에 파일을 넣어 주어야 합니다.

이유는 로라와 checkpoint는 다른 방식으로 적용되기 때문에 맞는 폴더에 넣어야 프로그램이 인식을 할 수 있습니다.

예를 들어 뇌가 들어가는 폴더에 경험을 넣게 되면 인식을 하더라도 제대로 된 결과물을 만들 수 없기 때문입니다.

2. LoRA를 제대로 된 폴더에 넣었음에도 Check point에 따라 인식이 될 수도 있고 안될 수도 있습니다.

이유는 특정 로라는 특정 Checkpoint에 연결되어 사용되는 것도 있기 때문입니다.

범용성이 없는 로라도 있다는 이야기입니다.

그렇기 때문에 로라를 받을 시 Civitai사이트 오른쪽에 구성 요소를 꼭 확인하고 진행하시는 편이 문재 없이 사용하기에 도움이 될 것 같습니다.

결론

위의 내용 대로 LoRA는 경험에 해당하는 소스입니다.

그러므로 Checkpoint는 웬만한 퀄리티로 한 개 또는 두 개 정도면 대부분의 작업물은 커버가 되지만 로라는 상당히 많은 수의 소스가 있으면 작업을 완성하는데 더 편리 해집니다.

하지만 로라는 경험에 해당하기 때문에 충돌 되는 경험을 동시에 사용 시 결과물이 이상한 이미지로 나올 수도 있습니다.

그렇기 떄문에 사용 시 에러가 발생하면 마지막으로 넣었던 로라를 제거 후 이미 들어가 있는 로라와 중복성이 있는지 확인을 하시면 조금 더 정확히 프로그램을 사용할 수 있을 것 같습니다.

Stable diffusion 한방에 설치

스테이블 디퓨전 체크 포인트를 쉽고 빠르게 정리

지난 시간에는 stable diffusion 설치에 대해 알아보았다. 아직 설치를 하지 않았다면 위의 stable diffusion 한방에 설치 글에서 다시 확인이 가능하다. 설치가 완료되었다면 promt에 내용을 넣으면서 생성되는 AI 이미지에 신기해하고 있을 시간이다. 하지만 우리는 좀 더 명확하고 원하는 이미지를 생성하고 싶어 진다. 그러기 위한 추가적인 방법으로 stable diffusion checkpoint 가 있다. 간단하게 말해 checkpoint는 우리의 뇌를 담당 한다고 생각하면 된다. 현재 기본적으로 들어있는 checkpoint의 경우에는 아주 기본적인 신생아의 뇌가 작동한다고 생각하면 된다. 이로 인해 다양성은 증가하였으나 너무 다양한 나머지 목적에 맞는 이미지를 생성하기에 여러 번의 시도 또는 명확하고 정확한 promt가 필요한 상황이 발생한다. 이를 혜결 하기 위한 한 가지 방법으로는 다른 사람의 트레이닝된 checkpoint를 이용하여 어린 뇌에서 특정 생각을 자주 그리고 많이 하여 쉽고 빠르게 해당 목적을 생성할 수 있는 뇌로 갈아 끼우게 된다.

stable diffusion checkpoint

1. 스테이블 디퓨전 체크 포인트는 여러 사이트에서 받을수 있으나 초보자부터 전문가까지 사용하는 Civitai라는 웹사이트에서 받는 것을 추천한다. 이유는 여러 가지가 있겠지만 제일 큰 이유는 사용이 아주 쉽다는 점이 있다. 로그인 과정도 구글 아이디를 통해 바로 접근이 가능하고 다른 사이트의 고급 유로 버전에 해당하는 고 퀄리티 파일들도 전부 무료로 받을 수 있어 사실상 Civitai 사이트 하나로 웬만한 내용은 커버가 가능하다. 

2. Civitai 사이트에 접속후 로그인을 하게 되면 이제 Checkpoint를 받을 수 있게 된다. 사이트에는 check point 이외의 다른 여러 가지 Lora 라든가 하는 소스가 있는데 일단 체크 포인트에 집중해보자 일단 사이트의 오른쪽 상단을 보게 되면 Filters라는 부분이 보일 것이다. 클릭 후 Model type에서 Check point를 클릭한다 그러면 사이트의 전체 소스 중 check point만 보이게 설정을 할 수 있다. 그런 뒤 현제 보이는 그림체 중에 원하는 목적에 맞는 그림체를 선택해 다운로드해준다. 다운 완료 후 safetensors 파일을 이제 로컬 폴더에 이동해주면 거의 완료되었다.

3. 개인컴퓨터\sd.webui\webui\models\Stable-diffusion에 다운로드한 safetensors 파일을 이동해 준 뒤 run.bat파일을 사용하여 실행해준다.  설치 경로는 설치된 폴더에서 sd.webui 폴더 안 webui 폴더 안 models 안 Stable-diffusion 폴더에 넣어주어야 된다. 그렇지 않으면 인식이 안되므로 주의해야 된다. run.bat 파일을 실행 후 뜨는 로컬 webui가 뜨면 사이트의 왼쪽 상단을 보게 되면 checkpoint를 선택할 수 있는 드롭 다운 버튼이 보인다. 클릭 후 받은 파일의 이름을 클릭해 주면 원하는 그림체를 사용할 수 있는 뇌를 변경한 것이다. 그 뒤에 똑같은 프롬프트를 사용하여도 전혀 다른 원하는 그림체의 결과물을 얻을 수 있는 것을 볼 수 있을 것이다.

Checkpoint 발생 가능 분재점

1. 처음 check point를 정확한 설치 폴더 안에 넣었음에도 webui에서 실행이 안될 수도 있다. 그럴 경우에는 첫 번째로 webui상 왼쪽 상단의 checkpoint dropdown 버튼 옆 새로고침 버튼을 눌러본다. 만약 새로 고침 버튼에서 바로 수정이 될 경우 그대로 사용하면 아무런 문재가 없다. 하지만 만약 인식이 되지 않을 경우에는 반드시 webui를 완전히 종료 후 다시 run.bat 파일을 실행하여 리부팅을 해주어야 된다. 위의 두 가지 방법을 했음에도 정상 작동 하지 않는 다면 다운로드한 checkpoint에 문재가 있을 확률이 상당히 높으므로 새로 받을 것을 추천한다.

2. 저사양 컴퓨터 사용을 하고 있다면 checkpoint 파일의 용량도 관련이 있다는 말이 있다. 너무 큰 check point 파일을 사용하고 저사양의 컴퓨터를 사용했을 경우에 정상 작동 하는 것처럼 보이나 실제 생성 되는 AI 이미지가 큰 용량의 checkpoint 전체 사용을 할 수 없다는 내용이다. 이럴 경우에는 실제 사용자가 원하는 고퀄리티의 이미지를 생성하는데 여러 가지 보이지 않는 문제점을 발생시킨다고 한다. 예를 들어 AI 생성 이미지가 다른 고사양 컴퓨터의 결과물과 달리 여러 비 현실적 그림이 포함된다던가 또는 생성된 이미지가 현실적이지 못하는 상황이 발생한다고 한다. 이를 해결하기 위해 저사양 컴퓨터용 checkpoint 도 있으므로 잘 확인 후 사용을 권장한다.

결론

위의 내용 대로 Stable diffusion Checkpoint를 사용할 때에는 여러 중요한 내용 그리고 확인해야 될 항목들이 있다. 원하는 이미지 생성을 위한 뇌 변경, 즉 checkpoint 변경은 목적에 해당하는 이미지를 빠르게 생성하기 위해 중요하다고 생각한다. checkpoint를 변경하고 사용하는 방법을 알았으니 여러 가지 색채의 이미지를 생성할 수 있고 또한 어느 날은 반 고흐가 어느 날은 현대미술이 또 다른 날은 초현실주의 작사의 그림을 사용할 수 있게 되는 마법 같은 현실이 되었다. AI 기술 발달이 현시대를 살아가는 사람들에게 여러 유용한 도구가 되길 바란다.