그림AI/Fooocus

3. Fooocus로 이미지 생성 - Advanced 2

infonae 2024. 9. 23. 21:23

이번에는 Models 탭을 다뤄보겠습니다

 

1. Advanced - Models

Models 탭에서는 사용할 모델, 리파이너, 로라를 지정할 수 있습니다.

 

모델 다운로드

모델과 리파이너의 경로는 Fooocus/models/checkpoints이고 로라의 경로는 Fooocus/models/loras 입니다.

 

Fooocus를 실행하기 전에 wget을 이용해 코랩에 바로 다운로드 받을 수 있습니다. 셀에 아래 형식으로 입력하고 실행을 해주면 됩니다.

!wget -O 파일경로/파일명 다운로드주소

 

 

Airic/Anything-V4.5 · Hugging Face

🌍 Minecraft3193092/Stable-Diffusion-4

huggingface.co

 

허깅페이스에서 Anything-V4.5 모델 다운로드 주소를 복사하기 위해 download를 우클릭하고 링크복사를 하거나 오른쪽의 Copy donwload link를 클릭해줍니다.

 

위의 모델을 /content/Fooocus/models/checkpoints/anything.safetensors로 다운로드 받는 예시입니다. 파일명은 바꿔도 됩니다.

!wget -O /content/Fooocus/models/checkpoints/anything.safetensors https://huggingface.co/Airic/Anything-V4.5/resolve/main/Anything-v4.5-pruned-mergedVae.safetensors?download=true

 

로라의 경우 경로에서 checkpoints를 loras로 바꿔주면 됩니다.

 

civitai에서 Download를 우클릭해 링크를 복사해줍니다.

 

Studio Ghibli Style LoRA - offset | Stable Diffusion LoRA | Civitai

Studio Ghibli style LoRA Making models can be expensive. Do you like what I do? Consider supporting me on Patreon 🅿️ or feel free to buy me a coffee...

civitai.com

 

Pixel Art XL - v1.1 | Stable Diffusion LoRA | Civitai

Pixel Art XL Consider supporting further research on Ko-Fi or Twitter If you have a request, you can do it via Ko-Fi Checkout my other models at Re...

civitai.com

 

!wget -O /content/Fooocus/models/loras/ghibli.safetensors https://civitai.com/api/download/models/7657?type=Model&format=SafeTensor&size=full&fp=fp16
!wget -O /content/Fooocus/models/loras/pixelxl.safetensors https://civitai.com/api/download/models/135931?type=Model&format=SafeTensor

webui에서 모델을 바꾸려는데 보이지 않는다면 아래쪽에 있는 Refresh All Files를 해주면 됩니다.

 

Base Model과 Refiner

Base Model은 SDXL기반 모델만 가능해서 SDXL기반이 아닌 모델을 고르게 되면 이미지가 생성되지 않습니다. 대신 Refiner에는 SD1.5기반 모델도 사용 가능합니다.

처음에 Base 모델을 이용해 이미지를 생성하다가 Refiner를 이용해 이미지를 생성하는데 Refiner Switch At 를 조정해 Refiner로 넘어가는 시점을 정할 수 있습니다.

 

anime 프리셋에 지정된 animaPencilXL_v500 모델을 Base Model, Anythingv4.5를 Refiner로 사용해보겠습니다.

 

Refiner 없이 이미지 생성

 

Refiner Switch At : 1

 

Refiner Switch At : 0.667

 

Refiner Switch At : 0.333

 

Refiner Switch At : 0.1

Refiner Switch At  값이 작을수록 Base Model과 다른 결과가 나오는걸 확인할 수 있습니다.

 

LoRA

LoRA를 이용해 기존 모델에 약간의 변화를 줄 수 있고 그림체, 캐릭터 등에 변화를 줄 수 있습니다. Fooocus에서는 프롬프트를 이용해 LoRA를 이용할수도 있고 UI에서 LoRA를 이용할수도 있습니다. 여러개의 LoRA도 사용가능합니다. Weight 값을 조정할 수 있고 값이 클수록 많이 반영이 됩니다. 그리고 SD1.5 LoRA를 사용하려면 Refiner에 SD1.5모델을 사용하고 Refiner Switch At 값을 작게 줘야 반영이 잘 되는 것 같습니다.

 

animaPencilXL_v500 모델에 Pixel Art XL LoRA를 사용해보겠습니다.

 

Weight -2

 

Weight -1

 

LoRA 없이(Weight 0)

 

Weight 1

 

Weight 1.5

Weight 2

가중치가 클수록 픽셀아트화 된다는 것을 확인할 수 있습니다.

 

LoRA를 프롬프트로 사용할때는 <lora:LoRA파일명:가중치>의 형식으로 사용합니다.

아래는 LoRA를 프롬프트에 사용하는 예입니다. sd1.5 지브리 스타일의 LoRA를 사용했고 civitai 페이지에 나와있는데로 ghibli style 이라는 키워드를 프롬프트에 추가해줬습니다. Refiner로 SD1.5 anythingV4.5를 사용했고 Refiner Switch At 값은 0.667로 뒀습니다.

 

weight 0

 

weight 0.5

 

weight 1.0

 

weight 1.5

 

weight 2.0

 

그림체의 변화를 확인할 수 있습니다.

 

fooocus_colab.ipynb
0.00MB

 

이번 글에서 쓰인 파일 다운로드를 위해 약간 수정된 주피터노트북파일입니다.