5. Fooocus로 이미지 생성 - Enhance1

Enhance를 활성화하면 이미지 변화, 업스케일링을 할 수 있습니다.

 

 

 

Upscale or Variation

 

Vary(subtle)

Vary(subtle)은 생성된 이미지를 약간 변화시킵니다.

 

왼쪽이 생성된 이미지, 오른쪽이 Vary(Subtle)이 적용된 이미지로 약간 더 선명해지고 화려해졌습니다.

 

Vary(strong)

Vary(subtle)은 생성된 이미지를 많이 변화시킵니다.

 

체형에 변화가 생긴 것을 확인할 수 있습니다.

 

Upscale(1.5x)

1.5배로 업스케일링을 합니다.

 

이미지에 변화가 생겼고 1024*1024 에서 1536*1536으로 업스케일링이 되었습니다.

 

Upscale(2x)

2배로 업스케일링을 합니다.

 

이미지에 변화가 생기고 1024*1024에서 2048*2048로 업스케일링 되었습니다.

 

Upscale (Fast 2x)

2배로 업스케일링을 하는데 속도가 빠릅니다. 그리고 이미지에 변화가 거의 일어나지 않습니다.

 

이미지에 변화가 거의 일어나지 않고 1024*1024 에서 2048*2048로 업스케일링 되었습니다.

 

#1 #2 #3

object segmentation을 이용해 생성된 이미지의 일부 또는 특정 객체의 영역을 구하고 인페인팅을 통해 변화를 줄 수 있습니다.

일단 Upscale or Variation은 Disabled로 두고 #1 #2 #3을 이용해보겠습니다.

프롬프트로 이미지 생성을 하고 Detection prompt에 바꿀 대상, Enhancement positive prompt에 어떤 걸로 바꿀지를 입력합니다. Enhancement negative prompt에는 이미지를 바꿀 때 나오지 않게 할 내용을 입력해줍니다.

프롬프트에 입력한 것처럼 이미지가 생성되고 이후 축구공이 고양이로 바뀌었습니다.

 

#2에도 비슷하게 적용하면 순서대로 이미지를 변화시킵니다.

 

Detection 방식

기본 detection 방식은 sam으로 되어있는데 GroundingDino를 통해 Detection prompt에 대한 box를 얻어내고 얻어낸 box를 sam을 통해서 Detection prompt에 대한 mask를 구하는 방식입니다.

옵션에서는 SAM 모델을 고를 수 있는데 huge, large, base이 있습니다. 모델의 용량과 성능은 h>l>b 입니다. 탐지에 대한 threshold값과 탐지 객체수를 설정할 수 있습니다.

 

 실제 탐지된 박스와 영역을 보려면 디버그 모드를 사용하면 되는데 Debug Inapint Preprocessing을 체크하면 탐지 이후의 과정은 수행하지 않습니다.

 Debug Enhance Masks와 Debug GroundingDINO 둘다 체크하면 탐지박스를 결과로 주고 이미지 변화도 탐지박스를 기준으로 하게됩니다. Debug Enhance Mask만 체크하면 탐지마스크를 결과로 주고 이미지 변화도 탐지마스크를 기준으로 합니다

GroundDINO의 결과

GroundingDINO 탐지박스로 인페인팅

 

SAM의 결과

SAM mask로 인페인팅

 

SAM 외에 다른 탐지 모델은 GroundingDino를 사용하지 않기 때문에 프롬프트를 입력해서 영역을 얻어올수는 없습니다.

isnet-general-use를 사용한 결과

Inpaint 설정

인페인팅과 관련된 설정을 앞에서 봤던 Debug Mode에서 바꿀 수도 있고 #1, #2, #3 의 맨아래에서 개별적으로 적용할수 있습니다.

Disable initial latent in inpaint, Inpaint Denoising Strength는 인페인팅을 할 때 원래 이미지와의 유사도와 관련이 있고 Inpaint Respective Field는 인페인팅할때 참조하는 영역과 관련이 있습니다.

Mask Erode or Dilate는 얻어진 마스크의 영역을 넓히거나 좁힐 수 있습니다. 

Invert Mask는 얻어진 mask를 반전시킵니다.

Method를 바꾸면 설정 값들을 알아서 바꿔줍니다.

Inpaint Engine의 경우 인페인팅 성능을 높여주는데 Pony 등의 몇몇모델에서는 잘 동작하지 않습니다.

자세한 내용은 인페인팅 글에서 다루겠습니다.

 

아래는 Invert Mask를 적용한 결과입니다.