Stable Diffusion 2 Super-resolution Upscaler Diffusion Models

Stable Diffusion 2 Super-resolution Upscaler Diffusion Models(초고해상도 업스케일러 확산 모델)

Stable Diffusion 2에는 이미지의 해상도를 4배 향상시키는 업스케일러 확산 모델도 포함되어 있습니다. 아래는 저해상도 생성 이미지(128x128)를 고해상도 이미지(512x512)로 상향 조정하는 모델의 예입니다.
고압축 상태의 JPG 원본 이미지로 손실압축으로 인하여 외곽선과 색의 뭉개짐 현상이 있음에도 불구하고, 타켓 이미지의 경우 완벽한 결과물을 확인할 수 있습니다.

비교를 위해 과거 로직을 이용한 업스케일러의 경우 아래와 같은 결과를 보여줍니다.

위와 같이 사용자의 후처리 과정 혹은 만들어진 업스케일러 결과물을 기반으로 유사한 결과물을 추정하여 작업을 해야하는 경우가 있으며, 이러한 결과로 문제가 발생한(시간과 비용의 절감을 위해) 프로젝트들이 있습니다.

로직 업스케일러를 사용하는 바람에 경계가 무너져서, 각 스프라이트간 결합이 제대로 되지 않는 현상이 발생

 

이는 단순한 로직 기반의 업스케일러와 달리 Generative Adversarial Network를 이용하므로, 원본 소스의 저품질(이미지의 용량 조절을 위한 손실압축 등)의 문제에 영향을 받지 않고 고해상도의 업스케일링 결과를 뽑아날 수 있으므로, 텍스트-이미지 모델과 결합된 Stable Diffusion 2는 이미지 해상도가 2048x2048 혹은 그 이상인 초고해상도 이미지를 미려하게 생성할 수 있게 되었습니다.