Apple Silicon(Mac AP, M1, M2 Model)에서 성능이 좋은 Stable Diffusion 쓰는 법 Intel 기반의 맥북, 맥북에어, 맥프로, 맥미니 등과 달리 맥 실리콘을 탑재한 M1, M2 모델의 경우 PyTorch가 뉴럴 엔진/GPU 자원을 제대로 사용할 수가 없는 관계로 CPU의 깡성능에만 의존해서 Stable Diffusion을 사용했었다. 이는 Stable Diffusion Bee 역시 마찬가지인데, Stable Diffusion에서 사용하는 PyTorch 모델을 Core ML format으로 변경하여 뉴럴엔진과 GPU의 성능을 좀 더 사용할 수 있는 Core ML 지원버전이 나왔다. 실제적인 체감으로는 Stable Diffusion 2의 약 2배 정도(벤치마크상으로는 3..

Stable Diffusion 2 Super-resolution Upscaler Diffusion Models(초고해상도 업스케일러 확산 모델) Stable Diffusion 2에는 이미지의 해상도를 4배 향상시키는 업스케일러 확산 모델도 포함되어 있습니다. 아래는 저해상도 생성 이미지(128x128)를 고해상도 이미지(512x512)로 상향 조정하는 모델의 예입니다. 고압축 상태의 JPG 원본 이미지로 손실압축으로 인하여 외곽선과 색의 뭉개짐 현상이 있음에도 불구하고, 타켓 이미지의 경우 완벽한 결과물을 확인할 수 있습니다. 비교를 위해 과거 로직을 이용한 업스케일러의 경우 아래와 같은 결과를 보여줍니다. 위와 같이 사용자의 후처리 과정 혹은 만들어진 업스케일러 결과물을 기반으로 유사한 결과물을 추정하..