https://stablediffusion.tistory.com/entry/Apple-SiliconM1-M2-Model%EC%97%90%EC%84%9C-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%A2%8B%EC%9D%80-Stable-Diffusion-%EC%93%B0%EB%8A%94-%EB%B2%95 Apple Silicon(M1, M2 Model)에서 성능이 좋은 Stable Diffusion 쓰는 법 Apple Silicon(Mac AP, M1, M2 Model)에서 성능이 좋은 Stable Diffusion 쓰는 법 Intel 기반의 맥북, 맥북에어, 맥프로, 맥미니 등과 달리 맥 실리콘을 탑재한 M1, M2 모델의 경우 PyTorch가 뉴럴 엔진/GPU 자원을 제대 stabledi..

상기 이미지 4개는 Stable Diffusion 2에서 "Cluttered house in the city, anime, matte painting, high resolution"라는 키워드, 프롬프트를 이용하여 생성된 이미지이다. 가장 생성하고 싶은 핵심 메인을 앞에 표현하거나, 핵심 메인의 타입이나 스타일을 함께 표현하는 방법, 그리고 쉼표를 이용하여 다른 스타일을 여러가지 혼재하여 사용하는 방법 모두 가능하다. 1. 기본적인 Stable Diffusion 2의 Keyword, Prompt 형식 아래는 Stable Diffusion 2의 Keyword, Prompt 예시이다. “A [type of picture] of a [main subject], [style cues]*” "A [size] [t..

Apple Silicon(Mac AP, M1, M2 Model)에서 성능이 좋은 Stable Diffusion 쓰는 법 Intel 기반의 맥북, 맥북에어, 맥프로, 맥미니 등과 달리 맥 실리콘을 탑재한 M1, M2 모델의 경우 PyTorch가 뉴럴 엔진/GPU 자원을 제대로 사용할 수가 없는 관계로 CPU의 깡성능에만 의존해서 Stable Diffusion을 사용했었다. 이는 Stable Diffusion Bee 역시 마찬가지인데, Stable Diffusion에서 사용하는 PyTorch 모델을 Core ML format으로 변경하여 뉴럴엔진과 GPU의 성능을 좀 더 사용할 수 있는 Core ML 지원버전이 나왔다. 실제적인 체감으로는 Stable Diffusion 2의 약 2배 정도(벤치마크상으로는 3..

Stable Diffusion 2 Super-resolution Upscaler Diffusion Models(초고해상도 업스케일러 확산 모델) Stable Diffusion 2에는 이미지의 해상도를 4배 향상시키는 업스케일러 확산 모델도 포함되어 있습니다. 아래는 저해상도 생성 이미지(128x128)를 고해상도 이미지(512x512)로 상향 조정하는 모델의 예입니다. 고압축 상태의 JPG 원본 이미지로 손실압축으로 인하여 외곽선과 색의 뭉개짐 현상이 있음에도 불구하고, 타켓 이미지의 경우 완벽한 결과물을 확인할 수 있습니다. 비교를 위해 과거 로직을 이용한 업스케일러의 경우 아래와 같은 결과를 보여줍니다. 위와 같이 사용자의 후처리 과정 혹은 만들어진 업스케일러 결과물을 기반으로 유사한 결과물을 추정하..

Stable Diffusion 2의 주요한 업데이트 내용 중 하나인 Depth-to-Image Model은 이미지의 깊이를 추론하고 텍스트와 깊이 정보를 모두 사용하여 새로운 이미지를 생성하는 Stable Diffusion 2의 새로운 깊이 기반 모델(depth-guided model)이다. 기본 이미지에서 깊이 정보를 추론하여, 이를 공간으로 치환하고, 같은 공간내 이미지를 생성하므로 사용자의 기대값에 근접하는 3차원적인 구조를 특정하고, 유지할 수 있는 장점이 있으며, 평면적인 이미지 생성에 많이 쓰이는 경향이 있던 인공지능 생성 이미지를 좀 더 공간적인 영역으로 확장할 수 있는 장점이 있다. 또한 깊이 기반 이미지의 생성이 가능하게 되면서 단순한 2차원적인 이미지의 연속적인 레이어의 생성 이상으로 ..