Apple Silicon(M1, M2 Model)에서 성능이 좋은 Stable Diffusion 쓰는 법

Apple Silicon(Mac AP, M1, M2 Model)에서 성능이 좋은 Stable Diffusion 쓰는 법

 

Intel 기반의 맥북, 맥북에어, 맥프로, 맥미니 등과 달리 맥 실리콘을 탑재한 M1, M2 모델의 경우 PyTorch가 뉴럴 엔진/GPU 자원을 제대로 사용할 수가 없는 관계로 CPU의 깡성능에만 의존해서 Stable Diffusion을 사용했었다. 이는 Stable Diffusion Bee 역시 마찬가지인데,  Stable Diffusion에서 사용하는 PyTorch 모델을 Core ML format으로 변경하여 뉴럴엔진과 GPU의 성능을 좀 더 사용할 수 있는 Core ML 지원버전이 나왔다.

 

실제적인 체감으로는 Stable Diffusion 2의 약 2배 정도(벤치마크상으로는 3배 이상도 성능 향상 기대할 수 있음), Stable Diffusion 1의 약 3배 정도(벤치마크상으로는 4배를 기대할 수 있음)의 성능 향상을 기대할 수 있다.

 

https://github.com/apple/ml-stable-diffusion

GitHub - apple/ml-stable-diffusion: Stable Diffusion with Core ML on Apple Silicon