Zero-1-3: Zero-Shot One Image to 3D Object : 한 장의 사진을 다른 각도의 3D 형태로 재구성

Zero-1-3 Zero-Shot One Image to 3D Object는 한 장의 사진을 다른 각도의 3D 형태 이미지로 손쉽게 재구성하여 출력하는 손쉬운 AI 이미지 생성기입니다.

이는 대규모 디퓨전 모델에서 카메라의 투시 제어 방법을 인공지능이 학습하여 단일 이미지에서 3D 형태로 새로운 카메라 각도 등 3차원적인 이미지 재구성을 가능하게 합니다.

 

Zero-1-3: Zero-Shot One Image to 3D Object의 간략한 이미지 합성 결과, 한 장의 이미지로 다른 각도의 이미지를 재생성할 수 있다

 

A. Zero-1-3: Zero-Shot One Image to 3D Object의 기법

Zero-1-3에서는 새로운 물체를 포함하는 이미지의 관점을 후속적으로 제어할 수 있는 뷰에 대한 조건부 확산 모델을 인공지능이 학습합니다.(왼쪽).

이러한 디퓨전 모델은 3D 재구성을 위한 NeRF 훈련에도 사용될 수 있습니다. (사진의 오른쪽)

 

이미지의 카메라 뷰를 새로 합성하는 기법(왼쪽)과 3차원 오브젝트 재구성을 위한 NeRF(오른쪽)

 

B.  새로운 카메라 각도에 맞춰 이미지 합성

아래는 제공된 이미지에서 불포화 추론을 통해 얻은 이미지의 결과의 데모입니다.

이 데모에서는 호스팅 서버의 저장공간이 한정되어 있기 때문에 30도 정도 정량화된 회전각만을 선택할 수 있으며, 완전한 커스텀 데모를 실행하려면 깃헙의 코드(출처에 주소 있음)를 직접 실행하여 얻을 수 있습니다.

 

차량의 카메라를 30도 변경하여 재합성한 결과물 화면

 

C. 텍스트-투-이미지를 새로운 카메라 각도에 맞춰 합성

다음 이미지는 일반적인 텍스트-투-이미지 인공지능 생성기로 합성된 이미지를 다시 Zero-Shot One Image to 3D Object를 통해 다른 각도로 변경한 형태이며, 3D 랜더링 결과처럼 3차원적인 이미지의 변화를 즉시 제공합니다.

 

입력된 이미지로 3차원 오브젝트로 재합성한 결과물로 디테일이 살아있진 않으나 대략적인 형태의 측면에서는 만족할만한 결과를 보여준다

 

D. 결론

 

Zero-1-3: Zero-Shot One Image to 3D Object가 디테일한 심부까지 완벽한 3D 모델을 재합성해주는 것은 아니지만, 디테일이 필요없는 대략의 이미지의 3D 합성에는 빠른 속도로 재구성이 가능하며, 원형의 Depthmap에 맞는 형태에 결과물 도출까지는 가능한 것으로 보인다.

* Reference/출처
Project Page : https://zero123.cs.columbia.edu/
Paper : https://arxiv.org/abs/2303.11328
Code & Models : https://github.com/cvlab-columbia/zero123
Gradio demo: https://huggingface.co/spaces/cvlab/zero123