Stable Video Diffusion: 사진을 동영상으로 만들다.

우리는 AI의 시대에 살아가고 있습니다. AI기술을 통해 원하는 사진을 만들 수 있죠.
AI 사진을 만들고, 선명하게 고치고 하는 등의 기술도 바로 AI 기술 덕분인데요.
오늘은 이 분야의 탑인 Stability AI가 무료로 공개한 Stable Video Diffusion이라는 기술에 대해 소개해 드리려고 합니다.

Stability AI는 다양한 분야(이미지, 언어, 오디오, 3D, 코드 등)에 걸쳐 오픈소스 AI 모델을 개발하고 있는 회사입니다.
Stability AI의 목표는 인간의 상상력을 쉽게 현실화하는 방법을 고민하고, 이를 통해 많은 이들로 하여금 창작의 세계에 참여하도록 유도하고 있습니다.
Stability AI는 이미 Stable Diffusion이라는 이미지 생성 모델을 공개하였고, 이를 기반으로 한 다양한 응용 모델들을 개발하고 있습니다.

Stable Video Diffusion은 Stable Diffusion을 기반으로 한 이미지-비디오 생성 모델입니다.
이 모델은 움직이지 않는 이미지를 업로드하면, 그 이미지에 맞는 동영상을 자동으로 생성해줍니다.
예를 들어, 산 위에 있는 집의 사진을 입력하면, 그 집을 둘러싼 풍경이 움직이는 동영상이나, 전경을 비춰주는 동영상으로 변환해주는 식이죠.
이 모델(SVD 모델)은 14프레임과 25프레임의 두 가지 버전으로 공개되었으며, 3~30프레임/초의 프레임 속도를 조절할 수 있습니다.
SVD 모델은 사용자 선호도 조사에서 기존의 유료 모델과 비슷하거나 더 뛰어난 성능을 보여줬습니다.

Stable Video Diffusion은 다양한 분야에서 활용될 수 있습니다.
예를 들면, 광고나 교육, 엔터테인먼트 등에서 텍스트나 이미지를 통해 동영상을 만들어 낼 수 있습니다.
그리고 SVD 모델을 다른 데이터셋으로 미세 조정을 하여, 다양한 하위 작업에 적용할 수 있습니다.
조금 더 쉽게 말하면, 하나의 이미지로부터 다양한 각도의 비디오를 생성할 수 있다는 것입니다.

Stability AI는 언제나처럼 SVD 모델을 연구 목적으로 무료로 공개하였습니다.
이 모델의 코드와 가중치는 Stability AI의 GitHub에서 코드를 다운받아 연구에 활용하거나, Hugging Face 페이지에서 사용해볼 수 있습니다.

제가 시도해보니까 이미지 한장에 270초 정도 걸리더라구요. 결과물을 세밀하게 조정하는 것은 테스트 페이지에서 적용되지 않지만, 코드를 다운받아 조정하면 원하는 결과물에 근접할 수 있을 것 같습니다.

기술의 발전이 놀랍네요. 사진 한 장으로 이정도의 영상을 만들 수 있다니…
여러분도 테스트 페이지(허깅페이스)에서 한번 이미지를 동영상으로 만들어보세요!