구글 루미에르 - 텍스트와 이미지를 사실적인 영상으로 변환하는 AI
2024년 1월 바로 2달 전에 구글은 텍스트를 입력하거나 또는 이미지를 업로드하면 인공지능(AI)이 사실적이고 일관성 있는 영상으로 변환해주는 혁신적인 기술인 루미에르를 발표하였다. 이 기술은 영화 역사를 시작한 뤼미에르 형제의 이름을 따서 명명되었다.
루미에르는 "시공간 U-넷(Space-Time U-Net)"이라는 새로운 아키텍처를 사용하여 기존 AI 영상 제작 모델보다 훨씬 더 사실적이고 자연스러운 영상을 만들어낼 수 있다고 한다. 그동안 동영상 생성 모델에서 보였던 어색한 생성이 아닌 매끄러운 재생과 일관성있는 리얼한 움직임에 중점을 두어 설계되었다고 한다.
루미에르의 주요 특징
- 텍스트 프롬프트 기반 영상 생성 - 간단한 텍스트 설명만으로도 원하는 영상을 제작할 수 있다.
- 이미지 기반 영상 생성 - 이미지를 업로드하면 루미에르가 자동으로 이미지를 분석하고 동작을 추가하여 생생한 영상으로 변환해 준다.
- 자연스러운 영상 - 루미에르는 시공간 확산 모델이라는 최첨단 기술을 사용하여 프레임과 프레임 사이의 연결이 자연스럽고 일관성 있는 영상을 생성한다. 기존의 키 프레임 간의 합성과는 다른 방식이다.
- 다양한 편집 기능 - 루미에르는 텍스트 프롬프트를 비디오로 변환하는 것은 물론이고 이미지의 가려진 부분까지 비디오로 구현해내거나 특정 영역에 애니메이션 효과도 넣을 수 있다.
구글 루미에르 작동 원리
확산 모델 기반 비디오 생성
루미에르(Lumiere)는 비디오 생성용 시공간 확산 모델(Space-Time Diffusion Model for Video Generation)로, 이미지 원본의 질을 단계적으로 낮춘 후 점차 세밀한 정보를 추가하여 다시 원본에 가깝게 이미지를 복원하는 과정을 학습시킨 생성형 AI다. 루미에르에서는 이 기술을 비디오 프레임에 적용하여, 텍스트, 이미지, 스타일 정보를 기반으로 사실적인 비디오를 만들어낸다.
루미에르 주요 기능
Google Research에 소개된 루미에르의 기능을 살펴보면
1. 텍스트 입력으로 비디오 생성 Text - to - Video
- 사용자는 텍스트 프롬프트를 입력하여 원하는 비디오 내용을 간접적으로 지시할 수 있다.
- 프롬프트를 입력하면 루미에는 이에 맞는 비디오 영상을 자동으로 생성한다.
2. 이미지 기반 비디오 생성 Image - to - Video
- 루미에르는 업로드된 이미지를 사용하여 이미지의 스타일, 색감, 분위기를 기반으로 새로운 비디오를 생성한다.
- 또한 업로드된 이미지에 프롬프트를 사용하여 이미지가 움직이는 동영상을 생성 할 수 있다.
3. 예술적 스타일 적용 Stylized Generation
- 단일 참조 이미지와 입력된 프롬프트를 입력하여 지정된 스타일의 비디오를 생성할 수 있다.
- 또한 루미에르는 단일한 스타일 뿐만 아니라 다양한 스타일의 조합하여 비디오를 생성할 수 있다.
4. 비디오 스타일화 Video Stylization
- 루미에르는 텍스트를 바탕으로 동영상을 수정할 수 있다.
5. 이미지의 특정 부분에 애니메이션 적용 - Cinemagraphs
- 루미에르는 사용자가 제공한 특정 지역 내에서 이미지 콘텐츠에 애니메이션을 적용할 수 있다.
6. 비디오의 누락된 부분 생성 - Video Inpainting
- 루미에르는 동영상 내 누락 또는 손상된 부분을 보완하여 편집할 수 있다.
구글 리서치에 소개된 루미에르로 생성된 다양한 비디오들이 매우 흥미롭다. 실제 찍은 영상이라고 해도 될만큼의 실제 영상 같은 영상의 퀄리티가 놀랍고, 또한 포토샵의 파이어플라이에서나 할 수 있는 생성형 채우기 기능이 동영상에도 바로 적용될 수 있다니 놀랍고, 진화하는 AI가 너무 놀랍다.
다만 루미에르는 아직 대중에게 출시되지 않아 제시된 다양한 기능을 사용하여 영상을 만들 수는 없다. 루미에르 웹 사이트에 각 기능에 대해 공개되어 있다.