구글 딥마인드 블로그에 소개된 동영상 생성 모델 Veo에 대해 살펴보자.
Veo: 비디오 생성의 새로운 혁명
Veo는 현재까지 가장 유능한 비디오 생성 모델로, 1분이 넘는 고품질 1080p 해상도 비디오를 다양한 영화 및 시각적 스타일로 생성 가능하고, 프롬프트의 뉘앙스와 톤을 정확하게 포착하고 전례 없는 수준의 창의적인 제어 기능을 제공한다. 이를 통해, 타임랩스나 풍경의 공중 촬영과 같은 영화 효과를 손쉽게 구현할 수 있다.
1. 누구나 접근 가능한 비디오 제작 도구
Veo는 모든 사람이 비디오 제작에 접근할 수 있도록 돕는 도구를 제공한다. 노련한 영화 제작자는 물론, 야심 찬 제작자와 지식을 공유하려는 교육자까지도 Veo를 통해 새로운 스토리텔링과 교육의 가능성을 열 수 있다. 앞으로 몇 주 동안 이러한 기능 중 일부는 labs.google의 새로운 실험 도구인 VideoFX를 통해 선택된 제작자에게 제공될 예정이다. 지금 대기자 명단에 등록할 수 있다.
Veo의 일부 기능은 YouTube Shorts 및 기타 제품에도 도입될 예정이다.
프롬프트: 외로운 카우보이가 말을 타고 아름다운 일몰, 부드러운 빛, 따뜻한 색상을 배경으로 광활한 평원을 가로지른다.
2. 언어와 시각에 대한 더 나은 이해
Veo는 언어와 시각에 대한 고급 이해를 바탕으로 프롬프트를 정확하게 해석하고, 이를 관련 시각적 참조와 결합하여 일관된 장면을 생성한다. 복잡한 장면 내의 디테일을 렌더링 하면서도 문구의 뉘앙스와 톤을 정확하게 포착한다.
프롬프트 : 많은 점박이 해파리가 물속에서 맥동하고 있습니다. 해파리의 몸은 투명하고 심해에서 빛을 발합니다.
프롬프트: 화염에 휩싸인 바비큐에서 닭고기와 피망 케밥을 굽는 극단적인 클로즈업입니다. 얕은 초점과 가벼운 연기. 생생한 색상
프롬프트 : 해바라기가 피는 모습의 타임랩스
3. 영화 제작을 위한 제어 기능
Veo는 입력 비디오와 편집 명령을 기반으로 새로운 편집된 비디오를 생성할 수 있다. 또한 마스크 편집 기능을 통해 비디오의 특정 영역을 변경할 수도 있으며, 텍스트 프롬프트와 참조 이미지를 결합하여 사용자 지침을 따르는 영상을 만들 수 있다. 또한 Veo는 생성된 영상을 60초 이상으로 확장할 수 있다.
프롬프트: 화창한 날, 하와이 해안선을 따라 드론으로 촬영한 내용
프롬프트 : 화창한 날, 하와이 해안선을 따라 드론 촬영. 물속 카약
4. 일관된 비디오 프레임 유지
비디오 생성 모델에서는 시각적 일관성을 유지하는 것이 중요하다. Veo의 최첨단 잠재 확산 변환기는 이러한 불일치의 모양을 줄여 캐릭터, 개체 및 스타일을 실제 생활과 마찬가지로 제자리에 유지한다.
프롬프트 : 고요한 산의 풍경을 패닝 샷으로 담아낸 카메라가 눈 덮인 봉우리, 화강암 바위, 하늘을 반사하는 수정처럼 맑은 호수를 천천히 드러낸다.
5. 수년간의 연구와 기술
Veo는 GQN(Generative Query Network), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet 및 Lumiere와 같은 수년간의 생성 비디오 모델 작업을 기반으로 구축되었다. 교육 데이터의 각 비디오 캡션에 더 많은 세부 정보를 추가하여 프롬프트를 보다 정확하게 이해하고 따를 수 있도록 했다. 또한 고품질의 압축된 비디오 표현을 사용하여 모델의 효율성을 높였다.
6. 책임감 있는 기술 도입
Veo가 제작한 영상은 워터마킹 및 AI 생성 콘텐츠 식별을 위한 최첨단 도구인 SynthID를 사용하여 워터마킹된다. 이는 개인 정보 보호, 저작권 및 편견 위험을 완화하는 데 도움이 된다.
이렇듯 Veo는 영화 제작 과정을 혁신하고 개인의 창의적인 표현을 가능하게 하는 강력한 도구이다. 앞으로 Veo가 어떻게 활용될지 기대된다.