구글 MusicLM의 진화 - MusicFX
Music FX
2023년 1월 구글은 인공지능으로 음악을 만드는 기능인 구글 MusicLM을 발표하였다.
구글 MusicLM은 전문 음악가들이 직접 엄선하여 만든 음악 - 텍스트 쌍의 세트인 MusicCaps를 활용하여 새로운 음악을 생성한다.
1. 텍스트만 입력하여 내가 원하는 음악을 만들고,
2. 그림의 설명을 활용하여 이미지를 음악으로 바꿔준다.
아래 사이트에 들어가면 텍스트를 입력하여 그 텍스트에 어울리는 음악이 생성된 예제를 살펴 볼수 있다.(영어를 한글로 변환시켜 살펴본다.)
MusicLM은
예1) 자세한 캡션 입력으로 → 음악의 장르, 분위기, 느낌 , 악기 등 자세히 적어 놓으면 AI가 음악을 생성한다.
예2) 여러 장르의 음악을 결합하여 → 타임라인 지정하여 각각 다른 장르의 음악을 지정하여 음악을 만들 수 있다.
예3) 이미지를 음악으로 바꿔준다. → 그림의 설명을 활용하여 이미지의 감정적인 표현을 포착하여 음악 생성
위와 같은 방법으로 데이터 세트인 MusicCaps를 활용하여 음악을 생성한다.
MusicLM은 AI 테스트 키친에서 구글 계정 등록 후 순서를 기다려야 테스트 기회가 주졌다.
이러한 구글 MusicLM이 더욱 진화하여 작년 2023년 12월 Music FX 도구가 출시되었다. Music FX 역시 AI 테스트 키친에서 활용할 수 있으나 구글 계정으로 로그인 하면 바로 이용가능하다.
Music FX
작년 2023년 12월 구글은 AI를 사용하여 자신만의 음악을 생성할 수 있는새 실험 도구인 MusicFX의 출시를 발표했다.
MusicFX는 AI Test Kitchen의 일부이며 구글의 음악 관련 AI 실험 시리즈 중 최신 버전이다.
MusicFX 는 Google의 MusicLM과 DeepMind의 워터마킹 기술을 사용한다.
MusicFX 는 기본 MusicLM 모델에 대한 피드백과 개선을 통해 고품질 오디오 및 더 빠른 음악 생성과 같은 새로운 기능을 활성화하고 있다. 특히 DeepMind의 워터마킹 기술인 SynthID를 사용하여 출력물에 고유한 디지털 워터마크를 생성하여 창작물의 진위성과 출처를 보장한다. 사실 AI가 생성한 콘텐츠가 저작권, 소유권에 대한 논란과 논의는 결론이 나지 않았다. 하지만 워터마킹 기술을 사용하여 내 창작물에 대한 진위성과 출처에 대한 보장은 이와 같은 논란과 논의에 대한 일보 전진이라 할 수 있다.
SynthID
구글 DeepMind에서 만든 워터마킹 기술로서 AI 생성 콘텐츠를 워터마킹하고 식별하는 도구이다. 이 도구를 사용하면 사용자는 자신이 만든 AI 생성 이미지나 오디오에 디지털 워터마크를 직접 삽입할 수 있다. 이 워터마크는 사람이 감지할 수 없지만 식별을 위해 감지할 수 있다.
생성적 AI 텍스트-음악 실험인 MusicFX는 단 몇 단어의 텍스트로 몇 초 만에 샘플 악기 트랙을 만들고 최대 70초 길이의 곡과 음악 루프를 만들며, "고품질" 및 "더 빠른" 음악 생성 기능을 표현한다. 또한 자신의 창작물을 다운로드하거나 친구들과 공유할 수 있다.
또한 정식 음악 교육을 받지 않았거나 정교한 제작 도구에 접근할 수 없는 사람들도 즉 누구나 이미지 및 비디오 AI 생성기와 마찬가지로 모든 사람이 새로운 방식으로 자신의 생각을 표현할 수 있다.
MusicFX 사용법
- 사용방법은 간단하다.
1 화면 왼쪽의 텍스트 상자에 입력하면 오른쪽의 트랙에 음악이 생성된다.
→ 예를 들어 "꽃들이 만발한 봄 날"과 같이 입력하고 생성을 클릭하면 MusicFX는 시스템을 최대한 활용하기 위해 단어를 최적화하는 최선의 방법을 찾아내고 몇 분 후에 오른쪽에 두 개의 트랙이 나타난다. 마음에 들지 않는다면 좀 더 자세한 프롬프트를입력하여 다시 생성한다.
2 설정에서 클립의 지속 시간을 변경할 수 있다. 30초, 50초, 70초 중에서 선택 가능하며 반복되도록 설정할 수 있다. 이렇게 하면 트랙의 시작과 끝이 일치하게 된다.
3 텍스트 입력 창 하단에 추가할 음악 스타일, 악기 및 템포 등에 대한 추가 사항을 선택하여 음악을 생성할 수 있다.
▶ 왼쪽 상단의 ▼ 클릭 - 메뉴에서 'MusicFX' 클릭 - 오른쪽 상단 또는 하단의 'Sign in witj Google' 클릭하여 로그인한다.
→ 개인보호 정책 및 서비스 약관 등 몇 가지 체크 및 동의하고 입장
- 좌측의 넓은 공간이 텍스트 입력 창이다.
- 텍스트는 영어로 입력한다. → 번역기나 Gemini 또는 챗gpt를 이용하여 영어로 변환한다.
▶ 텍스트 입력 - 하단의 'Generate' 클릭
→ 몇 초후 오른쪽에 30초 분량의 2개의 음악이 생성된다.
→ 생성된 음악 상단의 화살표를 클릭하면 생성된 다른 음악을 들을 수 있다.
1 텍스트 입력창
2 생성 버튼
3 설정
-기본 30초이나 50초, 70초의 트랙 길이를 정할 수 있다.
- Looping - 시작과 끝을 자동으로 연결하여 반복하는 옵션
4 다운로드하여 저장할 수 있다.
5공유 링크를 복사하여 sns에 공유할 수 있다.
- AI로 이미지를 만드는 것과 마찬가지로, 최종적으로 얻는 내용은 텍스트 프롬프트로 입력한 내용에 크게 영향을 받지만 요청한 내용이 반드시 정확하다고 보장할 수는 없다.
- MusicFX를 더욱 구체적으로 사용할수록 머릿속의 사운드에 더 가까워질 수 있다.
제한 사항
- 원래 아티스트의 목소리와 스타일을 보호하기 위한 조치로 특정 아티스트를 언급하거나 보컬을 포함하는 특정 검색어에 대해서는 음악을 생성하지 않는다.
- 생성된 모든 콘텐츠는 AI 생성 콘텐츠를 추적할 수 있는 SynthID 워터마크를 사용한다.
그래서 다시 시도했는데, 이번에는 기타와 베이스를 사용하여 컨템포러리 팝인지 확인하는 등 좀 더 구체적인 내용을 추가했습니다. 더 좋았지만 크리스마스 느낌이 전혀 나지 않았습니다. 항상 원하는 대로 되지는 않습니다.
MusicFX가 좋은 점은 비트를 만드는 것입니다. 힙합이나 랩 장르에 상관없이 비트를 생성할 수 있습니다. 특정 악기를 추가하고 박자표와 멜로디를 추가하여 다듬을 수도 있습니다. 컨트리, 컨템포러리 팝 등 다른 장르와도 잘 어울렸습니다.