Deepmind開發Lyria音樂生成模型，探索音樂創作新範式

Deepmind發表了一個稱之為Lyria的先進音樂生成模型，可以生成帶有樂器和人聲的高品質音樂。Deepmind透過與YouTube合作，整合Lyria模型開發了音樂創作工具Dream Track，要供YouTube創作者更有效率地將創意轉換成作品。

研究人員解釋了當前人工智慧模型生成音樂的挑戰，在於音樂本身包含極高的資訊密度，其中每一秒鐘都可能擁有多個節拍、音符和和聲。而這使得音樂相較與語言更為複雜，對人工智慧模型來說，維持長時間音樂序列中的連續性特別困難，因為模型需要在不同的樂句、詩節和長段落中，保持音樂的流暢性和一致性。

另外，因為音樂經常同時包含多個聲部和樂器，也進一步增加了音樂生成的難度，因為模型需要協調多種聲音和旋律，使其能和諧地結合。

而Deepmind所開發的Lyria人工智慧模型的特點在於生成高品質音樂，並包含樂器和人聲的部分。Lyria模型擅長執行音樂變換和延續的任務，因此可以根據現有音樂片段創造出新穎，或是與原始風格一致的續篇。研究人員也強調，Lyria模型擁有細緻的控制選項，可讓用戶精確制定生成音樂風格和表現方式。這些功能讓Lyria模型能夠成為強大的音樂創作工具，滿足專業音樂創作的需求，同時也可供一般用戶簡單上手。

YouTube也開始在短影片功能Shorts上實驗音樂創作工具Dream Track，探索Lyria模型帶來的效益。在這實驗中，創作者將使用Dream Track，透過運用Lyria模型生成獨特的配樂，配樂將結合由人工智慧合成的聲音，並且可選用Charlie Puth、Charli XCX或Sia等多位YouTube合作藝術家的音樂風格。

Dream Track還可以透過簡單地輸入主題，讓用戶從輪播中選出一位藝術家，替短影片生成30秒的配樂。由於Lyria模型的強大能力，因此Dream Track可以同時生成歌詞、伴奏，以及該藝術家的聲音風格。

透過與更多的藝術家、作曲家和製作人合作，Deepmind正廣泛地探索，音樂創作領域的人工智慧應用，像是用戶只要哼唱，人工智慧就會把旋律轉換成為管樂，或是將MIDI的和弦轉換成逼真的合唱聲部，甚至是將聲樂音軌添加樂器伴奏。

特別的是，Lyria模型生成的所有內容，都會加上SynthID浮水印標記。SynthID原本是一種用於辨識Google雲端Vertex AI上Imagen生成圖像的技術，SynthID能夠在不影響聽覺體驗的前提下，在人工智慧生成的音訊內容中，嵌入聽眾無法察覺的聲音標記。研究人員提到，這種聲音浮水印即便在經過添加噪音、MP3壓縮甚至加快和減慢曲目速度等常見的修改，都能夠維持可檢測性，Lyria模型也可以透過偵測歌曲中的SynthID，來確認歌曲中由Lyria模型生成的部分。