Deepmind發表了一個稱之為Lyria的先進音樂生成模型,可以生成帶有樂器和人聲的高品質音樂。Deepmind透過與YouTube合作,整合Lyria模型開發了音樂創作工具Dream Track,要供YouTube創作者更有效率地將創意轉換成作品。

研究人員解釋了當前人工智慧模型生成音樂的挑戰,在於音樂本身包含極高的資訊密度,其中每一秒鐘都可能擁有多個節拍、音符和和聲。而這使得音樂相較與語言更為複雜,對人工智慧模型來說,維持長時間音樂序列中的連續性特別困難,因為模型需要在不同的樂句、詩節和長段落中,保持音樂的流暢性和一致性。

另外,因為音樂經常同時包含多個聲部和樂器,也進一步增加了音樂生成的難度,因為模型需要協調多種聲音和旋律,使其能和諧地結合。

而Deepmind所開發的Lyria人工智慧模型的特點在於生成高品質音樂,並包含樂器和人聲的部分。Lyria模型擅長執行音樂變換和延續的任務,因此可以根據現有音樂片段創造出新穎,或是與原始風格一致的續篇。研究人員也強調,Lyria模型擁有細緻的控制選項,可讓用戶精確制定生成音樂風格和表現方式。這些功能讓Lyria模型能夠成為強大的音樂創作工具,滿足專業音樂創作的需求,同時也可供一般用戶簡單上手。

YouTube也開始在短影片功能Shorts上實驗音樂創作工具Dream Track,探索Lyria模型帶來的效益。在這實驗中,創作者將使用Dream Track,透過運用Lyria模型生成獨特的配樂,配樂將結合由人工智慧合成的聲音,並且可選用Charlie Puth、Charli XCX或Sia等多位YouTube合作藝術家的音樂風格。

Dream Track還可以透過簡單地輸入主題,讓用戶從輪播中選出一位藝術家,替短影片生成30秒的配樂。由於Lyria模型的強大能力,因此Dream Track可以同時生成歌詞、伴奏,以及該藝術家的聲音風格。

透過與更多的藝術家、作曲家和製作人合作,Deepmind正廣泛地探索,音樂創作領域的人工智慧應用,像是用戶只要哼唱,人工智慧就會把旋律轉換成為管樂,或是將MIDI的和弦轉換成逼真的合唱聲部,甚至是將聲樂音軌添加樂器伴奏。

特別的是,Lyria模型生成的所有內容,都會加上SynthID浮水印標記。SynthID原本是一種用於辨識Google雲端Vertex AI上Imagen生成圖像的技術,SynthID能夠在不影響聽覺體驗的前提下,在人工智慧生成的音訊內容中,嵌入聽眾無法察覺的聲音標記。研究人員提到,這種聲音浮水印即便在經過添加噪音、MP3壓縮甚至加快和減慢曲目速度等常見的修改,都能夠維持可檢測性,Lyria模型也可以透過偵測歌曲中的SynthID,來確認歌曲中由Lyria模型生成的部分。

熱門新聞

Advertisement