什麼是Jukebox？
Jukebox 是 OpenAI 發布的神經網路模型，能根據流派、藝人及歌詞條件生成包含rudimentary singing的原始音訊音樂。該模型已開源權重與程式碼，並提供探索工具供使用者聆聽生成樣本。
Jukebox的特色是什麼？
- 離散編碼壓縮使用 VQ-VAE 架構將 44.1 kHz 原始音訊壓縮為離散代碼空間，保留音高、音色與音量等核心資訊。
- Transformer 生成透過三層自迴歸 Transformer 模型在壓縮空間中生成新代碼，再解碼回原始音訊以合成完整歌曲。
- 多維度條件控制支援輸入藝人名稱、音樂流派及歌詞作為條件，引導模型生成特定風格或內容的歌曲。
- 歌詞對齊技術結合 Spleeter 人聲分離與自動對齊演算法，解決未標記歌詞與音訊片段之間的時間對應問題。
- 長程結構捕捉頂層先驗模型專注於捕捉音樂的高階語義結構如旋律與歌唱，下層模型則負責還原局部音色細節。
Jukebox的使用案例有哪些？
- 未見歌詞創作測試模型能否泛化至訓練數據中未曾出現的新歌詞，並生成相應的演唱音訊。
- 歌曲風格重現提供特定藝人或流派的條件，觀察模型如何模仿其音樂特徵進行全新作品生成。
- 音樂補全實驗輸入一段真實歌曲的前奏音訊，讓模型依據指定風格續寫後續部分以評估連貫性。
Jukebox定價信息：
- 開源存取Jukebox 的模型權重與程式碼已公開釋放，並提供線上工具探索生成的音樂樣本，無提及付費方案。
