Jukeboxとは何ですか？
Jukeboxは、ジャンルやアーティスト名、歌詞を入力として受け取り、生音声の音楽と rudimentary singing（初歩的な歌唱）を生成するOpenAIのニューラルネットです。モデルの重みとコードが公開されていますが、1分間の音声レンダリングに約9時間かかるため、対話型アプリケーションでの利用には適していません。
Jukeboxの特徴は何ですか？
- 生音声の生成44.1kHzの生音声で音楽と歌唱を出力し、学習時に使用されなかった歌詞に対しても汎化能力を持ちます。
- 多段階の圧縮・復元VQ-VAEを用いて音声を離散コードに圧縮し、Sparse Transformersでコードを生成後、変換器で再サンプリングして生音声に戻します。
- スタイル条件付けアーティストやジャンルを指定することで、特定のスタイルへの生成を制御でき、類似するアーティストやジャンルがクラスタリングされます。
- 歌詞アライメントSpleeterなどで抽出したボーカルを用いて歌詞と音声の対応関係を学習し、正確な発音と歌唱タイミングを実現します。
Jukeboxの使用例は何ですか？
- 既存曲の続き作成実際の曲から12秒分の音声を条件として与え、指定したスタイルで残り部分を補完する実験が可能です。
- 新規サンプルの探索ジャンル、アーティスト、歌詞を組み合わせた入力により、一から新しい音楽サンプルを生成して聴取できます。
