Jukebox

Что такое Jukebox?

Jukebox — это нейросетевая модель от OpenAI, генерирующая музыку и вокал в формате сырого аудио. Она доступна исследователям и разработчикам через открытый код и веса модели. Главный практический барьер для использования: рендеринг одной минуты аудио занимает около 9 часов, что исключает интерактивное применение.

Какие особенности у Jukebox?

• Генерация сырого аудио

  Модель создает музыкальные образцы с примитивным пением, обрабатывая последовательности длительностью до 4 минут.
• Условная генерация

  На вход подаются жанр, имя исполнителя и текст песни; на выходе получается новый трек в выбранном стиле.
• Работа с невиданными текстами

  Система способна обобщать и генерировать вокал по lyrics, которые отсутствовали в обучающей выборке.
• Дополнение треков

  При передаче первых 12 секунд реального аудио Jukebox достраивает остальную часть композиции.
• Иерархическое сжатие

  Используется архитектура VQ-VAE для компрессии звука в дискретные коды с последующей декомпрессией трансформерами.

Какие случаи использования Jukebox?

• Анализ генеративных возможностей

  Исследователи могут изучать способность моделей к долгим зависимостям в аудио, используя предоставленные примеры (дуэты, детские песни).
• Создание прототипов песен

  Тестирование гипотез о том, как ИИ интерпретирует заданные тексты и стилистические метки без привязки к оригинальным записям.

Информация о ценах на Jukebox:

• Бесплатный доступ

  Весы модели и исходный код опубликованы в открытом доступе; оплата за использование сервиса не предусмотрена.

Контактный email Jukebox:

jukebox@openai.com