Jukebox

¿Qué es Jukebox?

Jukebox es una red neuronal que genera música y canto rudimentario como audio sin procesar en diversos géneros. OpenAI publica los pesos del modelo y el código para su descarga, pero el muestreo no es interactivo debido a que tarda aproximadamente 9 horas por cada minuto de audio.

¿Cuáles son las características de Jukebox?

• Generación de audio sin procesar

  Produce muestras musicales completas con voces básicas, superando las limitaciones de la generación simbólica (piano roll) al capturar timbres y dinámicas.
• Compresión jerárquica VQ-VAE

  Reduce el audio de 44 kHz a códigos discretos mediante tres niveles de compresión (8x, 32x y 128x) con un tamaño de diccionario de 2048 tokens.
• Condicionamiento por estilo

  Utiliza metadatos de artista y género para guiar la generación, permitiendo crear canciones en estilos específicos o imitar artistas concretos.
• Sincronización con letras

  Alinea la voz generada con las letras proporcionadas, utilizando modelos de atención para manejar la pronunciación y el ritmo dentro de la ventana temporal.
• Explorador de muestras

  Ofrece una herramienta web para escuchar resultados curados y no curados, incluyendo animaciones que muestran qué texto está procesando el modelo en cada momento.

¿Cuáles son los casos de uso de Jukebox?

• Investigación acústica

  Analizar cómo los modelos autoregresivos manejan dependencias de largo alcance en secuencias de audio extensas.
• Prototipado creativo

  Generar bases instrumentales y vocales preliminares para explorar ideas musicales antes de la producción humana final.
• Estudio de alineación fonética

  Observar la capacidad del modelo para adaptar la melodía a estructuras silábicas complejas como las del hip-hop.

¿Cómo usar Jukebox?

1. Descarga de recursos

   Obtener los pesos del modelo y el código fuente publicados por OpenAI.
2. Preparación de entradas

   Definir el género, el artista y las letras deseadas para condicionar la generación.
3. Muestreo local

   Ejecutar el proceso de inferencia en hardware adecuado, asumiendo tiempos de espera prolongados (aprox. 9 horas/minuto).
4. Revisión de salida

   Escuchar el archivo de audio generado para evaluar la coherencia musical y la calidad vocal.

Correo electrónico de contacto Jukebox:

jukebox@openai.com