Was ist Jukebox?
Jukebox ist ein neuronales Netzwerk von OpenAI, das Musik und rudimentären Gesang als Rohaudio generiert. Das Modell wurde als Forschungsprojekt veröffentlicht, wobei die Gewichte und der Code verfügbar sind. Es eignet sich nicht für interaktive Anwendungen, da die Generierung einer Minute Audio etwa 9 Stunden dauert.
Was sind die Merkmale von Jukebox?
- Rohaudio-GenerierungErzeugt Musik und Gesang direkt als Audio-Signale (44,1 kHz) statt symbolischer Formate wie MIDI.
- Konditionierung nach MetadatenSteuert den Stil durch Eingabe von Artist-, Genre- und Textinformationen zur Laufzeit.
- Hierarchische KodierungNutzt VQ-VAE-Stufen mit unterschiedlichen Kompressionsraten, um lokale Klangfarbe und globale Struktur zu erfassen.
- Text-zu-Audio-AusrichtungVerwendet Encoder-Decoder-Aufmerksamkeit, um geschriebene Lyrics zeitlich mit dem generierten Gesang abzugleichen.
- VervollständigungsfunktionSetzt vorhandene Audio-Segmente (z. B. 12 Sekunden) in einem definierten Stil fort.
Was sind die Anwendungsfälle von Jukebox?
- Forschung an LangzeitstrukturenAnalyse der Fähigkeit des Modells, lange musikalische Abhängigkeiten über Minuten hinweg zu modellieren.
- Experimente mit Stil-KonditionierungUntersuchung, wie das Modell unbekannte Lyrics oder spezifische Künstlerstile interpretiert und generalisiert.
- Bewertung aktueller GrenzenPrüfung der Lücken zwischen KI-generierter Kohärenz und menschlicher Musikalität, z. B. fehlende wiederkehrende Chorusse.
