Le mixage musical est un problème difficile qui nécessite de manipuler la dynamique, la spatialisation, le timbre ou la hauteur des enregistrements. Les chercheurs recherchent activement un moyen de l’automatiser. Cependant, le manque de données multipistes sèches ou non traitées est un obstacle.
Un mixeur audio. Crédit image : Pixnio, domaine public CC0
Un article récent sur arXiv.org envisage l’utilisation de données hors domaine en conjonction avec une approche d’apprentissage en profondeur supervisé pour résoudre ce problème. Cette stratégie permet de former réseaux d’apprentissage en profondeur avec des données multipistes humides ou traitées existantes en les réutilisant pour effectuer une tâche de mixage automatique.
Les chercheurs proposent une nouvelle méthode qui effectue une procédure de normalisation ou d’augmentation des données sur chacune des classes d’effets audio (gain, égalisation, panoramique, compression de plage dynamique et réverbération artificielle). Les résultats des tests d’écoute montrent que l’approche proposée ne se distingue pas des mixes professionnels créés par l’homme.
Le mixage musical consiste traditionnellement à enregistrer des instruments sous la forme de pistes individuelles propres et à les mélanger dans un mélange final à l’aide d’effets audio et de connaissances d’experts (par exemple, un ingénieur de mixage). L’automatisation des tâches de production musicale est devenue un domaine émergent ces dernières années, où les méthodes basées sur des règles et les approches d’apprentissage automatique ont été explorées. Néanmoins, le manque d’enregistrements d’instruments secs ou propres limite les performances de ces modèles, qui sont encore loin des mix professionnels fabriqués par l’homme. Nous explorons si nous pouvons utiliser des données hors domaine telles que des enregistrements de musique multipistes humides ou traités et les réutiliser pour former des modèles d’apprentissage en profondeur supervisés qui peuvent combler l’écart actuel en matière de qualité de mixage automatique. Pour y parvenir, nous proposons une nouvelle méthode de prétraitement des données qui permet aux modèles d’effectuer un mixage musical automatique. Nous avons également repensé une méthode de test d’écoute pour évaluer les systèmes de mixage de musique. Nous validons nos résultats par de tels tests subjectifs en utilisant comme participants des ingénieurs de mixage hautement expérimentés.
Article de recherche: Martínez-Ramírez, MA, Liao, W.-H., Fabbro, G., Uhlich, S., Nagashima, C. et Mitsufuji, Y., « Mélange automatique de musique avec apprentissage en profondeur et données hors domaine » , 2022. Lien : https://arxiv.org/abs/2208.11428
Site du projet: https://marco-martinez-sony.github.io/FxNorm-automix/
