Separación de fuentes musicales mediante redes neuronales convolucionales con múltiples decodificadores

LEONARDO PEPINO; LAURENCE BENDER

Caseros

Jornada; IV Jornadas de Acústica, Audio y Sonido; 2018

Universidad Nacional de Tres de Febrero

La separación de fuentes musicales en grabaciones profesionalmente producidas es una tarea de creciente interés con aplicaciones en el ámbito de las ciencias de la grabación y la recuperación de información musical. En este estudio, se exploran técnicas de aprendizaje profundo con redes neuronales aplicadas a la separación de fuentes musicales en mezclas de audio. La red neuronal propuesta extrae descriptores espectrales y temporales mediante filtros convolucionales aplicados al espectrograma de la mezcla. Estos descriptores aprendidos constituyen la entrada a múltiples etapas decodificadoras que reconstruyen en forma paralela los espectrogramas de cada fuente separada. Se entrena y evalúa la red neuronal empleando la base de datos DSD100, que brinda mezclas estereofónicas de música popular con sus respectivas pistas de bajo, batería y voces. El impacto de distintas funciones de costo y de la cantidad de filtros convolucionales es examinado en base a índices SDR, SIR, SAR e ISR. Se analizan las potencialidades y debilidades del modelo propuesto y se sugieren futuras mejoras.