Exploring symbolic music generation techniques using conditional generative adversarial networks

Abstract

Los modelos generativos se han convertido en un área de gran importancia en los últimos tiempos, debido a su capacidad para aprender una distribución probabilística de los datos de entrada. Actualmente estos modelos han sido explorados para la generación de imágenes, pero no tanto en el ámbito musical, donde la música es rica en información estructurada que puede ser aprendida por estos modelos. En este trabajo presentamos el análisis de dos casos de estudio de modelos generativos basados en redes convolucionales profundas. Estudiamos su capacidad para generar música simbólica para uno o más instrumentos en el formato pianoroll, y si es posible condicionar la salida para mostrar características de diferentes compositores o géneros. También estudiamos hasta qué punto son controlables los resultados generados. Evaluamos ambos modelos utilizando Fréchet Inception Distance (FID), una métrica para modelos generativos de imágenes, además de métricas musicales definidas por nosotros. Uno de estos casos es el uso de Style- GAN2, donde por primera vez se utiliza este tipo de arquitectura en un dominio no visual, adaptándolo a un contexto distinto con resultados interesantes tanto en FID como en términos musicales cualitativos. Además, tiene propiedades que son de interés para el área de la composición musical, como tener un espacio latente desenredado, donde es fácil explorar diferentes ideas musicales, y la entrada condicional para controlar aún más la salida del modelo. Creemos que los resultados que mostramos en este trabajo son un paso adelante en la comprensión de cómo crear mejores modelos generativos en el dominio de la música simbólica, teniendo en cuenta los conceptos de condicionalidad y controlabilidad para desarrollar mejores herramientas para los usuarios finales.