Unsupervised generative chord representation learning and its effect on novelty-creativity and fidelity-standards

Abstract

Los modelos generativos de aprendizaje profundo han experimentado un gran desarrollo en la generación de arte. Aunque la generación de arte basada en imágenes ha tenido un gran éxito, la música todavía tiene mucho por delante para alcanzar a su contraparte. Especial enfoque en mejorar los resultados generados ha descuidado la importancia de comprender cómo los modelos generativos aprenden y entienden la música. Esta investigación tiene como objetivo comprender cómo las características del espacio latente en los modelos generativos afectan la generación de ejemplos musicales novedosos y su relación con el aprendizaje de conceptos musicales. Se entrenaron VAEs no-supervisadas con espacios latentes de diferentes características para generar acordes. Se analizaron las capacidades de reconstrucción y generación. Se entrenó un conjunto de redes de sondeo para determinar las representaciones aprendidas por los modelos no-supervisados. El análisis muestra que espacios latentes grandes favorecen, con lımitaciones, la novedad-creatividad en perjuicio de la fidelidad-estándares, que empeoran pero con un límite. Otros hallazgos muestran espacios latentes pequeños no permiten una buena reconstrucción de los datos de entrenamiento, pero aún así son suficientes para mantener la fidelidad-estándares en el momento de la generación, a expensas de una menor novedad-creatividad. Finalmente, los resultados muestran que se requieren espacios latentes grandes para un mayor aprendizaje de conceptos musicales complejos.