Design of a mapping strategy for computer sound synthesis in multi-touch surfaces based on expressive analysis of gestures
Loading...
Date
2018
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Como parte del proyecto Arcontinuo, un instrumento musical digital (DMI) con una superficie multitáctil curva, esta investigación busca diseñar una estrategia para una síntesis de sonidos expresiva. Para lograrlo, este estudio contempla dos partes: análisis de la interacción en DMIs con superficies multitáctiles y una propuesta de mapeo de descriptores expresivos gestuales basado en lógica difusa. La calidad de la interacción debe ser un objetivo central en el diseño de un DMI, pero no es una tarea simple ya que involucra relaciones entre el músico, el DMI, otros músicos y la audiencia. Por ello, usando conceptos de Interacción Humano-Computador (HCI) y la teoría de affordance, se propone un modelo que permitiría iluminar el diseño de eventos de interacción en DMIs multitáctiles. Los músicos deben interactuar con interfaces que pueden ser controladas con frameworks de interacción y procesamiento, por lo que es importante pensar y diseñar qué ocurre en estas etapas y cómo se relacionan con el mapeo y la síntesis de sonido. Por lo tanto, debemos asegurar que el uso de los frameworks permita el control de la síntesis para tareas específicas, como la interpretación musical ola mezcla, de acuerdo con los deseos del músico. La incorporación de un análisis numérico de los gestos en base a la expresividad podría proveer de una etapa de mapeo más rico. Algunos de los descriptores más reportados en la literatura y los de esfuerzo y forma de Laban han sido utilizados. Este mapeo enriquecido es completado con un sistema de control difuso que recibe los descriptores como entradas y los mapea en variables de síntesis. Esta herramienta permite a los diseñadores de DMIs definir sus propias reglas de mapeo considerando descripciones expresivas de los gestos con diferentes estrategias: basadas en descriptores, basadas en un conjunto de gestos o basadas en metáforas musicales.
Description
Tesis (Master of Science in Engineering)--Pontificia Universidad Católica de Chile, 2018