Exploration in Movement-Sound Interactive Systems
Exploration des systèmes interactifs mouvement-son
Résumé
Movement-sound interactive systems enable interactions with computer-generated sounds through sensing technology, typically wearable motion sensors or cameras. A large body of research has been reported on such systems by communities around New Interfaces for Musical Expressions (NIME), Sound and Music Computing, and Movement & Computing. These works have various applications in music, dance, sports, and rehabilitation. Although this research field has matured in several aspects, the different learning processes implied in designing and performing with such systems remain elusive as they cannot be described or formalized from a unique point of view. This PhD dissertation aims to investigate, through the lens of exploration, the learning and appropriation of movement-sound interactive systems. This work is an interdisciplinary effort combining different methodological approaches from Engineering, Human-Computer Interaction, and Research-Creation. First, interviews with artists, composers, and educators using movement-sound technologies have been carried out to ground our research in artistic and pedagogical contexts. Second, an interactive system named mosX was designed to be useable and adaptable in different research and artistic contexts through various cycles of experiment and technological developments. mosX allows users to explore sound samples through body movements measured by wireless sensors. It uses polyspring, a Python package we developed to manipulate sound database 2-dimensional representations. Polyspring was motivated by a preliminary experiment of movement-sound exploration. Third, a controlled experiment using mosX was conducted, where participants explored a set of sounds mapped to the posture of their dominant arm. Quantitative metrics were created to analyze the exploration, supplemented by qualitative data. The analysis proved relevant for quantifying the space explored by participants and eliciting their experiences and different early learning processes. Fourth, we present, from a first-person perspective, performance-led research utilizing mosX along with other gesture sonification strategies. This research work can thus be seen as a loop between user-centered and participatory design, technology development, and performance-led practices. We found that interactive technologies are rarely the starting point of artistic practice but rather a tool embedded in the socio-cultural context in which artists evolve. It is their experiential qualities that are found to bring something meaningful to the practice, both as a reflector of the action and as a tool to experiment and create beyond norms. Both the interviews and the experiments show that open-ended exploration is a necessary step to understanding the possibilities and limitations of those tools and is an actual part of learning. As interactive systems are at the crossroads of several domains, learning how to use such systems was found to englobe multiple intertwined meanings: understanding the technology that supports them, getting better at crafting meaningful interactions, exploiting the resulting interaction, and ultimately, being able to transmit the related knowledge to others.
Les systèmes interactifs mouvement-son permettent d'interagir avec des sons générés par ordinateur grâce à des capteurs de mouvement portés à même le corps ou des caméras. De nombreuses recherches ont été menées sur ces systèmes par les communautés autour des Nouvelles interfaces pour les expressions musicales, de l'informatique sonore et musicale, et de l'informatique pour le mouvement. Ces travaux ont diverses applications dans les domaines de la musique, de la danse, du sport et de la rééducation. Bien que ce domaine de recherche ait atteint sa maturité sur plusieurs aspects, les différents processus d'apprentissage impliqués dans la conception et la performance avec de tels systèmes restent difficile à saisir car ils ne peuvent être décrits ou formalisés de manière unique. Cette thèse de doctorat vise à étudier, sous l'angle de l'exploration, l'apprentissage et l'appropriation des systèmes interactifs mouvement-son. Ce travail est un effort interdisciplinaire combinant différentes approches méthodologiques de l'ingénierie, de l'interaction humain-machine et de la recherche-création. Tout d'abord, des entretiens avec des artistes, des compositeurs et des éducateurs utilisant des technologies de mouvement et de son ont été réalisés pour ancrer notre recherche dans des contextes artistiques et pédagogiques. Ensuite, un système interactif appelé mosX a été conçu pour être utilisable et adaptable dans différents contextes artistiques et de recherche à travers divers cycles d'expérimentation et de développements technologiques. mosX permet aux utilisateurs d'explorer des échantillons sonores grâce à des mouvements corporels mesurés par des capteurs sans fil. Il utilise polyspring, un package Python que nous avons développé pour manipuler les représentations bidimensionnelles des bases de données sonores. Polyspring a été motivé par une expérience préliminaire d'exploration mouvement-son. Troisièmement, une expérience contrôlée utilisant mosX a été menée, au cours de laquelle les participants ont exploré un ensemble de sons correspondant à la posture de leur bras dominant. Des mesures quantitatives ont été créées pour analyser l'exploration, complétées par des données qualitatives. L'analyse s'est avérée pertinente pour quantifier l'espace exploré par les participants et pour obtenir leurs expériences et les différents processus mise en place lors de l'apprentissage initial. Quatrièmement, nous présentons, à la première personne, une recherche sur des performances artistiques utilisant mosX ainsi que d'autres stratégies de sonification gestuelle. Ce travail de recherche peut donc être considéré comme une boucle entre la conception centrée sur l'utilisateur et participative, le développement technologique et les pratiques basées sur la performance artistique. Nous avons constaté que les technologies interactives sont rarement le point de départ de la pratique artistique, mais plutôt un outil intégré dans le contexte socioculturel dans lequel les artistes évoluent. Ce sont leurs qualités expérientielles qui apportent quelque chose de significatif à la pratique, à la fois en tant que reflet de l'action et en tant qu'outil permettant d'expérimenter et de créer au-delà des normes. Les entretiens et les expériences montrent que l'exploration ouverte est une étape nécessaire pour comprendre les possibilités et les limites de ces outils et qu'elle fait partie intégrante de l'apprentissage. Les systèmes interactifs étant à la croisée de plusieurs domaines, il s'est avéré que l'apprentissage de l'utilisation de ces systèmes englobe de multiples significations entrelacées : comprendre la technologie qui les soutient, s'améliorer dans l'élaboration d'interactions significatives, exploiter l'interaction qui en résulte et, enfin, être capable de transmettre les connaissances correspondantes à d'autres.
Origine | Version validée par le jury (STAR) |
---|