Étude de la fatigabilité des bras lors d’interactions gestuelles en mid-air au travers de la réalité virtuelle - CRISTAL-MINT
Thèse Année : 2021

Study of the arm fatigue during gestural interactions in mid-air through virtual reality

Étude de la fatigabilité des bras lors d’interactions gestuelles en mid-air au travers de la réalité virtuelle

Résumé

Recently, new virtual reality (VR) headsets for the general public have appeared with capacities comparable to those used in the laboratory. The use of these technologies has become more common, and the user sessions have become longer (video games, artistic expression, remote work, sport, rehabilitation, etc.). During these times of interaction, users have their arms in mid-air sometimes without possible rest. Also, this type of interaction in the air is known to cause fatigue in the arms which is called the ``Gorilla Arm effect'' in human-computer interaction (HCI). Understanding this phenomenon when we design VR applications, becomes an essential element in order to ensure user comfort and also to avoid injuries.First, we will discuss previous work dealing with the subject of mid-air interactions and then muscle fatigue before presenting studies that group these two subjects. Then, through several experiments, we sought to extend our understanding of this fatigue during various VR exercises. In particular, we were interested in different synchronizations of the hands, the rhythm and the control-display ratio (CDR), by relying on the contexts of applications that can cause long sessions of use such as video games and artistic expression.First, we studied the differences between one and two-handed interactions in terms of fatigue during different repetitive target selection tasks. It appeared that hand synchronicity had to be chosen with regard to the task to be performed in order to optimize the relationship between fatigue and efficiency. In addition, it would seem preferable to give the user the possibility of using their hands as they wish so that they self-regulate their fatigue. In addition, it could be that changes in user postures are indicators of fatigue. Finally, we were able to verify that certain directions of movement were more tiring, in particular the vertical one and certain diagonals. Second, following in particular the analysis of participants' feedback, we explored the impact of a rhythm imposed on gestures on arm fatigue and user experience (UX), during a follow-up exercise. of targets. This rhythm, especially if it is irregular and slow, seems to be able to reduce the feeling of tiredness and improve the user experience. In addition, if the rhythm is emphasized by a simple sound, the participant might perceive the task as more tiring but also more engaging than without sound. Finally, we wanted to observe the effects of variations in CDR on fatigue and UX. This experience took place in an immersive virtual musical instrument (IVMI) in order to motivate the mid-air gestures of the participants. They must have explored a musical cube while their gestures were visually amplified or reduced, more or less strongly. When the CDR is moderately modified, it could have a beneficial impact on the UX when interacting with an IVMI. Also, surprisingly, we observed no significant impact on fatigue as, for a large variation in CDR, users covered less distance with their hand and this distance was correlated with fatigue. Studying the CDR over longer interaction times may allow us to observe an impact on fatigue.In conclusion, we were able to draw some interesting implications for the best design choices to make when offering low-fatigue VR applications. We also proposed ideas for future work that would be interesting to study, such as the use of manipulation redirected between differentiated CDR areas or the study of posture changes as an indicator of fatigue.
Récemment, sont apparus de nouveaux casques grand public de réalité virtuelle (RV) aux capacités comparables à ceux utilisés en laboratoire. L'usage de ces technologies est devenu plus courant et les sessions d'utilisation sont devenues plus longues (jeux vidéo, expression artistique, travail à distance, sport, rééducation...). Durant ces temps d'interaction, les utilisateurs ont leurs bras dans les airs parfois sans repos possible. Aussi, ce type d'interaction dans l'air, qualifié de ``mid-air'', est connu pour provoquer de la fatigue au niveau des bras que l'on nomme ``effet Bras de Gorille'' en interaction humain-machine (IHM). Comprendre ce phénomène pour la conception des applications en RV devient un élément essentiel afin d'assurer un confort d'utilisation et aussi d'éviter des blessures.D'abord, nous discuterons les travaux antérieurs traitant le sujet des interactions mid-air puis de la fatigue musculaire avant de présenter des études portant sur ces deux sujets. Puis, au travers de plusieurs expériences, nous avons cherché à étendre notre compréhension de cette fatigue lors de divers exercices en RV. En particulier, nous nous sommes intéressés à différentes synchronisations des mains, au rythme et au rapport contrôle-affichage (CDR), en nous appuyant sur les contextes d'applications pouvant occasionner de longues sessions d'utilisations comme le jeu vidéo et l'expression artistique.Premièrement, nous avons étudié les différences entre interactions uni et bi-manuelles en terme de fatigue au cours de différentes tâches répétitives de sélection de cibles. Il est apparu que la synchronicité de main devait être choisie au regard de la tâche à effectuer pour optimiser le rapport entre fatigue et efficacité. De plus, il semblerait préférable de laisser à l’utilisateur la possibilité d’utiliser ses mains comme il le souhaite afin qu'il auto-régule sa fatigue. En outre, il se pourrait que les changements de postures des utilisateurs soient des indicateurs de la fatigue. Enfin, nous avons pu vérifier que certaines directions de mouvements étaient plus fatigantes, en particulier celle verticale et certaines diagonales. Secondement, suite notamment à l'analyse des retours des participants, nous avons exploré l'impact d'un rythme imposé aux gestes sur la fatigue des bras et l'expérience de l'utilisateur (UX), lors d'un exercice de suivi de cibles. Ce rythme, en particulier s’il est irrégulier et lent, semblerait pouvoir réduire la sensation de fatigue et améliorer l’expérience de l’utilisateur. De plus, si le rythme est souligné par un son simple, le participant pourrait percevoir la tâche comme étant plus fatigante mais également plus engageante qu'en l'absence de son. Enfin, nous avons voulu observer les effets de variations du CDR sur la fatigue et l'UX. Cette expérience a pris place dans un instrument de musique virtuel immersif (IVMI) afin de motiver les gestes mid-air des participants. Ils ont dû explorer un cube musical alors que leurs gestes étaient visuellement amplifiés ou réduits, plus ou moins fortement. Quand le CDR est modérément modifié, il pourrait avoir un impact bénéfique sur l'UX lors de l’interaction avec un IVMI. Aussi, étonnamment, nous n'avons observé aucun impact significatif sur la fatigue alors que, pour une grande variation du CDR, les utilisateurs parcouraient moins de distance avec leur main et que cette distance était corrélée à la fatigue. Étudier le CDR sur des temps d'interaction plus longs nous permettra peut-être d'observer un impact sur la fatigue.En conclusion, nous avons pu retirer des implications intéressantes sur les choix de conceptions les plus judicieux à effectuer lorsque l'on veut proposer des applications peu fatigantes en RV. Nous avons également proposé des idées de futurs travaux qu'il serait intéressant d'étudier, comme l'utilisation de la manipulation redirigée entre des zones de CDR différenciées ou l'étude des changements de postures comme indicateur de la fatigue.
Fichier principal
Vignette du fichier
These_REYNAERT_Vincent.pdf (13.02 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-03580555 , version 1 (18-02-2022)

Identifiants

  • HAL Id : tel-03580555 , version 1

Citer

Vincent Reynaert. Étude de la fatigabilité des bras lors d’interactions gestuelles en mid-air au travers de la réalité virtuelle. Interface homme-machine [cs.HC]. Université de Lille, 2021. Français. ⟨NNT : 2021LILUB019⟩. ⟨tel-03580555⟩
190 Consultations
113 Téléchargements

Partager

More