Les recherches menées par l'équipe Robotique, Action et Perception (RAP) s'inscrivent principalement dans les domaines de la perception, du mouvement référencé capteurs, et des capteurs intégrés en Robotique.  Les contributions concernent la conception de fonctions, leur prototypage, ainsi que leur implémentation sur des robots et leur évaluation en conditions réelles.  La plupart d'entre elles sont orientés vers la robotique en interaction avec les humains (analyse de scènes peuplées d'humains; navigation coordonnée humain-robot; co-botique), ou la robotique ubiquiste et l'intelligence ambiante dans la veine de l'axe ADREAM (fusion de données en provenance de capteurs embarqués et déportés; conception de capteurs intégrés communicants).  Le traitement du signal sous-tend de nombreux développements, et fait également l'objet de travaux séparés amont.

• La perception recouvre les volets acquisition, filtrage, détection, segmentation,  suivi, identification et interprétation.  L'objectif est de développer des fonctions robustes en temps réel, sur la base des modalités visuelle (monoculaire, 3D, polydioptrique, PTZ active, RGB-D, IR, multispectrale), auditive (réseau de microphones, tête binaurale) et RFID.  Les capteurs peuvent être statiques ou en mouvement, à bord d'un robot, déportés dans l'environnement, ou portés par les humains.  Plusieurs résultats reposent sur la fusion ​​probabiliste de données : suivi et identification de plusieurs personnes basé vision et RFID ; localisation multimodale de piétons en milieu urbain ; localisation audio-motrice de sons ; cartographie et localisation simultanées, et suivi d'objets en mouvement (SLAMMOT).  D'autres contributions concernent : la détection, la segmentation, le suivi et la reconnaissance d'objets multiples par vision ; la modélisation par vision 3D ; la détection de sources sonores et l'estimation de leurs azimuts.
• La recherche en mouvement référencé capteurs concerne principalement la navigation réactive basée vision et laser.  Les techniques sous-jacentes à la gestion d'occlusions et d'obstacles dynamiques sont complémentaires aux fonctions de vision sur les humains au sens où leur conjonction permet à un robot mobile de guider un tuteur au sein d'une foule.  Des stratégies pour la manipulation à deux bras par vision sont également étudiées.  Dans une moindre mesure, des techniques de contrôle avancé ont été appliqués à l'analyse d'asservissements visuels.
• L'intégration d'algorithmes de perception sur les capteurs « intelligents » (smart-sensors) considère des cibles multiples (processeurs, FPGA, GPU,...) afin de gérer les problèmes de latence, cadence, taille, énergie et empreinte mémoire.  Ceci implique l'évaluation et la sélection d'algorithmes, l'ingénierie dirigée par les modèles, l'optimisation (aux niveaux algorithmique, opérationnel et matériel), ainsi que la conception conjointe matériel-logiciel (co-design).
• Des contributions distinctes concernent le filtrage stochastique et les transformations opératorielles de problèmes dynamiques pour l'analyse, la simulation, l'identification, l'estimation ou le contrôle.

Les sujets ci-dessus sont étroitement liés grâce à des collaborations internes.  RAP a été impliqué dans des projets internationaux ou nationaux, ainsi que dans des collaborations nationales ou locales, qui ont souvent conduit à des co-encadrements de doctorants.  De nombreuses études sont en connexion avec des applications situées hors du cadre de la robotique, telles que la vidéosurveillance, le contrôle de qualité, et la géolocalisation.  Celles-ci ont donné lieu à des collaborations avec l'industrie (TPE locales, PME, grands groupes), incluant de nombreuses thèses CIFRE.