Un objectif important du projet est de créer un cadre d'analyse comparative avec un protocol expérimental d'évaluation précis. Les scénarios de référence seront de complexité variable: pousser des objets irréguliers selon une trajectoire souhaitée, saisir des objets sélectionnés dans un tas, identifier les objets et les trier en les plaçant dans des bacs appropriés, etc. Afin de favoriser la reproductibilité, nous utiliserons des manipulateurs et des pinces du commerce, des modèles CAO numérisés des objets permettant leur impression 3D, ainsi que des planificateurs de saisie d’objets et des algorithmes de manipulation facilement interchangeables.
Du point de vue de la recherche, compte tenu des capacités limitées actuelles des robots, nous nous orienterons vers des approches semi-autonomes dans lesquelles un opérateur humain peut interagir avec le robot (par exemple via télé-opération) en donnant des commandes de haut niveau pour compléter l'exécution de la tâche de manière autonome. Le degré d'autonomie sera adapté à la complexité de la situation, et le système sera conçu pour apprendre des gestes de manipulation à partir de démonstrations et de corrections de l’opérateur. La reconnaissance et la segmentation d'objets seront améliorées grâce au développement de nouveaux algorithmes exploitant notamment des stratégies de perception interactive améliorant la compréhension de la scène par le robot.