Project

benchmarking; learning; interactions; Robotics; cognition; Object recognition; Manipulation skills

Lead
Human-Guided Learning And Benchmarking Of Robotic Heap Sorting (HEAP).Le tri de piles d'objets en robotique: étalonnage des performances et apprentissage guidé par des interactions homme-robot.Le projet HEAP est un projet collaboratif impliquant 5 institutions européennes (university of Lincoln, UK; INRIA, FR; Istituto Italiano di Tecnologia, IT; Technische Universität Wien, AT; and the Idiap Research Institute, CH). Il vise à faire des avancées scientifiques dans les domaines de la reconnaissance d'objets et de leur manipulation par des interactions homme-robot. Comme exemple de tâche, nous nous concentrons sur le tri d'un amas complexe et non structuré d'objets inconnus, qui est un problème générique en robotique, avec de nombreuses applications comme par exemple dans le cas de déchets nucléaires.
Lay summary
Un objectif important du projet est de créer un cadre d'analyse comparative avec un protocol expérimental d'évaluation précis. Les scénarios de référence seront de complexité variable: pousser des objets irréguliers selon une trajectoire souhaitée, saisir des objets sélectionnés dans un tas, identifier les objets et les trier en les plaçant dans des bacs appropriés, etc. Afin de favoriser la reproductibilité, nous utiliserons des manipulateurs et des pinces du commerce, des modèles CAO numérisés des objets permettant leur impression 3D, ainsi que des planificateurs de saisie d’objets et des algorithmes de manipulation facilement interchangeables. Du point de vue de la recherche, compte tenu des capacités limitées actuelles des robots, nous nous orienterons vers des approches semi-autonomes dans lesquelles un opérateur humain peut interagir avec le robot (par exemple via télé-opération) en donnant des commandes de haut niveau pour compléter l'exécution de la tâche de manière autonome. Le degré d'autonomie sera adapté à la complexité de la situation, et le système sera conçu pour apprendre des gestes de manipulation à partir de démonstrations et de corrections de l’opérateur. La reconnaissance et la segmentation d'objets seront améliorées grâce au développement de nouveaux algorithmes exploitant notamment des stratégies de perception interactive améliorant la compréhension de la scène par le robot.

Direct link to Lay Summary

Last update: 16.09.2019

Natural persons

Corporate bodies

Number	Title	Start	Funding scheme

This project will provide scientific advancements for benchmarking, object recognition, manipulation and human-robot interaction. We focus on sorting a complex, unstructured heap of unknown objects --resembling nuclear waste consisting of a set of broken deformed bodies-- as an instance of an extremely complex manipulation task. The consortium aims at building an end-to-end benchmarking framework, which includes rigorous scientific methodology and experimental tools for application in realistic scenarios. Benchmark scenarios will be developed with off-the-shelf manipulators and grippers, allowing to create an affordable setup that can be easily reproduced both physically and in simulation. We will develop benchmark scenarios with varying complexities, i.e., grasping and pushing irregular objects, grasping selected objects from the heap, identifying all object instances and sorting the objects by placing them into corresponding bins. We will provide scanned CAD models of the objects that can be used for 3D printing in order to recreate our benchmark scenarios. Benchmarks with existing grasp planners and manipulation algorithms will be implemented as baseline controllers that are easily exchangeable using ROS. The ability of robots to fully autonomously handle dense clutters or a heap of unknown objects has been very limited due to challenges in scene understanding, grasping, and decision making. Instead, we will rely on semi-autonomous approaches where a human operator can interact with the system (e.g. using tele-operation but not only) and giving high-level commands to complement the autonomous skill execution. The amount of autonomy of our system will be adapted to the complexity of the situation. We will also benchmark our semi-autonomous task execution with different human operators and quantify the gap to the current SOTA in autonomous manipulation. Building on our semi-autonomous control framework, we will develop a manipulation skill learning system that learns from demonstrations and corrections of the human operator and can therefore learn complex manipulations in a data-efficient manner. To improve object recognition and segmentation in cluttered heaps, we will develop new perception algorithms and investigate interactive perception in order to improve the robot's understanding of the scene in terms of object instances, categories and properties.