Project

Back to overview

LEARNing physical manipulation skills with simulators using REAListic variations (LEARN-REAL)

English title LEARNing physical manipulation skills with simulators using REAListic variations (LEARN-REAL)
Applicant Calinon Sylvain
Number 180417
Funding scheme CHIST-ERA
Research institution IDIAP Institut de Recherche
Institution of higher education Idiap Research Institute - IDIAP
Main discipline Information Technology
Start/End 01.04.2019 - 31.03.2022
Approved amount 301'936.00
Show all

Keywords (5)

Learning with realistic variations; Transfer learning; Robot simulator with realistic rendering; Learning from demonstration; Manipulation skills

Lay Summary (French)

Lead
L'acquisition de gestes de manipulation en robotique requiert la reconnaissance d'objets et la considération d'un couplage perception-action pour des interactions physiques avec l'environnement. Plusieurs stratégies d'apprentissage ont été proposées pour acquérir de telles compétences. Comme chez les humains et les autres animaux, un robot apprenant doit être exposé à des situations variées. Il a besoin de tester et de perfectionner ses capacités de nombreuses fois, et/ou a besoin d'observer plusieurs démonstrations de manipulation d'objets pour adapter et généraliser ses capacités à de nouvelles situations. De telles compétences ne sont pas acquises en un seul cycle d'apprentissage, motivant le besoin de comparer, partager et réutiliser les résultats de plusieurs expériences.
Lay summary
Le projet LEARN-REAL propose d'apprendre des tâches de manipulation en simulant objets, environnements et robots à partir d'un toolset innovant comprenant: 1) un simulateur avec un rendu réaliste de variations, permettant la création de bases de données et l'évaluation d'algorithmes dans des situations variées; 2) une interface de réalité virtuelle pour interagir avec les robots dans un environnement virtuel contrôlé, dans le but d'apprendre au robot des gestes de manipulation dans plusieurs configurations; et 3) une infrastructure web pour un comparatif transparent et reproductible d'algorithmes d'apprentissage pour la reconnaissance et la manipulation d'objets par des robots.

Ces fonctionnalités permettront d'étendre les logiciels existants de plusieurs manières. 1) et 2) exploitent le développement massif de simulateurs réalistes pour l'industrie du jeu vidéo, et les interfaces bon marché de réalité virtuelle qui y sont associées. 3) exploite la plateforme BEAT développée à l'Idiap, qui sera étendue à la reconnaissance et à la manipulation d'objets par des robots, incluant le traitement des données, algorithmes et résultats comparatifs. L'étude de cas concerne la récolte et le tri de fruits et légumes.
Direct link to Lay Summary Last update: 29.03.2019

Responsible applicant and co-applicants

Employees

Project partner



Corporate bodies

Name Address
Istituto Italiano di Tecnologia Istituto Italiano di Tecnologia Via Morego, 30 16163 IT-Genova
Ecole Centrale de Lyon Ecole Centrale de Lyon 36, Avenue Guy de Collogne 69131 FR-Ecully Cedex

Associated projects

Number Title Start Funding scheme
164022 Platform for Reproducible Acquisition, Processing, and Sharing of Dynamic, Multi-Modal Data 01.07.2016 R'EQUIP

Abstract

The acquisition of manipulation skills in robotics involves the combination of object recognition, action-perception coupling and physical interaction with the environment. Several learning strategies have been proposed to acquire such skills. As for humans and other animals, the robot learner needs to be exposed to varied situations. It needs to try and refine the skill many times, and/or needs to observe several attempts of successful movements by others to adapt and generalize the learned skill to new situations. Such skill is not acquired in a single training cycle, motivating the need to compare, share and re-use the experiments. In LEARN-REAL, we propose to learn manipulation skills through simulation for object, environment and robot, with an innovative toolset comprising: 1) a simulator with realistic rendering of variations allowing the creation of datasets and the evaluation of algorithms in varied situations; 2) a virtual-reality interface to interact with the robots within a controlled virtual environment, to teach robots object manipulation skills in multiple configurations; and 3) a web-based infrastructure for principled, reproducible and transparent benchmarking of learning algorithms for object recognition and manipulation by robots. These features will extend existing softwares in several ways. 1) and 2) will capitalize on the widespread development of realistic simulators for the gaming industry and the associated low-cost virtual reality interfaces. 3) will harness the existing BEAT toolchain developed at Idiap, which will be extended to object recognition and manipulation by robots, including the handling of data, algorithms and benchmarking results. As use case, we will study the scenario of vegetable/fruit picking and sorting.
-