Project

Back to overview

VIPS: ultra-low power VIsual Perception System

English title VIPS: ultra-low power VIsual Perception System
Applicant Delbruck Tobias
Number 181010
Funding scheme Bridge - Discovery
Research institution Institut für Neuroinformatik Universität Zürich Irchel und ETH Zürich
Institution of higher education University of Zurich - ZH
Main discipline Electrical Engineering
Start/End 01.08.2019 - 31.07.2023
Approved amount 1'151'327.00
Show all

All Disciplines (3)

Discipline
Electrical Engineering
Information Technology
Other disciplines of Engineering Sciences

Keywords (13)

Artificial Intelligence; deep-learning; digital; image-sensor; IoT; integrated-circuit; neuromorphic engineering; bio-inspired computing; convolutional neural network; smart camera; event camera; sparse computing; power management

Lay Summary (German)

Lead
Die jüngsten Fortschritte im Bereich “Machine Learning” (ML) für automatische Bildverarbeitung haben zu Anwendungen wie Objekterkennung auf Smartphones und autonom fahrenden Autos geführt, um nur zwei bekannte Beispiele zu nennen. Bestehende Systeme verbrauchen jedoch zu viel Strom um sie langfristig mit Batterien oder integrierten Solarzellen betreiben zu können. Visuelle künstliche Intelligenz in solche Systeme einzubauen würde die Tür für zahlreiche neue Anwendung in privaten und öffentlichen Räume öffnen, um Komfort, Sicherheit und Umweltschutz zu verbessern. Zum Beispiel könnten leicht installierbare schnurlose Falldetektoren in den Häusern von älteren Menschen deren Wohnraum sicherer machen, intelligente Blindenstöcke Objekte frühzeitig erkennen, und Wildkameras effizient Tierarten beobachten. VIPS zielt darauf ab, solche intelligente visuelle Wahrnehmungssysteme mit extrem geringem Stromverbrauch für die Schweizer Industrie bereitzustellen.
Lay summary
Inhalt und Ziel des Forschungsprojekts
Unser Projektziel ist die Entwicklung eines visuellen Wahrnehmungssystems mit extrem geringem Stromverbrauch (ULP) für batteriebetriebene oder energieautarke Anwendungen. Um dieses Ziel zu erreichen, werden wir eine Architektur für “Deep Neural Networks” (DNN) entwickeln, welche für ULP-Anwendungen optimiert ist. Diese Architektur wird in Form einer dedizierten integrierten Schaltung (ASIC) implementiert, welche eine Schnittstelle zu Bildsensoren mit sehr geringem Verbrauch besitzt. Die finalen Demonstratoren werden  Gesichtserkennung, Ortung von Leuten sowie Menschen-Zählungen durchführen können indem sie den entwickelten DNN Chip mit ULP Bildsensoren kombinieren.

Wissenschaftlicher und sozialer Kontext des Forschungsprojekts
VIPS hat das offenkundige technologische Ziel, ULP Hardware für ML in die Schweizer Elektronikindustrie zu bringen. Gleichzeitig werden damit grundlegende Ansätze von Tieren erforscht, zwei lebenswichtige aber gegensätzliche Ziele zu verfolgen: Kostbare Energie zu sparen und gleichzeitig ständig auf der Hut zu sein, um schnell auf die Umgebung reagieren zu können. Im Kontext der heutigen Welt, in der wir zunehmend von intelligenten vernetzten Sensoren umgeben sind, wird VIPS intelligente Bildverarbeitung mit geringem Stromverbrauch in batteriebetriebenen Geräten ermöglichen. Die Fähigkeit, die Batterielebensdauer auf lange Zeiträume von Monaten oder sogar Jahren zu erstrecken wird viele nützliche Anwendungen ermöglichen, die derzeit noch nicht realisierbar sind.
 
Direct link to Lay Summary Last update: 21.09.2019

Responsible applicant and co-applicants

Employees

Publications

Publication
Siamese Networks for Few-Shot Learning on Edge Embedded Devices
Lungu Iulia Alexandra, Aimar Alessandro, Hu Yuhuang, Delbruck Tobi, Liu Shih-Chii (2020), Siamese Networks for Few-Shot Learning on Edge Embedded Devices, in IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 10(4), 488-497.
Live Demonstration: CNN Edge Computing for Mobile Robot Navigation
Pinero-Fuentes Enrique, Rios-Navarro Antonio, Tapiador-Morales Ricardo, Delbruck Tobi, Linares-Barranco Alejandro (2020), Live Demonstration: CNN Edge Computing for Mobile Robot Navigation, in 2020 IEEE International Symposium on Circuits and Systems (ISCAS), SevillaIEEE, New Jersey, USA.
Multi-Resolution Siamese Networks for One-Shot Learning
Lungu Iulia Alexandra, Hu Yuhuang, Liu Shih-Chii (2020), Multi-Resolution Siamese Networks for One-Shot Learning, in 2020 2nd IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS), Genova, ItalyIEEE, New Jersey, USA.

Collaboration

Group / person Country
Types of collaboration
Robotics and Technology of Computers Group, Univ. of Seville Spain (Europe)
- in-depth/constructive exchanges on approaches, methods or results
- Publication

Abstract

There is increasing opportunity for pervasive sensing in internet of things (IoT) applications. Nearly all modern developments of advanced visual perception are based on deep convolutional neural networks (CNNs), reaching close to human accuracy or even surpassing it in specific tasks, but by consuming many orders of magnitude more energy than biology. Current state of the art (SOA) real time vision systems are mainly aiming at high-throughput high-sample rate applications in autonomous driving, manufacturing, quality control, etc. These systems combine conventional image sensors and processors, which are mainly high performance graphics processing units (GPUs), adapted from gaming. Because of the large power consumption tied to such systems, there are currently no integrated solutions for ultra-low power visual perception using deep convolutional neural networks on the market. If these were available, they would open a large number of application areas that are currently not possible. Employing a sub-mW vision sensor with a mW-range deep CNN perception processor would enable always-on object detection and localization in small battery-powered devices, allowing intelligent systems to be easily set up and run for extended periods of time in environments without access to power supply or a dedicated network infrastructure. The goal of the VIPS project is to develop an ultra-low power visual perception system for battery powered or fully self-sustainable applications with visual scene analysis and decision making ability; its intelligent sensing will be extremely parsimonious in waking up expensive post processing or communication.This VIPS system will allow applications that have previously not been possible without setting up costly power supply and communication infrastructures. It will make enable reliable people counting for building automation, allow for active advertisement interaction and eye contact analysis, and help to increase security and safety in public transportation platforms in train stations and pedestrian crossings without infringing privacy by sending sensitive data to the cloud (everything is processed onboard the device). In homes, it could detect falling and fallen elderly people, and could enable smarter robot vacuum cleaners that avoid rooms with people in them, and cables, paper, and clothing on the floor. For context-aware surveillance systems such as automatic door systems, to save valuable heating energy, it could more intelligently detect the intent of the pedestrians. On mobile devices to assist blind people, it would enable devices like smart canes. In order to successfully accomplish this challenging project, a highly qualified consortium has been established between the Institute of Neuroinformatics (INI) at UZH/ETH, a leader in event sensors and efficiently accelerating deep neural network inference, and CSEM, contributing its expertise in the design of highly integrated chips and vision sensors at ultralow power consumption for battery powered and autonomous applications.
-