Project

Back to overview

SCIDVS: Scientific dynamic vision sensor event camera

English title SCIDVS: Scientific dynamic vision sensor event camera
Applicant Delbruck Tobias
Number 185069
Funding scheme Project funding
Research institution Institut für Neuroinformatik Universität Zürich Irchel und ETH Zürich
Institution of higher education University of Zurich - ZH
Main discipline Electrical Engineering
Start/End 01.09.2019 - 31.08.2023
Approved amount 562'018.00
Show all

All Disciplines (2)

Discipline
Electrical Engineering
Astronomy, Astrophysics and Space Sciences

Keywords (11)

high-speed; imaging; neuromorphic engineering; bio-inspired computing; vision sensor,; internet of things; smart camera; sparse computing; power management; ASIC; surveillance

Lay Summary (German)

Lead
Die jüngsten Fortschritte im Bereich “Machine Learning” (ML) für automatische Bildverarbeitung haben zu Anwendungen wie Objekterkennung auf Smartphones und autonom fahrenden Autos geführt, um nur zwei bekannte Beispiele zu nennen. Bestehende Systeme verbrauchen jedoch zu viel Strom um sie langfristig mit Batterien oder integrierten Solarzellen betreiben zu können. Visuelle künstliche Intelligenz in solche Systeme einzubauen würde die Tür für zahlreiche neue Anwendung in privaten und öffentlichen Räume öffnen, um Komfort, Sicherheit und Umweltschutz zu verbessern. Zum Beispiel könnten leicht installierbare schnurlose Falldetektoren in den Häusern von älteren Menschen deren Wohnraum sicherer machen, intelligente Blindenstöcke Objekte frühzeitig erkennen, und Wildkameras effizient Tierarten beobachten. VIPS zielt darauf ab, solche intelligente visuelle Wahrnehmungssysteme mit extrem geringem Stromverbrauch für die Schweizer Industrie bereitzustellen.
Lay summary

Content and goal of the research project

Inhalt und Ziel des Forschungsprojekts

Inhalt und Ziel des Forschungsprojekts

Unser Projektziel ist die Entwicklung eines visuellen Wahrnehmungssystems mit extrem geringem Stromverbrauch (ULP) für batteriebetriebene oder energieautarke Anwendungen. Um dieses Ziel zu erreichen, werden wir eine Architektur für “Deep Neural Networks” (DNN) entwickeln, welche für ULP-Anwendungen optimiert ist. Diese Architektur wird in Form einer dedizierten integrierten Schaltung (ASIC) implementiert, welche eine Schnittstelle zu Bildsensoren mit sehr geringem Verbrauch besitzt. Die finalen Demonstratoren werden  Gesichtserkennung, Ortung von Leuten sowie Menschen-Zählungen durchführen können indem sie den entwickelten DNN Chip mit ULP Bildsensoren kombinieren.

Wissenschaftlicher und sozialer Kontext des Forschungsprojekts

Wissenschaftlicher und sozialer Kontext des Forschungsprojekts
VIPS hat das offenkundige technologische Ziel, ULP Hardware für ML in die Schweizer Elektronikindustrie zu bringen. Gleichzeitig werden damit grundlegende Ansätze von Tieren erforscht, zwei lebenswichtige aber gegensätzliche Ziele zu verfolgen: Kostbare Energie zu sparen und gleichzeitig ständig auf der Hut zu sein, um schnell auf die Umgebung reagieren zu können. Im Kontext der heutigen Welt, in der wir zunehmend von intelligenten vernetzten Sensoren umgeben sind, wird VIPS intelligente Bildverarbeitung mit geringem Stromverbrauch in batteriebetriebenen Geräten ermöglichen. Die Fähigkeit, die Batterielebensdauer auf lange Zeiträume von Monaten oder sogar Jahren zu erstrecken wird viele nützliche Anwendungen ermöglichen, die derzeit noch nicht realisierbar sind.

 
Direct link to Lay Summary Last update: 29.03.2019

Responsible applicant and co-applicants

Employees

Project partner

Abstract

An optimized “scientific” event camera will enable scientific machine vision applications that are currently impossible with conventional frame-based camera technology. These applications are currently limited by the excessive data rate, limited dynamic range, and high latency of standard cameras. Neuromorphic “dynamic vision sensor” (DVS) event cameras can overcome these limitations by providing a sparse and quick, output consisting of only asynchronous brightness change events. Existing DVS cameras from academia and industry are designed as general-purpose devices with focus on small pixel size and low power consumption. Although feasibility studies have demonstrated their great advantages for scientific vision applications, they are currently limited by noise and sensitivity. SCIDVS will develop the first scientific DVS event camera (SCIDVS) with lower noise, more sensitive event threshold, and higher quantum efficiency than the existing DVS. To evaluate the SCIDVS, we will apply it to three particularly challenging scientific vision applications, specifically space satellite tracking (SST), high-speed flow analysis by particle tracking velocimetry (PTV), and wide field neural activity imaging (NAI). SST demands low noise under low light conditions for nighttime observation and high event sensitivity under daytime conditions, while PTV pushes the boundaries for high speed, and NAI requires low noise and high sensitivity under low light conditions. A successful outcome will result in a scientific vision sensor with broad applicability for real-time analysis and continuous feedback control over imaging scales ranging from microscopic to astrometric.
-