Project

Back to overview

High-efficiency Artificial Intelligence at the Edge

Applicant Aimar Alessandro
Number 191439
Funding scheme Bridge - Proof of Concept
Research institution
Institution of higher education University of Zurich - ZH
Main discipline Electrical Engineering
Start/End 01.12.2020 - 31.05.2022
Approved amount 180'593.00
Show all

All Disciplines (2)

Discipline
Electrical Engineering
Microelectronics. Optoelectronics

Keywords (4)

accelerators; edge computing; deep learning; artificial intelligence

Lay Summary (Italian)

Lead
Intelligenza Artificiale ad Alta Efficienza Energetica per Applicazioni Mobile
Lay summary

L’Intelligenza Artificiale (IA) è considerata il più grande motore di cambiamento del nostro tempo. Nell’ultima decade la prima generazione di algoritmi avanzati ha cominciato a essere integrata in prodotti di mercato, iniziando una rivoluzione tecnologica in grado di cambiare radicalmente settori quali l’analisi dei dati, la medicina, la sicurezza, i settori dei trasporti, dell’energia e delle telecomunicazioni. Questi nuovi sistemi intelligenti sono stati possibili grazie al miglioramento esponenziale della complessità dell’IA moderna ma sono oggigiorno limitati dalla velocità a cui i computer possono eseguire calcoli. L’intelligenza artificiale moderna utilizza server o supercomputer da decine, se non centinaia, di migliaia di euro e richiedono un’elevata quantità di energia elettrica. Questo limita molto lo sviluppo di nuove tecnologie in quanto è impossibile usare questi algoritmi su dispositivi quali cellulari, videocamere, droni o altri piccoli apparati a batteria (spesso chiamati “edge devices”).

 

Durante il mio Ph.D. ho lavorato allo sviluppo di microchip economici e ad alta efficienza energetica in grado di accelerare anche i più complessi algoritmi di intelligenza artificiale con l’energia contenuta in un comune dispositivo a batteria. Il mio lavoro si è basato su una accurata analisi della matematica dietro agli algoritmi e uno studio di come la biologia ha risolto il problema dell’efficienza energetica nel cervello umano. Da questa ricerca è nato Nullhop, un chip in grado di evitare tutti i calcoli inutili in una categoria di algoritmi chiamata “Reti Neurali”. Le reti neurali accelerate da Nullhop sono in grado di battere gli esseri umani in molteplici problemi utilizzando le risorse di un cellulare medio. Questi risultati sono stati pubblicati in diversi articoli e mostrati in diverse conferenze come dimostrazioni dal vivo.

 

In seguito al grande interesse che la mia tecnologia ha riscontrato, ho fondato Synthara, una startup basata in Zurigo che mira a commercializzare Nullhop. L’obbiettivo di questo progetto sotto l’egida dell’SNF è di raffinare il design del chip, per trasformarlo da progetto accademico a prodotto finito adatto al mercato. Per quanto il lavoro sia nella sua fase iniziale, Synthara ha già ricevuto grande interesse da parte di potenziali clienti e mira a rendere Nullhop disponibile sul mercato a breve termine.

Direct link to Lay Summary Last update: 19.11.2020

Responsible applicant and co-applicants

Employees

Abstract

Artificial Intelligence (AI) is considered the great disrupter of our time. Since 2012, when the current wave of AI started, the industry has seen the start of a technological revolution that is changing the way we approach a range of problems, including healthcare, security, data analysis, autonomous automotive, and many others. However, while the software and the AI algorithms evolved quickly, the hardware to run them failed to keep the same pace. Nowadays, most AI runs on large, centralized server-farms connected through the internet to the final users. Due to the high power required by existing computing platforms, running these algorithms next to the users or to the sensors generating the data (the so-called “edge”) is almost impossible.During my Ph.D., I worked on the development of high-efficiency hardware to accelerate AI algorithms, focusing on the balance between speed and energy requirements. Energy-efficiency is critical since it enables very complex algorithms, able to get superhuman performances [1-3] to run with limited power sources as those of smartphones or wearable devices. Starting from a mathematical analysis of the problem and looking into the human brain for inspiration, I developed a novel computing approach specifically tailored around the requirements of modern artificial intelligence, with a focus on its most successful implementation: Neural Networks. I designed a chip able to exploit redundancies and avoid useless computations typical of AI, reducing the system workload up to 90%. The results of this work have been presented at the world-leading AI conference NIPS in 2016 and led to a patented architecture, improving considerably the state-of-the-art in neural networks acceleration. As I am finishing my Ph.D., I will soon publish a novel version of the chip, pushing the energy efficiency performances further. Following great interest in the technology and its applications, I founded Synthara, a Zurich-based startup that aims at commercializing my chip design. The goal of the proposed project is to refine its development, raising it from an academic to a market-ready stage, with a particular focus on its software and usability. Through Synthara, I have already received strong interest from 10+ potential customers that would like to exploit the technology in their product and wait for it to be completed.
-