Project

Back to overview

State space Gaussian processes for big data analytics

English title State space Gaussian processes for big data analytics
Applicant Zaffalon Marco
Number 167199
Funding scheme NRP 75 Big Data
Research institution Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA) Facoltà di scienze informatiche
Institution of higher education University of Applied Sciences and Arts of Southern Switzerland - SUPSI
Main discipline Information Technology
Start/End 01.02.2017 - 31.01.2021
Approved amount 632'974.00
Show all

All Disciplines (2)

Discipline
Information Technology
Mathematics

Keywords (5)

Gaussian processes; Kalman filtering and smoothing; Nonlinear Bayesian nonparametrics; Regression and classification; State-space representation

Lay Summary (German)

Lead
Die Menschheit produziert immer grössere Mengen von Daten. Computer sind zwar fähig, aus diesen Daten zu lernen, aber die Verarbeitung riesiger Datenvolumen ist nach wie vor schwierig. Dieses Projekt entwickelt leistungsfähige, ultraschnelle Algorithmen, die Big-Data-basiertes Lernen ermöglichen.Gaussprozesse sind im Maschinenlernen eingesetzte, leistungsstarke Algorithmen mit vielen Vorzügen: Sie können auch von sehr komplexen Daten lernen. Dank ihrer guten mathematischen Eigenschaften liefern sie zuverlässige Voraussagen. Sie sind eindeutig und leicht verständlich. Ihre Leistungsfähigkeit geht allerdings zu Lasten der Verarbeitungszeit - für grosse Datenmengen sind sie deshalb ungeeignet. Dennoch sind diese Algorithmen in bestimmten Fällen zur Verarbeitung beliebig grosser Datenvolumen einsetzbar. Ziel dieses Projekts ist es, diese Einsatzmöglichkeiten zu erweitern und Algorithmen zu entwickeln, die geeignet sind, verschiedenste Anwendungen zu revolutionieren.
Lay summary

Im Forschungsbereich des maschinellen Lernens werden zunehmend intelligentere IT-Verfahren (Algorithmen) für die Analyse von Big Data entwickelt. Dies bietet bisher ungeahnte Möglichkeiten, mehr über die Welt zu erfahren und neue Entwicklungen zu beschleunigen. Doch die Fülle der verfügbaren Daten birgt verschiedene Herausforderungen, denn die grossen Volumen komplexer Daten müssen zuverlässig analysiert und effizient verarbeitet werden.

Der Nutzen eines Algorithmus für die Datenanalyse hängt davon ab, wie viel Zeit er zur Verarbeitung der Daten benötigt. Im Bereich maschinelles Lernen konzentriert sich die Forschung daher vor allem auf die Verbindung von Leistung und Geschwindigkeit – ein Ziel, das für Big Data noch nicht erreicht wurde. Im Fokus dieses Projekts steht ein neuer Ansatz zur Entwicklung von Algorithmen, die so schnell und leistungsfähig sind, dass sie das Versprechen von Big Data einlösen können.

Unsere neuen Algorithmen sollen im Rahmen des Projekts auch praktisch erprobt werden: Erstens verarbeiten wir in Kooperation mit MeteoSwiss enorme Mengen von Radardaten, um die Vorhersage der Niederschlagsintensität zu verbessern. Zweitens werten wir in Kooperation mit Armasuisse umfangreiche Sensordaten für die Vorhersage von Elektrosmog aus. Mithilfe der gleichen Algorithmen können viele weitere Probleme gelöst werden, etwa in den Bereichen Medizin, Wirtschaft und Wissenschaft.


Direct link to Lay Summary Last update: 26.07.2017

Lay Summary (French)

Lead
L’humanité produit des quantités de plus en plus importantes de données. Les ordinateurs ont la capacité d’apprendre à partir de ces dernières, mais traiter cette énorme masse constitue encore un défi. Ce projet développe des algorithmes d’apprentissage puissants et ultrarapides.Les "processus gaussiens" se rapportent à une famille d’algorithmes puissants utilisés dans l’apprentissage automatique. Ils ont de nombreuses vertus et peuvent apprendre à partir de n’importe quelles données, peu importe leur complexité. Ils ont de bonnes propriétés mathématiques pour des prévisions fiables. Ils sont clairs et facilement compréhensibles. Mais cette puissance a un coût en matière de temps de traitement, celui-ci étant incompatible avec les mégadonnées. Dans certains cas, il est toutefois possible d’approximer ces algorithmes afin de traiter des données de toutes tailles. Ce projet entend étendre cette capacité à tous les cas en développant des algorithmes spécifiques aux mégadonnées.
Lay summary

L’apprentissage automatique est un domaine de recherche qui créé des procédures informatiques de plus en plus sophistiquées (algorithmes) pour analyser des mégadonnées. Cette combinaison entre mégadonnées et algorithmes intelligents offre une opportunité sans précédent pour en apprendre davantage sur le monde et, donc, pour accélérer le progrès. Mais le volume considérable de données complexes disponibles présente aussi des défis : leur traitement se doit d’être efficace et leur analyse fiable et pertinente.

L’utilité d’un algorithme dans l’analyse des données est limitée par la rapidité requise pour leur traitement. De nombreuses recherches en matière d’apprentissage automatique sont donc orientées sur la combinaison entre puissance et rapidité, mais cela reste encore à faire pour les mégadonnées. Ce projet se concentre sur une nouvelle approche afin de créer des algorithmes qui fournissent un maximum de puissance et de rapidité, permettant ainsi de remplir les promesses du Big Data.

Ce projet englobe deux applications concrètes pour nos nouveaux algorithmes. La première est une collaboration avec MétéoSuisse pour améliorer les prévisions et les alertes météo sur l’intensité des précipitations à partir de données radar. La deuxième collaboration, avec armasuisse, entend fournir des prévisions en matière d’électrosmog. De nombreux autres problèmes peuvent être abordés en utilisant les mêmes algorithmes, par exemple dans les domaines de la médecine, des affaires et de la science.

Direct link to Lay Summary Last update: 26.07.2017

Lay Summary (English)

Lead
The human race is producing ever larger amounts of data. Computers have the ability to learn from data, but dealing with huge volumes of it still poses a challenge. This project develops powerful, ultrafast algorithms for learning from Big Data.“Gaussian processes”refer to a family of powerful algorithms used in machine learning. These algorithms have many virtues. They can learn from any data, no matter how complex. They have good mathematical properties for reliable predictions. They are clear and readily understandable. But this power comes at the cost of processing time that is incompatible with Big Data. Nonetheless, in some cases it is possible to approximate these algorithms to compute data of any size. This project aims at extending this capability to all cases by developing algorithms for Big Data that have the potential to transform applications.
Lay summary

Machine learning is a field of research that creates increasingly smarter computer procedures (algorithms) for analysing Big Data. This combination of Big Data and intelligent algorithms offers an unprecedented opportunity to learn more about the world and, thus, to accelerate progress. But the sheer amount of data available also presents challenges: large amounts of complex data must be analysed in ways that are reliable and relevant, and the data must be processed efficiently.

The usefulness of an algorithm in analyzing data is limited by the speed required to process it. Much research in machine learning is thus geared towards combining power and speed, but this has yet to be achieved with Big Data. This project focuses on a new approach to creating algorithms that deliver both maximum power and speed. They enable the promise of Big Data to be fulfilled.

The project involves two real-world applications for our new algorithms. The first is a collaboration with MeteoSwiss to improve the prediction of rainfall intensity from huge amounts of radar data for meteo alerting. The second collaboration, with Armasuisse, will predict electrosmog from massive amounts of sensor data. Many more problems can be addressed using the same algorithms, for example in the areas of medicine, business and science.


Direct link to Lay Summary Last update: 26.07.2017

Responsible applicant and co-applicants

Employees

Publications

Publication
Sum-of-squares for bounded rationality
Benavoli Alessio, Facchini Alessandro, Piga Dario, Zaffalon Marco (2019), Sum-of-squares for bounded rationality, in International Journal of Approximate Reasoning, 105, 130-152.
Profile extrema for visualizing and quantifying uncertainties on excursion regions. Application to coastal flooding
Azzimonti Dario, Ginsbourger David, Rohmer Jérémy, Idier Déborah (2019), Profile extrema for visualizing and quantifying uncertainties on excursion regions. Application to coastal flooding, in Technometrics, 1-26.
Semialgebraic Outer Approximations for Set-Valued Nonlinear Filtering
Piga Dario (2019), Semialgebraic Outer Approximations for Set-Valued Nonlinear Filtering, in Proc. on European Control Conference (ECC), NapoliIEEE, -.
Using Active Learning to Decrease Probes for QoT Estimation in Optical Networks
Azzimonti Dario, Rottondi Cristina, Tornatore Massimo (2019), Using Active Learning to Decrease Probes for QoT Estimation in Optical Networks, in Optical Fiber Communication Conference, San Diego, CaliforniaOSA Publishing, Optical Society of America, 2019.
Dual Probabilistic Programming
BenavoliAlessio (2018), Dual Probabilistic Programming, in Proc. On PROBPROG 2018 The International Conference on Probabilistic Programming, Boston, US-, -.
Adaptive design of experiments for conservative estimation of excursion sets
Azzimonti D. Ginsbourger D. Chevalier C. Bect J. and Richet (2018), Adaptive design of experiments for conservative estimation of excursion sets, Isaac Newton Institute for Mathematical Science, Cambridge, UK.

Scientific events

Active participation

Title Type of contribution Title of article or contribution Date Place Persons involved
INI workshop Key UQ methodologies and motivating applications Poster daptive design of experiments for conservative estimation of excursion sets 30.01.2018 Cambridge, Great Britain and Northern Ireland Azzimonti Dario Filippo;


Abstract

Big data analytics is the process of examining big amounts of data to uncover hidden patterns, unknown relations and other useful information that can be used to take better decisions. It will be the upcoming key tool for "internet of things", business intelligence, quantitivative finance -just to mention a few. Big data severely constrain the type of algorithms we can use on them, because, for instance, even models that take time quadratic in the size of the data most probably will not work fast enough to process the data in the needed time. Much research has thus opted for using very simple algorithms, or subsampling of the data, or algorithms based on (deep) neural nets, which are universal approximators that are relatively viable with big data, even though they give no reliability guarantees and are not easy to design and train.Now imagine an alternative to all these approaches that is principled, sophisticated, naturally comes with measures of reliability, is much simpler to train than neural nets, and that automatically adapts the complexity of the model to the size of data. This alternative exists: it is Gaussian Processes (GPs), which is part of non-linear Bayesian non-parametrics. Its being non-linear means that it can capture very general trends in multidimensional data; non-parametric means that it makes very weak assumptions, so it leads to more reliable models; and being Bayesian means that there is solid theory behind it on which we can do maths to derive algorithms and prove their properties. GPs are an emerging tool in machine learning, and yet large data problems are mostly uncharted territory for them: in fact, they can only be applied to at most a few thousand training points n, due to the O(n^3) time and O(n^2) space required for learning.The ambitious goal of this project is very simple to state: we want to derive a principled, accurate, approximation of GPs that can exploit all the available data while taking only O(n) complexity both in time and space. Stated differently, to achieve a great modelling power in a time and space complexity that is the minimum possible when taking all the data into account. This will allow an entire new range of possible applications to be addressed by machine learning, namely, all those whose data are currently too big to be analysed. It has the potential to create groundbreaking new applications and tools, and to overcome the limitations of deep neural networks. To show this potential, we will apply it to MeteoSwiss' rainfall intensity forecast as well as Armasuisse's electrosmog spatio-temporal estimation.
-