Project

Back to overview

ScanVan - A distributed 3D digitalization platform for cities

English title ScanVan - A distributed 3D digitalization platform for cities
Applicant Kaplan Frédéric
Number 167151
Funding scheme NRP 75 Big Data
Research institution Laboratoire d'humanités digitales EPFL CDH CDH-CH DHLAB
Institution of higher education EPF Lausanne - EPFL
Main discipline Information Technology
Start/End 01.03.2017 - 31.12.2020
Approved amount 546'112.00
Show all

Keywords (6)

parallel FPGA; photogrammetry; urban 4d models; embedded high-performance computing; omnidirectional camera; FPGA GPU co-design

Lay Summary (German)

Lead
Zuverlässige 3D-Stadtmodelle sind für das digitale Stadtmanagement und die Entwicklung autonomer Fahrzeuge und Drohnen unverzichtbar. Werden die Fahrzeuge mit entsprechenden Sensoren ausgestattet, können sie diese 3D-Modelle in Echtzeit aktualisieren und um eine vierte Dimension, die Zeit, ergänzen. Leistung und Betriebskosten von BDA in grossen Systemen wie Public Clouds, privat verwalteten Clustern oder auch Crowd-Computing-Ressourcen sollten vorhersagbar sein.
Lay summary

Zurzeit sind sie es nicht, da wir noch nicht über die Modellierungs- und Analysetechnologien verfügen, welche die wesentlichen Merkmale von BDA und ihren Einfluss auf die Leistung erkennen können. Auch über den Einfluss, den Systembetrieb und -infrastruktur auf die Gesamtleistung haben, ist bisher nur wenig bekannt. Das Projekt soll einen vertieften Einblick in diese Problematik ermöglichen. Sein neuartiger Ansatz besteht in der Kombination von Methoden zur Analyse, Modellierung und Prognose von Big Data sowie von Programmen zur automatischen Anpassung (also Erweiterung oder Änderung) eines Systems. Im Zentrum des Projekts steht die Optimierung beispielhafter Anwendungen in den Bereichen Hochenergiephysik (CERN) und Bioinformatik (Vital-IT).

Einzelne Gebäude können mit den heutigen photogrammetrischen Techniken problemlos eingescannt werden. Für die Erfassung ganzer Städte eignen sich diese Techniken jedoch nicht. Die grössten Herausforderungen in diesem Zusammenhang sind die enormen Mengen der zu erfassenden Daten und die für ihre Umwandlung in 3D-Modelle benötigte Rechenkapazität.

Mit diesem Projekt wollen wir die Erstellung von vierdimensionalen Stadtmodellen verbessern, indem wir einen ScanVan entwickeln: ein Fahrzeug, das in der Lage ist, kontinuierlich ganze Städte zu erfassen. Der im Rahmen eines realen Fallbeispiels getestete Prototyp soll die theoretischen Annahmen überprüfen, die für die Verarbeitung der erfassten Big Data getroffen wurden. Ziel ist die Erstellung eines 4D-Modells der Stadt Sion (Wallis, Schweiz).

Mit den vom ScanVan produzierten, frei zugänglichen Datensätzen lässt sich das Potenzial neuer Dienstleistungen sondieren, die von diesen Daten profitieren können – etwa die selbstfahrenden Fahrzeuge, die zurzeit in der Stadt Sion getestet werden. Auf einer allgemeineren Ebene ist das Projekt ein erster Schritt zur Erstellung von 4D-Stadtmodellen, da es Lösungen für die Verarbeitung der damit einhergehenden enormen Datenmengen liefert.

Direct link to Lay Summary Last update: 27.07.2017

Lay Summary (French)

Lead
La production de modèles urbains tridimensionnels fiables est un prérequis pour le développement de voitures et de drones autonomes ainsi que pour la gestion urbanistique digitale. Équipés des capteurs idoines, ces véhicules sont à leur tour capables de mettre à jour en temps réel les modèles 3D et d’intégrer ainsi la quatrième dimension qu’est le temps.
Lay summary

À l’aide d’algorithmes complexes, un système de calcul embarqué à bord du ScanVan transforme le flux continu d’images, provenant d’une caméra omnidirectionnelle, en nuages de points représentant les environs du véhicule en mouvement. La mise en système de tous ces composants débouche sur une chaîne de traitement complète allant de l'acquisition des images jusqu’au calcul des nuages de points 3D.

Scanner un immeuble avec les techniques photogrammétriques actuelles représente une tâche banale. Mais aucune d’entre elles ne peut être mise à l'échelle d'une ville. Les défis majeurs d’une telle entreprise résident dans la quantité de données à acquérir et la puissance de calcul nécessaire à les transformer en modèles 3D.

Ce projet vise à améliorer la production de modèles urbains 4D en développant le ScanVan – un véhicule capable de scanner les villes en trois dimensions et de manière continue. Testé sur un cas réel en grandeur nature, ce prototype permettra de valider les choix théoriques faits quant au traitement de l’énorme quantité de données acquises. Au final, le projet produira un modèle urbain 4D de la ville de Sion (Valais, Suisse).

En libre accès, le jeu de données produites par le ScanVan permettra d’explorer le potentiel de nouveaux services pouvant en bénéficier, comme les projets de véhicules autonomes actuellement en phase de test en ville de Sion. À un niveau plus global, ce projet constitue un premier pas dans l’établissement de modèles 4D des villes en proposant des solutions à même de traiter la grande quantité de données qu’ils impliquent.

Direct link to Lay Summary Last update: 27.07.2017

Lay Summary (English)

Lead
The production of reliable 3D urban models is essential in developing autonomous cars and drones as well as for digital urban management. If vehicles are equipped with suitable sensors, they are capable of updating the 3D models in real time, thus integrating the fourth dimension - i.e. time.
Lay summary

With the help of complex algorithms, an on-board computation system installed on the ScanVan transforms the constant flow of images obtained from an omnidirectional camera into point clouds representing the surroundings of the moving vehicle. Systematising all these components results in a complete workflow from the acquisition of images through to the calculation of 3D point clouds.

With current photogrammetric techniques, scanning buildings is a routine task. However, none of these techniques can cope with something the size of a city. The major challenges of such an undertaking lie in the quantity of data to be acquired and the computing power needed to transform it into 3D models.

The aim of this project is to improve the production of 4D urban models by developing the ScanVan – a vehicle capable of continuously scanning towns in three dimensions. Tested on a real, life-size case, this prototype will make it possible to confirm the theoretical choices made with respect to processing the enormous quantity of data acquired. Ultimately, the project will produce a 4D urban model of the city of Sion (Valais, Switzerland).

The open access data set produced by the ScanVan can be used to explore potential new services that could benefit from it, such as the autonomous vehicle projects currently being trialled in the city of Sion. At a more general level, this project constitutes the first step in establishing 4D models of towns, since it puts forward solutions capable of processing the large quantity of data involved.


Direct link to Lay Summary Last update: 27.07.2017

Responsible applicant and co-applicants

Employees

Collaboration

Group / person Country
Types of collaboration
Mobility Lab Sion-Valais Switzerland (Europe)
- in-depth/constructive exchanges on approaches, methods or results
- Publication
- Industry/business/other use-inspired collaboration

Knowledge transfer events



Self-organised

Title Date Place
Information day for Mobility Lab of Sion 18.05.2018 Sion, Switzerland

Abstract

The massive and systematic 3D digitisation of cities is one of the major ICT challenges of the upcoming years. Indeed, the production of reliable 3D urban models is a prerequisite towards the development of autonomous vehicles, urban drones, and more generally the numerical management of cities. In return, these vehicles will be capable of updating the 3D models in real time, enabling the establishment of continuous 4D urban models.If scanning a building or a small neighbourhood using photogrammetry is now state of the art, no current solution scale well at the level of an entire city. One of the major challenges in digitising a city resides in the sheer quantity of data to be acquired and the processing power required to transform those images into valid 3D models.This project is an attempt to progress in this direction by developing a vehicle, the ScanVan, capable of scanning cities. The ScanVan is equipped with a spherical camera capable of turning surrounding environments into point clouds while driving. This vehicle possesses its own computation system aboard: a dedicated cluster relying on field-programmable gate arrays (FPGAs) and other computational resources especially conceived and optimised for photogrammetric computation. Thus, the vehicle is able to deal with a complete workflow starting with the acquisition of images and ending with the calculation of 3D point models. This project aims at building a first prototype of a ScanVan, focusing in particular on the hardware-software pipeline linking the spherical camera with an on-board computation system. As test case, the project ambitions to produce a fully aligned 4D urban model of the city of Sion (Valais, Switzerland), using the ScanVan prototype. The dataset will be publicly available in order to explore potential new services that could benefit from it.
-