Projekt

Zurück zur Übersicht

EVAC - Employing Video Analytics for Crisis Management

Gesuchsteller/in Bleisch Susanne
Nummer 167278
Förderungsinstrument NFP 75 Big Data
Forschungseinrichtung Hochschule für Architektur, Bau und Geomatik Fachhochschule Nordwestschweiz
Hochschule Fachhochschule Nordwestschweiz (ohne PH) - FHNW
Hauptdisziplin Andere Gebiete der Ingenieurwissenschaften
Beginn/Ende 01.07.2017 - 30.06.2021
Bewilligter Betrag 639'624.00
Alle Daten anzeigen

Alle Disziplinen (2)

Disziplin
Andere Gebiete der Ingenieurwissenschaften
Informatik

Keywords (6)

Crisis Management; Geomatics; Information Visualization; Photogrammetry/Computer Vision; Deep Learning; Video Analytics

Lay Summary (Deutsch)

Lead
Tritt ein Bach über die Ufer und überflutet dann die Keller, zeichnen viele das Ereignis mittels Smartphone auf. Solche Augenzeugen-Videos enthalten potentiell interessante Informationen für die Ereignisbewältigung. Das Projekt will die relevanten Videos identifizieren und deren Inhalte für das Krisenmanagement aufbereiten.
Lay summary

Ein Mensch entscheidet schnell und effizient, ob Videos relevante Informationen enthalten oder nicht. In einer Krisensituation fehlt jedoch die Zeit dazu. Daher entwickelt das Projekt Methoden der künstlichen Intelligenz, um die Videos zu beurteilen und zu filtern. Ausgewählte Videos werden dann mit bekannten Daten und Bildern einer Region verglichen und so korrekt positioniert und ausgerichtet. Abhängig von den Inhalten und den Einstellungen produzieren diese Schritte mehr oder weniger viele Falschauswahlen. Darum werden die Informationen visuell so aufbereitet, dass die Endauswahl und Korrektur der Position einfach und effizient von den Bearbeitenden vorgenommen werden können. So wird sichergestellt, dass die Informationen schnell verfügbar und einfach nutzbar sind.

Aufgezeichnete Videos von den verschiedensten Ereignissen füllen online-Plattformen. Das Krisenmanagement hat in einer stressreichen Ereignissituation aber nicht die Zeit, sich stundenlang Videos anzuschauen, um allenfalls relevante Inhalte zu identifizieren. Eine automatische Beurteilung und Aufbereitung von Augenzeugen-Videos soll helfen, Informationen aus unterschiedlichen Perspektiven nutzen zu können.

Aufgezeichnete Videos von den verschiedensten Ereignissen füllen online-Plattformen. Das Krisenmanagement hat in einer stressreichen Ereignissituation aber nicht die Zeit, sich stundenlang Videos anzuschauen, um allenfalls relevante Inhalte zu identifizieren. Eine automatische Beurteilung und Aufbereitung von Augenzeugen-Videos soll helfen, Informationen aus unterschiedlichen Perspektiven nutzen zu können.

Die Verfügbarkeit von zeitnahen relevanten Informationen ist zentral für die Krisenbewältigung. Die Informationen ermöglichen, dass rasch die richtigen Entscheide gefällt werden. Dadurch sollen teure Fehlentscheidungen mit potentiellen negativen Folgen für Infrastruktur, sowie Schutz und Rettung weitgehend vermieden werden.

Direktlink auf Lay Summary Letzte Aktualisierung: 27.07.2017

Lay Summary (Französisch)

Lead
Lorsqu’une rivière déborde et inonde une cave, il suffit d’un smartphone pour immortaliser l’événement. De tels témoignages oculaires contiennent des informations potentiellement intéressantes. Le projet entend identifier les vidéos pertinentes et traiter leur contenu à des fins de gestion des crises. Une personne décide rapidement et efficacement du caractère pertinent ou non du contenu de vidéos. Mais, dans une situation de crise, le temps manque. C’est pourquoi le projet développe des méthodes basée sur l’intelligence artificielle afin d’évaluer et de filtrer ce type de témoignages oculaires.
Lay summary

Une sélection de vidéos est alors comparée à des données et des images connues d’une région, et est ainsi correctement positionnée et orientée. Ces étapes génèrent des erreurs de sélection plus ou moins nombreuses. C’est pourquoi les informations sont traitées visuellement de façon à ce que le choix final et la correction de la position puissent être effectués facilement et efficacement par les personnes concernées, garantissant ainsi que les informations soient rapidement disponibles et facilement utilisables.

Les vidéos d’événements les plus divers remplissent les plateformes en ligne. En cas de crise, les personnes qui en assurent la gestion n’ont pas le temps de regarder d’analyser ces vidéos pour y trouver d’éventuels contenus pertinents. Leur évaluation et leur traitement automatisés permettraient d’utiliser ces informations à partir de diverses perspectives.

Extraire, au moyen d’une combinaison d’algorithmes, les informations pertinentes que contiennent des vidéos devrait faciliter la gestion des crises. Ces algorithmes doivent d’abord évaluer la pertinence des vidéos, puis les analyser en fonction de leur contenu et enfin les positionner et les orienter correctement. Ces processus sont sujets à des incertitudes. En conséquence, leurs résultats pas toujours fiables. Un traitement visuel approprié garantit toutefois qu’ils puissent être intégrés de façon efficace et profitable dans les processus opérationnels.

La disponibilité d’informations pertinentes et actualisées est centrale pour une gestion efficace des crises et permet d’éviter des décisions coûteuses et erronées aux conséquences potentiellement négatives pour les infrastructures et les services de protection et de sauvetage.

Direktlink auf Lay Summary Letzte Aktualisierung: 27.07.2017

Lay Summary (Englisch)

Lead
When a stream bursts its banks and floods cellars, many people record the event with their smartphones. Such eyewitness videos contain potentially interesting information for incident management. This project aims to identify relevant videos and filter their content for crisis management.
Lay summary

Humans are able to decide quickly and efficiently whether or not videos contain relevant information. In a crisis situation, however, there is not sufficient time to do so. The aim of this project is therefore to develop artificial intelligence methods to evaluate and filter videos. Selected videos will then be compared with known data and images from a region and correctly positioned and aligned. Depending on the content and settings, these steps will produce more or fewer false selections. Accordingly, the information will be visually prepared in such a way that the final selection and correction of the position can be performed simply and efficiently by crisis managers. This will ensure that the information is readily available and easy to use.

Online platforms contain many video recordings of a wide range of different incidents. In a stressful incident situation, however, crisis managers do not have the time to spend hours looking at videos in the hope of identifying relevant content. An automatic assessment and processing of eyewitness videos is intended to facilitate the use of information from different perspectives.

The objective is to support crisis managers with relevant information extracted from eyewitness videos by a combination of algorithms. The algorithms first have to assess the videos for relevance, and then analyse them with regard to content and correctly position and align them geographically. Because these processes entail uncertainties, the results are not always reliable. Nonetheless, appropriate visual processing ensures that the results can be efficiently and beneficially integrated into operational procedures.

The availability of current relevant information is crucial for crisis managers. They can draw on the information to make the right decisions fast and largely avoid costly wrong decisions with potential negative consequences for infrastructure as well as protection and rescue operations.

Direktlink auf Lay Summary Letzte Aktualisierung: 27.07.2017

Verantw. Gesuchsteller/in und weitere Gesuchstellende

Mitarbeitende

Abstract

We propose a research project aiming at supplying crisis managers effectively with relevant information to support evidence-based decision-making. The relevant information is extracted from potentially large accumulations of crisis event videos published by the public who witnesses an event.Motivation: When a crisis event, such as a mudflow or a flood, occurs there is quite probably someone with a smartphone in the vicinity. People record the event and publish it. Such imagery or videos potentially contain crucial information that can support crisis managers in dealing with the event. However, in stressful situations there is no time to watch hours of video footage to determine whether there is any relevant and useful information in videos made available by the public.Objectives and methods: We propose to achieve the stated aim by addressing three key research challenges. First, the selection of relevant video scenes is achieved by pre-analysing video contents with artificial intelligence methods, specifically deep neural networks. Second, the analysis of selected videos contents is enabled through more precisely positioning scenes by using and overlaying all available information, e.g. matching video contents with 3D models of the surroundings. Results from these processes are afflicted with uncertainties. Third, to ensure effective use of extracted information and associated uncertainties, a human-centred design process is employed to provide suitable visual means of communication to crisis managers in stressful situations.Research plan: The three research challenges are addressed in three tracks (A, B, and C) each led by one of the applicants each of whom having specific expertise and experience in the respective topic area. The three tracks can proceed independently, but benefit from collaboration, and can only achieve the stated aim in combination.Deliverables: The project finally delivers improved neural network methods to judge the relevance of video scenes for crisis situations. Those scenes are further utilised by extended and adapted methods for georeferencing content and evaluating the quality of positional information. Finally, recommendations for visual communication means of uncertainties for evidence-based decision-making ensure that the resulting relevant information can be effectively made available to crisis managers. While laying the foundations for solving the problem of using videos for crisis management, the developed methods additionally solve key research problems in their respective fields. They thus have a much broader impact beyond the project aim of supporting crisis management.
-