Project

Map Adaptation; Eye Tracking; Gaze-Based Assistance; Intention Recognition; Gaze-Based Interaction; Activity Recognition; Context

Lead
Adaptive Mensch-Computer-Schnittstellen können die Interaktion mit digitalen Karten signifikant vereinfachen, beispielsweise bei der Navigation, der Informationssuche, oder für Nutzer mit körperlichen Einschränkungen. Ein Kartensystem, welches das Informationsbedürfnis seiner Nutzer schnell und akkurat erkennt, könnte bestimmte Karteninhalte ein- bzw. ausblenden und somit die Effektivität und Effizienz der Interaktion erhöhen. Da Karten weitestgehend visuell wahrgenommen und exploriert werden, liegt die Vermutung nahe, dass das Blickverhalten - gemessen durch "Eye Tracker" genannte Kamerasysteme - zur Erkennung der Intentionen und Aktivitäten, und somit als Auslöser für Kartenadaption genutzt werden kann.
Lay summary
Ziele des Forschungsprojekts Das Hauptziel des Forschungsprojekts besteht in der Erforschung von Methoden zur Erkennung von Aktivitäten und Intentionen aus visuellem Verhalten bei der Interaktion mit Karten. Hierbei werden die folgenden Fragestellungen beantwortet: 1. Kann man aus dem Blickverhalten eines Kartennutzers auf dessen Aktivität bzw. Intention, und somit auf sein Informationsbedürfnis Rückschluss ziehen (z.B. Routenplanung, Suche nach einem Restaurant)? 2. Wie gestaltet man eine hilfreiche Kartenadaption? 3. Wie ist die allgemeine Nutzerakzeptanz bzgl. blickbasierter Intentionserkennung auf Karten einzuschätzen? Wissenschaftlicher und gesellschaftlicher Kontext des Forschungsprojekts Das Projekt wird neue informatische Ansätze zur Erkennung von Intentionen aus Blickdaten bei der Nutzung von Karten entwickeln. Diese Ergebnisse werden sowohl einen Einfluss auf zukünftige Standards im Bereich Mensch-Computer-Interaktion haben, als auch den Methodenkatalog der künstlichen Intelligenz zur Erstellung von Assistenzsystemen erweitern. Die im Projekt gewonnenen Erkenntnisse über das Verhalten und die Intentionen von Menschen bei der Nutzung digitaler Karten werden eine wertvolle Grundlage für weitere Forschungen im Bereich der Raumkognition darstellen.

Direct link to Lay Summary

Last update: 22.10.2015

Active participation

Self-organised

Active participation

Communication	Title	Media	Place	Year

The concept of “one map fits all users” is surely obsolete. Adaptive and context-aware technologies have facilitated digital maps which offer personalized assistance by sensing, inferring, and utilizing the map user’s environmental, technological, and user context. Map adaptation is specifically helpful when the interaction possibilities with the map are restricted, or when time constraints apply. Despite maps becoming increasingly adaptive, the semantic gap between the contextual information used for adaptation and the user’s high-level cognitive processes that should finally be supported remains high. If a map-based assistance system could reliably infer a user’s intentions, it would be able to provide highly personalized assistance and support the user’s goals in an optimal way. Since vision is the primary sense for perceiving cartographic maps the user’s gaze behavior while interacting with a map is likely to provide valuable information on the user’s cognitive states in terms of intentions. With eye tracking technology it is possible to sense the user’s gaze on a cartographic map, relate it to the map contents, and use the acquired information for gaze-based adaptation. The proposed project envisions intention-aware gaze-based assistance on cartographic maps. A future intention-aware gaze-based assistive map could, for instance, recognize from the user’s gaze that he or she is planning a touristic round trip, and adapt to the user’s needs accordingly. The main objective of this project consists in the investigation of methods for the recognition of activities and intentions from gaze data, collected from cartographic map users. The project intends to investigate the following research questions:1.How can visible map features (points, lines, polygons) be used to assign meaning to a user’s gaze on a cartographic map?2.How can a map user’s activities be recognized from an incomplete gaze track (i.e., online), and how can a change in the performed activity be detected (segmentation problem)?3.How can the recognized basic activities be combined and interpreted at a higher semantic level, i.e., with respect to the map user’s intentions?Methods used in geographic data processing (e.g., map matching), mobile assistance systems (e.g., trajectory interpretation), activity recognition (e.g., machine learning from gaze tracks), and general plan recognition (e.g., Dynamic Bayes Models) will be extended and adapted to recognize a map user’s activities and intentions from gaze. The expected outcomes of the project include a) algorithmic approaches for online geometric matching of gaze with cartographic vector features, b) an evaluation of machine learning techniques for the recognition and segmentation of activities on cartographic maps, c) a methodology for the recognition of intentions from gaze on cartographic maps, d) an annotated eye tracking corpus, to be published online with the goal of stimulating further research in the eye tracking, artificial intelligence (A.I.), and geographic information science (GIScience) research communities. The eye tracking corpus will be created by collecting gaze data with studies in a controlled experimental setting (remote eye tracking) using various cartographic stimuli and tasks.