Project

Back to overview

Deixis and Joint Attention: Vision in Interaction (DeJA-VI)

English title Deixis and Joint Attention: Vision in Interaction (DeJA-VI)
Applicant Stukenbrock Anja
Number 179108
Funding scheme Project funding (Div. I-III)
Research institution Section d'Allemand Université de Lausanne
Institution of higher education University of Lausanne - LA
Main discipline German and English languages and literature
Start/End 01.09.2018 - 31.08.2022
Approved amount 775'719.00
Show all

Keywords (5)

mobile eye-tracking; deixis; social interaction; joint attention; gaze

Lay Summary (German)

Lead
In der Kommunikation von Angesicht zu Angesicht spielt nicht nur die Sprache, sondern auch das situative Geschehen eine entscheidende Rolle für unser Verstehen. Dazu gehören u.a. wahrnehmbare Phänomene im umgebenden Raum, die Gesichter und Körper der Beteiligten, deren Bewegungen und Gesten. Zu den im gemeinsamen Wahrnehmungsraum sich vollziehenden Intersubjektivierungsprozessen trägt das menschliche Blickverhalten wesentlich bei.
Lay summary

Inhalt und Ziel des Forschungsprojekts
Das Projekt erweitert bisherige Forschungsergebnisse zum Zusammenspiel von Sprache und Gestik durch Studien zur Rolle des Blicks im Verstehensprozess. Es widmet sich der Frage, welche Blickpraktiken die Beteiligten verwenden, wenn sie einen gemeinsamen Aufmerksamkeitsfokus herstellen, Objekte betrachten oder manipulieren, gestikulieren, dem Blick des Anderen folgen oder divergierende Aufmerksamkeitfoci etablieren und Momente gefährdeter Intersubjektivität gemeinsam bewältigen. Im Projekt werden natürliche Alltagsinteraktionen mit Videokameras und zusätzlich mit mobilen Eye-Tracking-Brillen aufgenommen, die das Blickverhalten der Beteiligten exakt dokumentieren.

Wissenschaftlicher und gesellschaftlicher Kontext
Das Projekt bringt bislang unverbundene Forschungsparadigmen zusammen, indem es die linguistische Interaktionsforschung mit technologisch avancierten Verfahren zur Blickuntersuchung kombiniert, die bislang v.a. in experimenteller Forschung eingesetzt wurden. Es ist theoretisch und methodologisch innovativ, denn es trägt Eye-Tracking-Technologien aus dem Laboratorium heraus und in natürliche Lebenszusammenhänge hinein und erbringt dadurch ökologisch valide Erkenntnisse über unsere sprachlichen und visuellen Praktiken im konkreten Vollzug.
Die Projektergebnisse sind in gesellschaftlich, technologisch und wirtschaftlich bedeutsame Forschungs- und Anwendungsbereiche (Spracherwerbsforschung, künstliche Intelligenzforschung, Mensch-Maschine-Interaktion, Coachings) übertragbar.

Direct link to Lay Summary Last update: 09.05.2018

Responsible applicant and co-applicants

Employees

Project partner

Abstract

1 Summary of the research planThe proposed project investigates the use of gaze, verbal deixis and pointing to accomplish joint visual attention in naturally occurring social interaction. It assumes that deixis in its primordial use in face-to-face interac-tion is an embodied phenomenon that involves gestural pointing and visual perception, thus giving rise to re-curring gaze patterns of the participants. Based on previous work on deixis as part of grammar and on gestures, the project addresses the neglected role of eye gaze in deictic reference and attention sharing. Gaze plays a crucial role in how participants jointly orient to visible phenomena in their surroundings, navigate through space, coordinate minds and bodies and display understanding to each other. The systematic investigation of gaze in its natural habitat in social interaction requires high-precision eye gaze data that video-recordings do not provide. Therefore, the project applies mobile eye-tracking technology to record dyads of participants in various everyday situations. Methodologically situated within the framework of multimodal conversation and interaction analysis where video recording is used, it breaks new ground by employing a technology almost exclusively applied in experimental frameworks to record naturally occurring social interaction "in the wild" (Stukenbrock in press a), in press b). In striving both for ecologically valid and precise eye gaze data, it is thus technologically and methodologically innovative.While the PI's previous studies focused on German deictic expressions and gestures, the proposed project investigates the participants' eye gaze patterns in relation to verbal deixis, gestures, mutual and object-related visibility, participation frameworks and space. Two domains will be investigated: interacting gaze patterns in spatial deixis and pointing practices and interacting gaze patterns in modal deixis and iconic practices. The two domains will be complemented by an examination of gaze following practices that occur without verbal deictics and instances of diverging and conflicting foci of visual attention.The application includes two PhD projects and two transversal projects to be conducted by the PI. A corpus that is large enough to satisfy the need for situational variation requires at least about 40 hours of recordings. Beyond the duration of the project itself, the mid- to long-term aim is to construct a multi-functional eye-tracking corpus that can be used for other analytic purposes as well. A follow-up project on "Joint attention and joint imagination in Deixis am Phantasma: gaze practices in blended and mediated spaces" is envisioned. It will build on the results of the first project, use part of the corpus and extend the data collection to further scenarios.
-