Project

Back to overview

Interacting Bodies: Multimodal Analysis of the Organization of Turns and Sequences

English title Interacting Bodies: Multimodal Analysis of the Organization of Turns and Sequences
Applicant Mondada Lorenza
Number 151693
Funding scheme Research semester
Research institution Institut für Französische Sprach- und Literaturwissenschaft Universität Basel
Institution of higher education University of Basel - BS
Main discipline Romance languages and literature
Start/End 01.01.2014 - 31.07.2014
Approved amount 84'132.00
Show all

All Disciplines (5)

Discipline
Romance languages and literature
Sociology
Communication sciences
German and English languages and literature
Other languages and literature

Keywords (6)

spoken French, English, Japanese, Finnish; interactional linguistics; conversation analysis; multimodality and embodiment; video analysis; linguistic corpora

Lay Summary (French)

Lead
Paradoxalement, même si la communication et l’action humaine impliquent le corps de manière fondamentale, celui-ci a été longtemps ignoré au profit du langage par la recherche en sciences sociales et sciences cognitives. Même si plusieurs domaines reconnaissent aujourd’hui que cette séparation entre le langage et le corps est artificielle, leur théorisation manque encore. Ce projet vise à développer un cadre conceptuel et analytique intégrant ces différents aspects de la multimodalité.
Lay summary

 

Le projet développe à la fois une conceptualisation et des analyses empiriques de données vidéos, de manière à contribuer à une meilleure compréhension du langage et du corps dans l’action sociale. Au sein des sciences sociales et humaines, l’usage de la vidéo introduit plusieurs défis. Méthodologiquement il change radicalement la nature des données en mesure de documenter l’action humaine. Théoriquement il invite à revisiter les conceptions de et les relations entre le langage, l’action, le contexte et le corps. Le travail de Lorenza Mondada propose une approche innovante qui s’inspire des domaines de l’analyse conversationnelle, de la linguistique interactionnelle, et de l’analyse vidéo, afin d’intégrer dans l’étude du langage en interaction une variété de resources multimodales. Celles-ci comprennent la langue, la prosodie, les gestes, le regard, les expressions faciales, les postures du corps, les mouvements etc.  Sur cette base, le projet se penche sur la manière dont ces ressources sont mobilisées dans la coordination de l’action conjointe, sur leur caractère organisé et ordonnée, ainsi que sur leur adjustement au contexte spécifique de l’action située.

Direct link to Lay Summary Last update: 26.09.2013

Responsible applicant and co-applicants

Abstract

Within the social sciences and humanities, the use of video introduces two challenges: methodologically, it radically changes the nature of the data documenting human action; theoretically, it revisits notions concerning language, action, context and the body. My work is situated in this innovative framework. Drawing on conversation analysis, interactional linguistics and video analysis, it integrates within the study of language in interaction a wide range of multimodal resources: language, gesture, gaze, facial expressions, body postures, movements in space, and manipulations of objects. This impacts our vision of how action is organized in context, how these resources are mobilized in a timely coordinated and a mutually intelligible way by humans acting together. Within the past 15 years, my work has contributed in a significant way to sketch a multimodal approach to language and human action - now internationally recognized in Europe and the USA. For this research semester, I propose to develop it further through conceptual reflections and empirical analyses focusing on a specific kind of action, directives and requests in ordinary and institutional settings. This project will be realized while being hosted mainly at the Meiji Gakuin University, Tokyo (Japan) and the University of Helsinki.
-