Back to overview

Actor and Avatar

English title Actor and Avatar
Applicant Mersch Dieter
Number 166416
Funding scheme Interdisciplinary projects
Research institution Departement Kulturanalysen und Vermittlung Zürcher Hochschule der Künste ZHdK
Institution of higher education Zurich University of the Arts - ZHdK
Main discipline Arts
Start/End 01.07.2016 - 30.06.2020
Approved amount 586'102.00
Show all

All Disciplines (4)

Music, Theatre
Neurophysiology and Brain Research

Keywords (7)

theater; digital simulation; neurosciences; alterity; aesthetics; phenomenology; neuroimaging

Lay Summary (German)

The Actor and the AvatarDas interdisziplinäre Projekt beschäftigt sich mit Attraktionsunterschieden in der Wahrnehmung und Selbstwahrnehmung von Schauspieler/innen (zwischen Bühne und Film) sowie von Avataren bzw. graphischen oder künstlich erzeugten Bildschirmfiguren wie sie in Computerspielen, Animationsfilmen und zunehmend auch in Reklamen, Demonstrationsfilmen und in der Forschung Verwendung finden.
Lay summary
(i) Es gilt die Differenzen zwischen Bühnen- und Filmschauspiel neu auszuloten, soweit die Filmtheorie den/die Filmschauspieler/In gewöhnlich als Figur diskutiert, die Theatertheorie aber die performative Wirkung und Präsenz des Bühnenschauspiels hervorhebt. Das Vorhaben schlägt eine Erweiterung der Perspektive im Hinblick auf eine spezifische Alteritäts- und Präsenzerfahrung auch des/der Filmschauspieler/in vor, wie sie für die Betrachtung des Filmbildes und der erzählten Filmhandlung konstitutiv ist – eine Perspektiverweiterung, die u.a. auch ethische Konsequenzen für das Sehen impliziert. (ii) Es gilt, die spez. Differenzen zwischen der Wahrnehmung einer anderen Person (als Schauspieler/in im Film, auf der Bühne) und der Betrachtung künstlicher Figuren (Avatare, künstl. animierter Figuren, Roboter) näher zu untersuchen. Fokussiert wird dabei v.a. auf das Gesicht zwischen Maske und Antlitz. Tatsächlich spricht die emotionale Wahrnehmung auf das Gesicht anders an als auf Körper oder die ‚Gesichter‘ von Puppen, Animationsfiguren und Masken, wie neurowissenschaftliche Studien belegt haben. Um diese Aufmerksamkeitsdifferenz am Bspl. von Schauspieler/innen und Avataren genauer zu analysieren schlägt das Projekt (a) eine künstlerische Versuchsanordnung auf der Grundlage der Selbstwahrnehmung des Gesichtes unterschiedlich ausgebildeter Schauspieler/innen einerseits und ihres digital animierten ‚Konterfeis‘ andererseits vor. (b) sollen diese Ergebnisse mit empirisch-method. Testreihen anhand von Epilepsie-Patienten auf der Grundlage neurowiss. Ansätze und fMRT- und EEG-Studien konfrontiert und verglichen werden. So wird die Frage leitend, ob die emotionale Wahrnehmung zwischen menschlichen und nichtmenschlichen Akteuren sowie zwischen der Eigenwahrnehmung des Gesichts und dessen Verfremdung durch ‚Avatarisierung‘ signifikant differiert, d.h. ob wir auf menschliche Gesichter und unser eigenes Gesicht anders reagieren als z.B. auf Gesichter künstlich animierter Figuren.
Direct link to Lay Summary Last update: 30.06.2016

Responsible applicant and co-applicants


Associated projects

Number Title Start Funding scheme
135120 Disembodied Voice (Stimme/Körper/Technik) 01.05.2011 DORE project funding
132261 Das Spiel mit den Gefühlen 01.09.2011 DORE project funding
140401 Analog/Digital - Die emotionale Wirkung von Filmaufnahmeverfahren auf das Kinopublikum 01.05.2012 Project funding (Div. I-III)


The technological development confronts us with a manifold of new objects with different agencies. These imply the question of relationships. The interdisciplinary project specifically deals with differences in the perception of the other’ s face, either in direct encounter or photography and film on the one hand, and, on the other, avatars or computer-generated screen characters as they appear in digital games or, increasingly, in flight safety demonstration videos, commercials, and scientific research. The project analyzes these differences from three methodological approaches: (i) in a philosophical reflection on questions of experiences of the other and particularly between human faces and non-human avatars, with a strong focus on phenomenology and the philosophy of alterity in Lévinas; (ii) within the framework of aesthetic and artistic research, dealing with expression and its self-reflection, which provides the basis for an accompanying empirical study in order to create models to inform the philosophical work; (iii) through neuroscientific research in epilepsy treatment and a comparison group based on the models as worked on in (ii). The three perspectives of the project complement one another with (i) their philosophical questioning of our experience of the other’s face (Antlitz), its affection and its relation to the understandability or incomprehensibleness of expression and its traces in the face, (ii) the presentation of paradigmatic comparable templates between actors and their ›avatarization‹, in order to encounter their own alienation, and (iii) empirical measurements of differences in affective perception of both by methods of neuroimaging (fMRI). The grade of abstraction successively decreases, whereas the grade of concretion increases. While (i) the philosophical part contrasts, firstly, the perception of the other’s face in direct communication and photographic images or film sequences with close-ups of faces with, secondly, the perception of the avatar and specifically the avatar’s face, grounded in a phenomenology of perception and of the alien, in experience of otherness, it decidedly limits itself on relations between the other’s bodily presence, also on photographs, film or TV screens, with the avatar as a mathematically constructed screen presence. (ii) On the other hand, the models of aesthetic and artistic research rely on the perception of facial expression, without considering the voice, whereupon the complexity of modeling especially rests on the construction of a reflexive situation. By the help of the software-program face shift or currently developed new programs, one sees his or her own ›avatarized‹ face in real time to become his or her own recipient in-between introspection. The programs produce an overlapping or cross-over between avatar and spectator, and the reaction on the estranged face is comparable to an ›open circuit‹ that provokes questions of perception of self and alien: the self in the alien and the alien in the self. The (iii) neuroscientific project works on the basis of this material by exposing two groups of test subjects - one of patients of epilepsy, the other of non-patients - to a direct comparison between human face (Antlitz) and ›avatarized‹ facialty (Gesichtigkeit), whereas both are set to two easily distinguishable expressions (like joy and terror). The hypothesis is that the spectator is forced to react emotionally in both cases, evoking the question if there are significant differences between the affective perception of the human and the animated (›avatarized‹) face-expression. Two main research questions develop from the closely linked perspectives: first, which brain structures react on human, dynamic expressions and which on expressions represented by avatars; second, are patients suffering from mesial temporal lobe epilepsy hindered in their visual perception of human and animated expressions? While all three parts of the project operate partly independent from another by following the relevant question within their own field of study, they form at the same time a shared space of contact and research to mutually discussing results and deepen and correct their own work. Therefore, an open workspace and monthly meetings are scheduled. The project hopes to point out (1) basic assumptions of differences between the perception of persons and avatars, (2) findings for the control of expression in the education of actors and in patients, as well as (3) consequences for the design and technical application of emotional expressions of avatars.