Project

Back to overview

How audition enhances visual perception and guides eye-movements

Applicant Vetter Petra
Number 185918
Funding scheme PRIMA
Research institution Département de Psychologie Université de Fribourg
Institution of higher education University of Fribourg - FR
Main discipline Psychology
Start/End 01.09.2020 - 31.08.2025
Approved amount 1'504'468.00
Show all

All Disciplines (2)

Discipline
Psychology
Neurophysiology and Brain Research

Keywords (14)

Visual perception; Eye movements; Audiovisual integration; Multisensory perception; Consciousness; Unconscious perception; Human brain; Early visual cortex; Functional neuroimaging; fMRI; Continuous flash suppression; Binocular rivalry; Eye tracking; Brain decoding

Lay Summary (German)

Lead
Das Projekt untersucht, wie das Hören unser Sehen und unsere Augenbewegungen beinflusst. Es untersucht insbesondere, wie akkustischer Informationsgehalt unsere visuelle Wahrnehmung verstärken und unsere Augenbewegungen leiten kann.
Lay summary
Um die Welt um uns herum visuell wahrnehmen zu können, benutzt das Gehirn nicht nur die Information, die es über das Sehen erhält, sondern auch die Information, die das Gehirn über andere Sinne wahrnimmt. Dieses Projekt konzentriert sich auf die Frage, wie Informationsinhalte, die wir über das Hören erhalten, unsere visuelle Wahrnehmung beeinflussen und eventuell verstärken können, und wie akkustische Informationsinhalte unsere Augenbewegungen leiten können. Dies ist zum Beispiel wichtig, wenn wir uns im Strassenverkehr bewegen: unser Gehirn muss das Geräusch einer sich von hinten annähernden Strassenbahn als solches erkennen, es mit dem visuellen Bild der Strassenbahn abgleichen, und unsere Augenbewegungen auf die Strassenbahn leiten, so dass wir entsprechend reagieren und ausweichen können. Dieses Projekt konzentriert sich auf die grundlegenden Fragestellungen, wie das Gehirn akkustische Inhalte benutzt, um Augenbewegungen zu leiten, und wie akkustische Inhalte die visuelle Wahrnehmung verstärken können, wenn das visuelle Bild uneindeutig ist. Dies wird insbesondere untersucht, wenn das visuelle Bild nur unbewusst wahrgenommen werden kann, d.h. wenn es durch experimentelle Bilddarstellung unsichtbar gemacht wird. Damit wird untersucht, wie das Hören auch die Verarbeitung unbewusster Bilder beeinflussen kann.

Wissenschaftlicher und gesellschaftlicher Kontext:

Dieses Forschungsprojekt wird einen wichtigen Beitrag zum grundlegenden Verständnis leisten, wie unsere Hören das Sehen beeinflussen kann. Diese Erkenntnisse sind wichtig für die Entwicklung von Hilfsmitteln für Blinde oder Sehgeschaedigte, und für die Entwicklung und Optimierung von virtuellen Umgebungen, in denen visuelle und akkustische Signale schnell integriert werden müssen, z.B. Flugzeugcockpits, Flugsimulatoren oder Virtual Reality Umgebungen.

Direct link to Lay Summary Last update: 28.04.2020

Responsible applicant and co-applicants

Employees

Abstract

Background and rationale: To create the visual world that we perceive, the brain uses information not only from the eyes but also from other senses. While there is evidence for top-down information from non-visual brain areas influencing visual processing, it is still unclear what kind of information is communicated top-down, and what function this influence has for actual visual perception and action. In the case of auditory influences to vision, previous multisensory research focussed on the integration of simple auditory and visual signals (beeps and flashes) across time and space. However, beeps and flashes do not carry any ecologically valid information content and thus the influence of actual semantic information content of sounds onto visual perception and action remains unexplored. In everyday life, it is crucial that the content of sound information, e.g. the sound of an approaching car behind us, is matched to the visual environment correctly such that we can see the approaching car quickly and react accordingly.Overall objectives and specific aims: The overall objective of this project is to investigate how information content of natural sounds influences and enhances visual perception and guide actions. Two specific Research Aims will be addressed: Aim 1: Can content-specific sound information guide eye-movements and as such actions and perception?Aim 2: Can content-specific sound information resolve ambiguities in vision and thus enhance visual perception?Methods: Aim 1: We will determine whether eye-movements are guided to visual natural scenes that are suppressed from conscious awareness when participants hear a semantically matched natural sound. Visual and auditory stimuli will be matched such that they are semantically more closely or more distantly related.Aim 2: We will render visual stimuli ambiguous by displaying different stimuli to each eye and determine whether semantically matching sounds can disambiguate visual stimuli and make the matching image visible. In addition, we will use functional MRI and brain decoding techniques to determine whether sound content is represented in early visual at the time the visual stimulus is disambiguated. Expected results and their impact for the field: We expect that sound content guides eye-movements to semantically matching visual scenes even in the absence of awareness of these scenes. We expect the guidance of eye movements to be modulated by the semantic relatedness between sound and image. Furthermore, we expect that sound content resolves visual ambiguities in visual ambiguous situations and that we find evidence that the brain uses this content-specific sound information to disambiguate visual perception. Ultimately, once we have demonstrated how audition can enhance visual perception and guide actions, we can use these insights to develop rehabilitation devices for visually impaired people, to improve sensory substitution devices for the blind and to enhance multi-media environments in which audition and vision have to be combined.
-