Project

long-term memory; language; visual working memory; labels

Lead
Als Menschen sind wir täglich visuellen Reizen ausgesetzt. Gleichzeitig werden wir mit verbalen Beschreibungen dieser Reize konfrontiert. Der Einfluss solcher Beschreibungen bei der Verarbeitung von visuellen Reizen im Arbeitsgedächtnis ist bisher noch unerforscht. So können sie hilfreich, unbedeutend oder auch schädlich sein. Ziel dieses Projekts ist, den Einfluss sprachlicher Inhalte auf die Speicherung, die Verarbeitung und den Abruf von visuellen Inhalten im Arbeitsgedächtnis zu untersuchen.
Lay summary
Inhalt und Ziel des Forschungsprojekts Das Arbeitsgedächtnis ist wichtig für die kurzzeitige Aufrechterhaltung von Informationen und hat eine begrenzte Kapazität. Unsere Fähigkeit komplexe Aufgaben zu bewältigen ist somit beschränkt. Bis anhin wurde die Rolle der Sprache innerhalb des visuellen Arbeitsgedächtnisses vernachlässigt. Die folgende Projekt soll diese Lücke anhand empirischer Untersuchungen erstmals schliessen. Ziel dieses Projekts ist, den Einflusses verbaler Beschreibungen auf das visuelle Arbeitsgedächtnis anhand von fünf verschiedenen Hypothesen zu untersuchen. Diese Beschreibungen können (1) konzeptuelles Wissen im Langzeitgedächtnis aktivieren, (2) eine verbale Spur auf Kosten der visuellen Spur im Arbeitsgedächtnis abspeichern, (3) zusätzlich zur visuellen Spur im Arbeitsgedächtnis eine verbale kreieren, (4) einen Abrufreiz zur Beschreibung hinzufügen und (5) die Abstraktion und das Lernen von Chunks fördern. Die Hypothesen sollen in verschiedenen Verhaltensexperimenten untersucht werden. Wissenschaftlicher und gesellschaftlicher Kontext des Forschungsprojekts Die Schlussfolgerungen dieser Studie sollen zu verbesserten theoretischen und praktischen Kenntnissen über die Kapazität des visuellen Gedächtnisses im Zusammenhang mit der Sprache führen. Darüber hinaus leiten sich aus diesen Kenntnissen erfolgreiche Interventionen ab, die zu einer gezielteren Anwendung der beschränkten Kapazität des visuellen Arbeitsgedächtnisses führen.

Direct link to Lay Summary

Last update: 11.01.2017

No evidence that self-rated negative emotion boosts visual working memory precision

Author	Souza, Alessandra S.
Publication date	23.03.2020
Persistent Identifier (PID)	10.17605/OSF.IO/WZVMX
Repository	Open Science Framework
Abstract

This repository contains materials, data and analysis scripts related to the paper of the same title in-press in Journal of Experimental Psychology: Human Perception and Psychophysics

The interplay of language and visual perception in working memory

Author	Souza, Alessandra S.
Publication date	10.05.2017
Persistent Identifier (PID)	10.17605/OSF.IO/TF93Q
Repository	Open Science Framework
Abstract

This page has all the data, materials, and analysis scripts published in the paper of same title in the Journal Cognition.

Active participation

Number	Title	Start	Funding scheme

In our everyday interactions, we are exposed - among other things - to streams of visual inputs and verbal descriptions of these inputs. Whether these descriptions are self-generated or provided by others, language is involved in most of our activities. What is the impact of describing our visual experiences as they unfold? Are these descriptions helpful, inconsequential, or harmful? The present proposal is concern with how verbal labels modulate the storage, maintenance, and retrieval of visual information in working memory (WM). WM is the cognitive device enabling the maintenance of information in an easy-to-retrieve state for ongoing processing. WM capacity is severely limited, thereby constraining our ability to carry out complex cognitive tasks. Despite the growing number of investigations on how language affects visual perception, learning, and episodic memory, the role of language has been largely neglected in the field of visual WM. The present proposal will fill this gap by providing a first systematic empirical and theoretical examination of the effect of labels on visual WM. Based on the extant literature on language and cognition I have delineated 5 hypotheses about the labeling effect for visual WM: (1) labeling activates conceptual (non-verbal) knowledge in long-term memory (LTM); (2) labeling results in the storage of a verbal trace in WM at the expense of the visual trace; (3) labeling generates a verbal trace in addition to the visual trace; (4) labeling adds a retrieval cue to the labeled item; and (5) labeling fosters abstraction and chunk learning. The experiments planned in the present proposal aim at testing predictions derived from these hypotheses. The project uses established continuous-reproduction visual WM tasks. These tasks will be combined with controlled verbalization protocols to assess the impact of specific labeling strategies. In combination, these methods will allow the examination of the format of the representations in WM when participants combine visual and verbal inputs, and whether doing so is beneficial, inconsequential, or harmful to performance. This knowledge will deepen our understanding of the mental codes available to guide our thoughts and actions over the short-term, and will provide further theoretical and practical insights regarding the conditions that hinder or foster the best use of the capacity of visual WM.