Project

Back to overview

Towards Integrated processing of Physiological and Speech signals (TIPS)

Applicant Magimai-Doss Mathew
Number 188754
Funding scheme Project funding (Div. I-III)
Research institution IDIAP Institut de Recherche
Institution of higher education Idiap Research Institute - IDIAP
Main discipline Information Technology
Start/End 01.12.2019 - 30.11.2023
Approved amount 540'329.00
Show all

Keywords (5)

speech processing; physiological signal processing; sensor fusion; wearable sensor; mental stress detection

Lay Summary (French)

Lead
La recherche sur le traitement de la parole s’est largement focalisée sur la modélisation de l’activité de la source vocale et sur les activités dans la cavité buccale. Cependant, la production de la parole est intrinsèquement liée à d’autres activités physiologiques telles que la respiration, l’activité cardiaque, qui peuvent subir des modifications pour diverses raisons, telles que l’humeur ou l’émotion, le cadre social ou environnemental (par ex. un environnement bruyant ou calme), ou des maladies neurodégénératives (par ex. la maladie de Parkinson) ou un AVC. Ces modifications peuvent à leur tour affecter la communication vocale. Dans le domaine de la parole, très peu de recherches ont été menées pour comprendre la relation entre la parole et les activités physiologiques telles que la respiration et le rythme cardiaque. Le projet TIPS se focalise sur cet aspect grâce à l’utilisation d’un capteur portable coopératif développé par une collaboration entre l’Idiap et le CSEM.
Lay summary

Le projet TIPS, financé par le FNS, étudie la relation entre les signaux de la parole et les signaux physiologiques dans différentes conditions de prise de parole (lecture, spontanéité, conversation de groupe, prise de parole en public et prise de parole en situation de stress cognitif), et développe des méthodes pour

  1. Prédire les paramètres physiologiques à partir du signal vocal
  2. Améliorer la détection du stress mental en combinant les informations vocales et physiologiques
  3. Segmenter de manière robuste les énoncés en termes de mots et de phrases en modélisant conjointement les signaux vocaux et physiologiques

La recherche proposée implique une collaboration avec : (a) le CSEM, qui apportera son expertise en matière de développement de capteurs et de récolte de signaux physiologiques, (b) un coach exécutif et expert de la parole, qui aidera à développer des méthodes de détection du stress mental lors de prise de parole en public et (c) le Centre aérospatial allemand (DLR) Braunschweig pour récolter des données vocales et physiologiques en conditions de stress cognitif, en particulier des données de contrôleurs aériens, et développer de nouvelle méthodes de mesure du stress cognitif basées sur la parole et la physiologie.

Les travaux de R&D du projet TIPS sont à l’intersection entre le traitement de la parole, le traitement des signaux physiologiques, la fusion des capteurs et l’apprentissage automatique. Les résultats du projet intéressent non seulement la communauté de la parole, mais également d’autres domaines, tels que l’informatique sociale et les soins de la santé pour n’en citer que quelques-uns.

Direct link to Lay Summary Last update: 30.04.2020

Responsible applicant and co-applicants

Employees

Project partner

Abstract

Speech processing research has largely focused on modeling the activity of voice source and the activities in the oral cavity. However, speech production is intrinsically related to other physiological activities, such as respiration, heart activity, which can undergo changes due to a variety of reasons like mood or emotion, social or environmental setting (e.g., loud versus quite environment), or neuro-degenerative diseases (e.g., Parkinson's disease) or stroke. These changes in turn can affect speech communication. In the speech community, there is very little research that has undergone to understand the relationship between speech and physiological activities, such as respiration, heart rate.Idiap and CSEM are currently involved in developing a platform, where speech and physiological signals are collected in a synchronous manner through a wearable cooperative sensor and processed to develop novel speech- and physiology-based applications. Building on the outcomes of this collaboration, the proposed project TIPS aims to investigate the relationship between speech signals and physiological signals under different speaking conditions (read, spontaneous, group conversation, public speaking and speech under cognitive stress), and develop methods,1. to predict physiological parameters from the speech signal2. to improve mental stress detection by combining speech and physiological information3. to robustly segment utterances in terms of words and phrases by jointly modeling speech and physiological signals.The outcomes of the proposed project is of interest not only to the speech community but also to other fields, such as social computing and health care to name a prominent few.The proposed research will be carried out in collaboration with CSEM, who will assist with their expertise in sensor development and physiological signal acquisition. We will also collaborate with an executive coach and expert on spoken word, who will help us in developing methods to detect mental stress in public speaking. Finally, we will also collaborate with the German Aerospace Center (DLR), Braunschweig to acquire speech and physiological data under cognitive stress conditions, specifically air traffic controllers data, and develop novel speech and physiology-based cognitive stress measurement methods.TIPS will fund two young researchers, one PhD and one Postdoc, and will train them at the interaction of speech processing, physiological signal processing, sensor fusion and machine learning.
-