Project

Back to overview

SMILE-II

Applicant Magimai-Doss Mathew
Number 193686
Funding scheme Sinergia
Research institution IDIAP Institut de Recherche
Institution of higher education Idiap Research Institute - IDIAP
Main discipline Interdisciplinary
Start/End 01.01.2021 - 31.12.2024
Approved amount 2'075'883.00
Show all

All Disciplines (3)

Discipline
Interdisciplinary
Information Technology
Applied linguistics

Keywords (5)

Common European Framework of Reference; Sign language assessment; Sign language technology; Computer-/mobile assisted language testing; Sign linguistics

Lay Summary (German)

Lead
Das Ziel des SMILE-II-Projekts ist die Erforschung und der Aufbau von moderner Technologie für das Erlernen von Gebärdensprache. Das SMILE-II-Projekt baut auf den Grundlagen des Projekts SMILE auf, das sich mit der Beurteilung manueller Komponenten von Einzelgebärden der Deutschschweizerischen Gebärdensprache (DSGS) befasste. SMILE-II wird diese Technologie auf gebärdensprachliche Äusserungen auf Satzebene ausdehnen. Dabei werden sowohl manuelle als auch nicht-manuelle Komponenten der DSGS erfasst, sodass die Produktion eines DSGS-Lernenden auf Satzebene automatisch beurteilt werden kann.
Lay summary

Das Ziel des SMILE-II-Projekts ist die Erforschung und der Aufbau von moderner Technologie für das Erlernen von Gebärdensprache. Das SMILE-II-Projekt baut auf den Grundlagen des Projekts SMILE auf, das sich mit der Beurteilung manueller Komponenten von Einzelgebärden der Deutschschweizerischen Gebärdensprache (DSGS) befasste. SMILE-II wird diese Technologie auf gebärdensprachliche Äusserungen auf Satzebene ausdehnen. Dabei werden sowohl manuelle als auch nicht-manuelle Komponenten der DSGS erfasst, sodass die Produktion eines DSGS-Lernenden auf Satzebene automatisch beurteilt werden kann.

 

Um das Ziel des Projekts zu erreichen, bringt SMILE-II Forscher/-innen aus unterschiedlichen wissenschaftlichen Disziplinen zusammen, d.h. aus der Gebärdensprachlinguistik und -testforschung, Gebärdensprach- und Lautsprachtechnologie, um Forschung und Entwicklung zu folgenden Themen zu betreiben,

  1. Erstellung und linguistische Analyse von DSGS-Ressourcen oberhalb der Ebene von Einzelgebärden
  2. Entwicklung von Methoden zur Extraktion von manuellen und nicht-manuellen Informationen aus gebärdeten Äusserungen und die Entwicklung von Deep-Learning-basierten Ansätzen zur Gebärdensprachenerkennung und -produktion.
  3. Entwicklung von Instrumenten zur Beurteilung von Gebärdensprachkompetenz, die sich am Gemeinsamen Europäischen Referenzrahmen für Sprachen orientieren.
  4. Entwicklung von automatischen Gebärdensprachtests zur Unterstützung des Lernens der DSGS

 

Am SMILE-II-Projekt sind nicht nur erfahrene Forscher/-inne beteiligt, sondern auch junge hörende und gehörlose Mitarbeitende. Es wird erwartet, dass die Ergebnisse des Projekts einen Einfluss auf die Gehörlosengemeinschaft über die DSGS hinaus, auf Gebärdensprachlinguistik, -technologie und das Lernen von Gebärdensprachen haben werden.
Direct link to Lay Summary Last update: 16.02.2021

Lay Summary (French)

Lead
L'objectif du projet SMILE-II est de développer une technologie de pointe pour l'apprentissage de la langue des signes. Plus précisément, le projet s'appuie sur le travail réalisé par le projet FNS Sinergia SMILE qui portait sur l'évaluation de l'activité manuelle de la langue des signes suisse allemande (Deutschschweizerische Gebärdensprache, DSGS) de signes isolés produits par des utilisateurs L1 et des apprenants L2. SMILE-II souhaite étendre cette technologie à une évaluation continue en incluant les composants manuels et non manuels des signes afin que la production de phrase DSGS d’un apprenant puisse être évaluée de manière automatique.
Lay summary
L'objectif du projet SMILE-II est de développer une technologie de pointe pour l'apprentissage de la langue des signes. Plus précisément, le projet s'appuie sur le travail réalisé par le projet FNS Sinergia SMILE qui portait sur l'évaluation de l'activité manuelle de la langue des signes suisse allemande (Deutschschweizerische Gebärdensprache, DSGS) de signes isolés produits par des utilisateurs L1 et des apprenants L2. SMILE-II souhaite étendre cette technologie à une évaluation continue en incluant les composants manuels et non manuels des signes afin que la production de phrase DSGS d’un apprenant puisse être évaluée de manière automatique.

Pour atteindre ce but, SMILE-II rassemble des chercheurs de différents domaines, à savoir la linguistique, l'évaluation et la technologie de la langue des signes ainsi que la technologie de la langue parlée, pour mener des recherches et développements sur,
a)    la création et l’analyse linguistique de ressource DSGS continue (y compris les données longitudinales des apprenants DSGS).
b)    des méthodes pour extraire les informations manuelles et non manuelles de la production continue signée ainsi que des approches de deep learning de reconnaissance et de synthèse de la langue des signes.
c)    des instruments d'évaluation alignés sur le Cadre Européen Commun de Référence pour les Langues (CECR).
d)    des outils d'évaluation automatique pour faciliter l'apprentissage de la langue des signes.

Le projet SMILE-II implique non seulement des chercheurs expérimentés et de renommée internationale, mais également des jeunes collaborateurs entendants et Sourds. L’impact des résultats du projet est attendu dans la communauté Sourde au-delà du DSGS, dans les communautés de la linguistique, de la technologie et de l'enseignement de la langue des signes.

Direct link to Lay Summary Last update: 16.02.2021

Lay Summary (English)

Lead
The aim of SMILE-II project is to research and build advanced technology for sign language learning. More precisely, the proposed project is building on the groundwork laid down by the SNSF Sinergia project SMILE, which dealt with assessment of the manual activity of Swiss German Sign Language (Deutschschweizerische Geba rdensprache, DSGS) in isolated signs produced by L1 users and L2 learners. SMILE-II will extend this technology to continuous sign language assessment including both manual and non-manual components of signs so that a DSGS learner’s sentence-level production can be assessed in an automatic manner.
Lay summary

The aim of SMILE-II project is to research and build advanced technology for sign language learning. More precisely, the proposed project is building on the groundwork laid down by the SNSF Sinergia project SMILE, which dealt with assessment of the manual activity of Swiss German Sign Language (Deutschschweizerische Geba rdensprache, DSGS) in isolated signs produced by L1 users and L2 learners. SMILE-II will extend this technology to continuous sign language assessment including both manual and non-manual components of signs so that a DSGS learner’s sentence-level production can be assessed in an automatic manner.

To achieve the goal of the project, SMILE-II brings together researchers from different fields, namely, sign language linguistics, sign language assessment, sign language technology, and spoken language technology, to conduct research and development on,

  1. creation of and linguistic analysis of continuous DSGS resource (including longitudinal DSGS learner data)
  2. development of methods to extract manual and non-manual information from continuous signing and developing deep learning-based sign language recognition and sign language production approaches.
  3. development of instruments for sign language assessment aligned to the Common European Framework of Reference for Languages (CEFR).
  4. development of automatic sign language assessment tools to assist sign language learning.

The SMILE-II project involves not only experienced and internationally known researchers in their respective fields, but also young hearing and Deaf team members. The results of the project are expected to have an impact in the Deaf community beyond DSGS, the sign language linguistics community, the sign language technology community, and the sign language education community.

Direct link to Lay Summary Last update: 16.02.2021

Responsible applicant and co-applicants

Employees

Project partner

Associated projects

Number Title Start Funding scheme
160811 SMILE: Scalable Multimodal sign language Technology for sIgn language Learning and assessmEnt 01.03.2016 Sinergia

Abstract

The proposed project SMILE-II aims to research and build advanced technology for sign language learning. More precisely, the proposed project builds on the groundwork laid down by the SNSF Sinergia project SMILE, which dealt with assessment of the manual activity of Swiss German Sign Language (Deutschschweizerische Gebärdensprache, DSGS) in isolated signs produced by early learners and L2 learners. SMILE-II will extend this technology to continuous sign language assessment including both manual and non-manual components of signs so that a DSGS learner’s sentence-level production can be assessed in an automatic manner.The proposed goal is faced with several challenges: (a) lack of DSGS resources; (b) continuous sign language can contain both manual information and non-manual information and almost all work on recognition to date has focused on manual information only. Furthermore, continuous sign language recognition and continuous sign language production are still open research problems; (c) lack of standardized instruments for DSGS assessment; and (d) lack of automatic methods to assess continuous sign productions at both the manual and non-manual level.To achieve the goal of the project, SMILE-II brings together researchers from different fields, namely, sign language linguistics, sign language assessment, sign language technology, and spoken language technology, across four different institutions, namely, the Idiap Research Institute (Martigny, Switzerland), the Interkantonale Hochschule für Heilpädagogik Zürich (HfH), the University of Zurich, and the University of Surrey (UK).The planned research is organized into four interdependent sub-projects:1. Sub-project 1 focuses on continuous DSGS resource creation (including longitudinal DSGS learner data) and linguistic analysis.2. Sub-project 2 focuses on developing methods to extract manual and non-manual information from continuous signing and developing deep learning-based sign language recognition and sign language production approaches.3. Sub-project 3 focuses on developing instruments for sign language assessment aligned to the Common European Framework of Reference for Languages (CEFR).4. Sub-project 4 focuses on tools for automatic sign language assessment based on the data (Sub-project 1), technology (Sub-project 2), and instruments (Sub-project 3).The SMILE-II project will involve not only experienced and internationally known researchers in their respective fields, but also young hearing and Deaf team members. The results of the project are expected to have an impact in the Deaf community beyond DSGS, the sign language linguistics community, the sign language technology community, and the sign language education community.
-