Project

Back to overview

Machine Translation and Animation Assessment for Swiss German Sign Language

English title Machine Translation and Animation Assessment for Swiss German Sign Language
Applicant Ebling Sarah
Number 155263
Funding scheme Doc.Mobility
Research institution Dept. of Information Sciences & Technologies College of Computing & Information Sciences Rochester Institute of Technology
Institution of higher education Institution abroad - IACH
Main discipline Other languages and literature
Start/End 01.02.2015 - 31.08.2015
Show all

All Disciplines (2)

Discipline
Other languages and literature
Information Technology

Keywords (3)

machine translation; avatars; sign languages

Lay Summary (German)

Lead
Gebärdensprachen sind vollständige linguistische Systeme. Das Forschungsprojekt beschäftigt sich mit der Deutschschweizerischen Gebärdensprache und ist in zwei Teile gegliedert: Der erste Teil befasst sich mit der Verbesserung von maschineller (d.h. automatischer) Übersetzung in Gebärdensprache. Im zweiten Teil des Projekts werden zwei Studien durchgeführt, in denen die Verständlichkeit und Akzeptanz eines Gebärdensprach-Avatars (d.h. eines virtuellen Gebärdenden) untersucht wird.
Lay summary

Inhalt und Ziel des Forschungsprojekts

Das Projekt ist in zwei Teile gegliedert. Der erste Teil befasst sich mit der Verbesserung von maschineller (d.h. automatischer) Übersetzung in Gebärdensprache anhand des Beispiels der Deutschschweizerischen Gebärdensprache. In Gebärdensprachen spielen neben der manuellen Aktivität (d.h. dem, was mit den Händen ausgedrückt wird) die nicht-manuellen Komponenten (z.B. Schulter- und Kopfbewegungen, Blickrichtung oder Augenöffnung) eine wichtige Rolle. Das vorliegende Projekt untersucht, wie nicht-manuelle Komponenten in die Ausgabe eines maschinellen Übersetzungssystems einbezogen werden können.

Der zweite Teil des Projekts gilt der Evaluation von Gebärdensprach-Avataren (virtuellen Gebärdenden). Gebärdensprach-Avatare haben den Vorteil, dass sie anonyme Repräsentationen von Gebärdenden sind. Automatisch animierte Gebärdensprach-Avatare können darüber hinaus dynamische Inhalte wiedergeben, z.B. die Ausgabe eines maschinellen Übersetzungssystems, den Inhalt eines Gebärdensprach-Wikis oder regelmässig aktualisierte Online-Informationen. Im Zusammenhang mit Gebärdensprach-Avataren sind zwei Aspekte von Bedeutung: 1.) die Akzeptanz des Avatars; 2.) die Verständlichkeit des Inhalts der vom Avatar gebärdeten Sequenz. Im Rahmen des Projekts werden zwei Studien durchgeführt, in denen die Verständlichkeit und Akzeptanz eines Avatars für die Deutschschweizerische Gebärdensprache untersucht wird.

 

Wissenschaftlicher und gesellschaftlicher Kontext

Gehörlose Menschen stossen im Alltag immer wieder auf Barrieren. Das vorliegende Projekt trägt zur noch jungen Forschung zur automatischen Gebärdensprachverarbeitung bei, insbesondere in den Bereichen maschinelle Übersetzung in Gebärdensprache und Gebärdensprach-Avatare. Durch Fortschritte in den Forschung zu diesen beiden Bereichen kann der Zugang gehörloser Menschen zur Informationsgesellschaft verbessert werden.

Direct link to Lay Summary Last update: 16.07.2014

Responsible applicant and co-applicants

Publications

Publication
Bridging the gap between sign language machine translation and sign language animation using sequence classification
Sarah Ebling Matt Huenerfauth, Bridging the gap between sign language machine translation and sign language animation using sequence classification, -, peer-reviewed submission to workshop, but no proceedings volume.
Demographic and Experiential Factors Influencing Acceptance of Sign Language Animation by Deaf Users
Hernisa Kacorri Matt Huenerfauth Sarah Ebling Kasmira Patel Mackenzie Willard, Demographic and Experiential Factors Influencing Acceptance of Sign Language Animation by Deaf Users, in Proceedings of the 17th International ACM SIGACCESS Conference on Computers and Accessibility, Lisbon, PortugalACM, New York, NY, USA.
Synthesizing the finger alphabet of Swiss German Sign Language and evaluating the comprehensibility of the resulting animations
Sarah Ebling Rosalee Wolfe Jerry Schnepp Souad Baowidan John McDonald Robyn Moncrief et al., Synthesizing the finger alphabet of Swiss German Sign Language and evaluating the comprehensibility of the resulting animations, -, peer-reviewed submission to workshop, but no proceedings volume.

Collaboration

Group / person Country
Types of collaboration
Jerry Schnepp, Bowling Green State University United States of America (North America)
- in-depth/constructive exchanges on approaches, methods or results
- Publication
Raja Kushalnagar, National Technical Institute for the Deaf, Rochester Institute of Technology United States of America (North America)
- in-depth/constructive exchanges on approaches, methods or results
Pierrette Bouillon and Emmanuel Rayner, University of Geneva Switzerland (Europe)
- in-depth/constructive exchanges on approaches, methods or results
- Publication
Geoffrey Poor, National Technical Institute for the Deaf, Rochester Institute of Technology United States of America (North America)
- in-depth/constructive exchanges on approaches, methods or results

Scientific events

Active participation

Title Type of contribution Title of article or contribution Date Place Persons involved
Lecture "Language Technology" Individual talk Sign Language Machine Translation 30.04.2015 Rochester Institute of Technology, Rochester NY, USA, United States of America Ebling Sarah;
Computational Linguistics & Speech Processing Lab meeting Individual talk Translating German Train Announcements into Swiss German Sign Language 21.04.2015 Rochester Institute of Technology, Rochester NY, USA, United States of America Ebling Sarah;
Research colloquium on Language, Cognition, and Computation Individual talk Automatic processing of Swiss German Sign Language 20.02.2015 University of Chicago, Chicago IL, USA, United States of America Ebling Sarah;
School of Computing Research Colloquium Individual talk Automatic Translation of German Train Announcements into Swiss German Sign Language 13.02.2015 DePaul University, Chicago IL, USA, United States of America Ebling Sarah;


Associated projects

Number Title Start Funding scheme
147154 Gaze and Productive Signing in a Corpus of Interactions of Deaf and Hard of Hearing Signers of Swiss German Sign Language (DSGS) 01.10.2013 Project funding (Div. I-III)

Abstract

I propose a two-part project dealing with Swiss German Sign Language. The first part involves sign language machine translation, the second sign language animation assessment, i.e., the evaluation of virtual signers, or "avatars". The project is embedded into my PhD project "Trainslate", where, together with two Deaf researchers, I am building a system that automatically translates German train announcements of the Swiss Federal Railways into Swiss German Sign Language. The final output of our system is an avatar that signs the train announcements in real time on a mobile phone. The research questions I propose to investigate during my stay abroad are:R1.1 (sign language machine translation): How can non-manual features be included in the final output of a sign language machine translation system? R2.1 (sign language animation assessment): What is the best design of a user evaluation study that will assess the comprehensibility of a DSGS avatar signing train announcements?R2.2 (sign language animation assessment): What is the best design of an online survey that will assess both the acceptance and comprehensibility of a DSGS avatar signing train announcements?
-