Maschinelle Übersetzung von deutschsprachigen Zugansagen in die Deutschschweizerische Gebärdensprache

Im Projekt Trainslate (=Train+Translate) entwickeln wir ein System zur automatischen Übersetzung von deutschsprachigen Zugansagen der Schweizerischen Bundesbahnen (SBB) in die Deutschschweizerische Gebärdensprache (DSGS). Die Idee zu diesem System wurde von Gehörlosen in der Schweiz an uns herangetragen.

Auf der zielsprachlichen Seite werden die Zugansagen im Hamburger Notationssystem für Gebärdensprachen (HamNoSys) (Prillwitz et al., 1989) dargestellt. Zu HamNoSys existiert eine XML-Repräsentation (Signing Gesture Markup Language, SiGML) (Elliott et al., 2000), die verwendet wird, um eine automatisch gebärdende Figur im Computer („Avatar“) zu steuern.

Der Avatar zu unserem System wird in einer Smartphone-Applikation ausgegeben. Der zugehörige deutschsprachige Text wird als Untertitel eingeblendet. Die Ansagen bleiben für eine bestimmte Zeit abrufbar, können also nach Wunsch vom Benutzer/von der Benutzerin erneut abgespielt werden. Die Applikation richtet sich damit an gehörlose und hörbehinderte Personen auf der einen Seite sowie an hörende Personen, die eine Replay-Funktionalität für Zugansagen wünschen, auf der anderen Seite.

Das System ordnet sich ein in Bemühungen um Barrierefreiheit. Es leistet damit einen Beitrag zur Umsetzung des Bundesgesetzes über die Beseitigung von Benachteiligungen von Menschen mit Behinderungen (Behindertengleichstellungsgesetz, BehiG 2004).

Wir haben von den SBB Datenmaterial zur Verfügung gestellt bekommen. Nachfolgend ist ein Beispiel einer Zugansage abgedruckt:

Ausfallmeldung zum RegioExpress nach Olten. Der RegioExpress nach Olten, Abfahrt um 6 Uhr 41, fällt aus.

Wir greifen für unser System auf ein bereits bestehendes DSGS-Lexikon zurück. Es wird seit 1996 von Penny Boyes Braem, Leiterin des Forschungszentrums für Gebärdensprache (FZG), aufgebaut und umfasst momentan zirka 9000 Gebärden.

Das Projekt Trainslate ist in drei Phasen eingeteilt:

1. In einer ersten Phase wird eine festgelegte Anzahl von Zugansagen in die DSGS übersetzt. Dazu sind zwei Schritte notwendig:
   • Zugansagen gebärden, auf Video aufnehmen
   • Gebärdenvideos in HamNoSys notieren
2. In dieser Phase wird das Übersetzungssystem entwickelt. Es werden statistische Methoden angewendet. Unser Institut verfügt über langjährige Expertise im Bereich statistische maschinelle Übersetzung.
3. In dieser Phase wird die Smartphone-Applikation entwickelt.

Projektleiter:

• Martin Volk

Forschende:

• Sarah Ebling

Penny Boyes Braem. A multimedia bilingual database for the lexicon of Swiss German Sign Language. Sign Language & Linguistics, 4:133–143, 2001.

R. Elliott, J. R. W. Glauert, J. R. Kennaway, and I. Marshall. The development of language processing support for the ViSiCAST project. In Proceedings of the Fourth International ACM Conference on Assistive Technologies, Assets'00, pages 101–108, Arlington, Virginia, United States, 2000. ACM.

Siegmund Prillwitz, Regina Leven, Heiko Zienert, Thomas Hanke, and Jan Henning. HamNoSys: Version 2.0: Hamburger Notationssystem für Gebärdensprachen: eine Einführung. Signum, Hamburg, 1989.