Navigation auf uzh.ch
Navigation auf uzh.ch
Das SMILE-II-Team an der UZH und HfH besteht aus den folgenden Personen, die sehr eng zusammenarbeiten:
· Alessia Battisti, UZH (Vorstellungsvideo)
· Sarah Ebling, UZH (Vorstellungsvideo)
· Penny Boyes Braem, UZH/HfH
· Tobias Haug, HfH (Vorstellungsvideo)
· Franz Holzknecht, HfH (Vorstellungsvideo)
· Regula Perrollaz, HfH (Vorstellungsvideo)
· Sandra Sidler-Miserez, HfH (Vorstellungsvideo)
· Katja Tissi, HfH (Vorstellungsvideo)
Basierend auf einem Konzept unserer Projektpartner an der University of Surrey (GB) haben wir an der UZH ein Studio eingerichtet, das die Erhebung von Gebärdensprachdaten (Videos) ermöglicht. Das Studiosetting ist so konzipiert, dass damit sowohl wertvolle Daten für die Computer Vision (hier: Gebärdenspracherkennung) als auch für die Gebärdensprachlinguistik gewonnen werden können.
Die Aufnahmesoftware steuert und synchronisiert fünf Kameras gleichzeitig, sodass die Kameras Bilder aus fünf verschiedenen Perspektiven gleichzeitig aufnehmen (Abbildung 1).
Die Kameras sind so zueinander angeordnet, dass davon im Anschluss 3D-Daten erstellt werden können (Abbildung 2). Ausserdem erlaubt die Anordnung der Kameras das Überprüfen linguistisch relevanter Merkmale, z.B. Vorhandensein oder Fehlen von Kontakt der Hand mit dem Körper.
Im Rahmen des SMILE-II-Projekts haben wir nun die Hälfte der Datenerhebungen hinter uns. Wie in der letzten Ausgabe des Newsletters erläutert, erfordern die Deep-Learning-Modelle, die dem automatischen Bewertungssystem zugrunde liegen, eine grosse Datenmenge. Ein Teil des Projekts umfasst daher die Erstellung einer Datensammlung, eines sogenannten Korpus, von kontinuierlichen Gebärden, die von erwachsenen DSGS-Lernenden oder Muttersprachler:innen produziert wurden. Das Ziel dieser Datenerhebung ist es, Informationen zu natürlichen Variationen in der Ausführung von Gebärden zu erhalten.
Die Datenerhebung erstreckt sich über vier Phasen im Abstand von sechs Monaten und findet in einem an der Universität eingerichteten Studio statt (s. oben). Die erste Phase dauerte von Ende März bis Anfang Mai 2022, während die zweite Phase zwischen September und Oktober 2022 lief.
Die Experimente führen in beiden Phasen insgesamt 34 Teilnehmende in zwei Gruppen durch. Zu der ersten Gruppe, der L2-Gruppe, gehören Studierende des BA-Studienganges Gebärdensprachdolmetschen an der HfH sowie Teilnehmer:innen der öffentlichen DSGS-Kurse, wie z.B. der Migros-Klubschule. Die zweite Gruppe, die L1-Gruppe, besteht aus Muttersprachler:innen und fungiert als Kontrollgruppe für die Datenerhebung und Datenanalyse und liefert Referenzdaten für das Bewertungssystem.
In jeder Phase der Datenerhebung führen die Teilnehmenden sechs Übungen durch, bei denen sie kontinuierliche Gebärden – Sätze in Gebärdensprache – produzieren sollen, nachdem sie einen Input wie ein Bild oder ein kurzes Video ohne Audio erhalten haben. Die Übungen sind an das Sprachniveau der Teilnehmenden angepasst und wurden so konzipiert bzw. ausgewählt, dass die Teilnehmenden möglichst viele nicht-manuelle Merkmale (Mimik u.ä.) produzieren.
Bisher haben sich alle Teilnehmenden positiv zu den Experimenten geäussert und fanden die Übungen interessant sowie eine gute Möglichkeit, die DSGS zu üben und über die unterschiedlichen linguistischen Aspekte nachzudenken.
Wir bemühen uns ständig um neue Teilnehmende, da eine grössere Anzahl von Teilnehmenden zu genaueren Ergebnissen führt. Wenn Sie daran interessiert sind, durch die Teilnahme an Experimenten zu unserem Korpus beizutragen, schreiben Sie bitte an diese E-Mail-Adresse oder kontaktieren Sie uns über Twitter (DSGS_Research).
