Vom Text in die Finger

Kann KI Informationen in Gebärdensprache übersetzen?

Stand
Autor/in
Patrisha Walters
Profilbild SWR Volontärin Patrisha Walters

Immer mehr Kommunen veröffentlichen Videos eines KI-Avatars auf ihrer Webseite. Dieser soll mit KI Texte in Gebärdensprache übersetzen. Die Gehörlosen-Community sieht das kritisch.

Der Avatar hat sehr kurze braune Haare, helle Haut und trägt ein schwarzes Oberteil. Sein Name ist "Livian" und er soll Texte auf städtischen Webseiten in die Deutsche Gebärdensprache übersetzen.

Viele Kommunen möchten einen Avatar, der Gebärdensprache spricht

Bis jetzt haben sich 81 Städte bundesweit dafür registriert, den Gebärdensprach-Avatar zu verwenden. 23 davon sind in Baden-Württemberg.

Die Texte der Webseiten werden in einzelne Abschnitte unterteilt, die der Avatar dann in Gebärdensprache wiedergibt. Bis jetzt sind das oft nur eine "Erklärung zur Barrierfreiheit" und ein Erklärungsvideo zum Datenschutz. Weitere inhaltliche Videos sollen laut Geschäftsführer Alexander Stricker folgen.

Gebärdendarstellerin leiht dem Avatar ihre Gestik und Mimik

Damit das klappt, lernt der KI-Avatar jede Woche Gebärdensprache. Zum Beispiel von Gebärdendarstellerin Christina Schäfer.

Zuerst übersetzt Christina die Texte, die auf der Webseite erscheinen müssen in die Deutsche Gebärdensprache. Denn die hat eine ganze andere Grammatik als die deutsche Lautsprache.

Avatare & Co. – Mehr digitale Teilhabe für Gehörlose durch Künstliche Intelligenz?

Der Film zeigt Visionen einer modernen, digitalen Welt mit künstlicher Intelligenz auch für gehörlose Menschen. Kann das Wirklichkeit werden?

Planet Schule: Avatare & Co. - Mehr digitale Teilhabe durch Künstliche Intelligenz? WDR Fernsehen

Am ganzen Körper trägt sie Sensoren und spezielle Handschuhe, die später ihre Bewegungen in ein Computerprogramm übertragen.

Sie stellt sich vor ein Gerüst mit einem Bildschirm, der den Text vorgibt. Mit einem speziellen Computerprogramm wird dabei ihre Mimik erfasst. Auf sie zeigen Kameras und viele, helle Scheinwerfer. Darunter kann es schon mal sehr warm werden.

Am Anfang war das für mich eine ganz schöne Umstellung und ich bin auch immer ganz schnell müde geworden davon.

KI-Avatar macht noch Fehler bei Übersetzung von Gebärdensprache

Das Computerprogramm erkennt zwar die Bewegungen, kann sie aber nicht immer genau auf den KI-Avatar übertragen. Einige Gebärden müssen nachbearbeitet werden. Dabei dienen die fünf Kameras, die Christinas Bewegungen aus verschiedenen Perspektiven aufgezeichnet haben als Referenz.

Texte mit KI übersetzen in Gebärdensprache: Gebärdendarstellerin Christina Schäfer wird für die Nachbearbeitung des KI Avatars von fünf Kameras beobachtet.
Gebärdendarstellerin Christina Schäfer ist die Vorlage für einen Avatar, der Gebärdensprache spricht.

Wenn die KI eine Bewegung oft genug gemacht hat, erkennt sie das Muster und kann der Gebärde ihre Übersetzung in Lautsprache zuordnen. Langfristig soll ein KI-Avatar automatisch Texte in Gebärdensprache übersetzen. Damit das flüssig funktioniert, muss die KI aber erst noch viele Gebärden wiederholen.

Texte übersetzen in Gebärdensprache: Gehörlosenverbände raten von KI-Avatar ab

Doch gerade Betroffene sehen den Avatar kritisch. Am 14. Februar veröffentlichte das Kompetenzzentrum Gebärdensprache Bayern e.V eine zweite kritische Stellungnahme gegenüber des KI-Avatars.

In der Stellungnahme heißt es: "Das Mundbild ist oft fehlerhaft, die Ausführungen der Handbewegungen sind nicht korrekt, vieles wirkt zusammengestoppelt und erschwert das Verständnis erheblich.". Außerdem sei kein qualifiziertes Personal bei der Aufnahme und der Qualitätskontrolle eingesetzt worden.

Das Statement folgt auf eine 11-seitige Stellungnahme von November 2023.

Avatare für Gebärdensprache könnten für Bahnhofsdurchsagen genutzt werden

Der Einsatz von Gebärdensprach-Avataren wird aber nicht gänzlich abgelehnt. Für kurze Informationen, wie in Gebärdensprache übersetzte Bahnhofsdurchsagen könnten Avatare eingesetzt werden, heißt es in beiden Veröffentlichungen.

In einer Stellungnahme einiger Gehörlosen-Dachverbände vom 20. Februar begrüßen die Verbände sogar die Forschung an "automatisierter Gebärdensprach-Übersetzung".

Durch sie kann die Barrierefreiheit von gehörlosen Menschen vergrößert werden und gehörlose Menschen können durch sie Zugang zu Informationen in Gebärdensprache erhalten [...].

Die derzeit auf einigen Webseiten veröffentlichten Gebärdensprach-Avatare seien allerdings "zum großen Teil nicht verständlich, genügen translatorischen Anforderungen nicht [...]".

Gehörlosen-Community muss in die Entwicklung einbezogen werden

Auch für Bogumila Jahns vom Landesverband der Gehörlosen Baden-Württemberg sind qualitative Mängel am KI-Avatar offensichtlich. Um die zu vermeiden, ist es für sie eine Voraussetzung, dass Gehörlose von Beginn an in solche Projekte einbezogen werden.

Soll die Barriere verschwinden, braucht es auch Zusammenarbeit mit den Menschen, die diese Barriere haben. Dort sind die Lösung und Ideen zu finden.

Geschäftsführer des Avatar-Projekts wünscht sich Zusammenarbeit

Gegenüber dem SWR betont Geschäftsführer Alexander Stricker, dass sowohl die Projektpartnerunternehmen als auch die Charamel GmbH gehörlose Mitarbeitende hätte, die in verschiedenen Produktionsprozessen eingebunden seien.

Wir haben jetzt nicht einfach irgendeine Lösung entwickelt, um ein Video zu produzieren, was dann auf einer Seite ist. Nein, diese Videos werden sukzessive auch optimiert.

Die Stellungnahme des Kompentenzzentrums für Gehörlose Bayern könne er sich nur damit erklären, dass die Kommunikation seitens der Firma diesbezüglich nicht transparent und gut genug gewesen sei.

Für die weitere Entwicklung des Projekts würde sich das Unternehmen deshalb eine Zusammenarbeit mit der Gehörlosen-Community wünschen und das Gespräch suchen.

Laufendes Projekt BIGEKO soll bidirektionale Kommunikation möglich machen

Derzeit betreibt die Firma Recherche für das laufende Projekt BIGEKO. Das Projekt soll hauptsächlich eine Kommunikation in Notfallsituationen möglich machen.

Zurück zur Hauptseite

Mehr Inklusion

Künstliche Intelligenz Durch KI geförderte digitale Inklusion

Die digitale Welt ist oft nicht für Menschen mit Seh- oder Hörbehinderungen ausgelegt. Zwar kann Künstliche Intelligenz helfen – aber sie kann auch kontraproduktiv sein.
Ralf Caspary im Gespräch mit Casey Kreer, Expertin für digitale Barrierefreiheit

SWR2 Impuls SWR2