Alle Depeschen

DepescheModelleneu

SL2T: DeepMinds Gebärdensprach-Modell geht in Gboard und Live Transcribe – mit einer Liste verbotener Einsatzgebiete im Gepäck

Google DeepMind hat am 12. August 2026 SL2T 1.0 vorgestellt, ein Modell, das Amerikanische Gebärdensprache in englischen Text übersetzt, und liefert es in zwei Android-Produkten aus: der Tastatur Gboard und der Untertitel-App Live Transcribe, zuerst auf dem Pixel 11. Statt Rohvideo verarbeitet das Modell 2D-Koordinaten von 130 Körperpunkten aus Gesicht, Rumpf und Händen, die per MediaPipe Holistic auf dem Gerät extrahiert werden; das Video wird sofort verworfen, nur die Punktfolge geht an Googles Server. Auf FLEURS-ASL meldet Google zero-shot 70 BLEURT (25 BLEU), „significantly higher than any previously reported score“. Zeitgleich erschien ein gemeinsamer Wirkungsbericht mit dem AI Sign Language Advisory Committee, in dem Google und Verbände der Gehörlosen-Community festhalten, wofür das Modell ausdrücklich nicht benutzt werden darf.

Aussagen gegen die Quellen geprüft · 12. August 2026

Die Zahlen aus dem Wirkungsbericht, Tabelle 1: FLEURS-ASL (sd-test, zero-shot) 25 BLEU / 70 BLEURT; FLEURS-ASL einhändig 32 BLEU / 74 BLEURT; PRESTO-ASL (Assistenz-Phrasen von gehörlosen Gebärdenden an ein Tablet) 67 BLEU / 85 BLEURT; FSboard (Fingeralphabet vom Smartphone) 64 Prozent exakte Übereinstimmung. FLEURS-ASL ist die von zertifizierten gehörlosen Dolmetschern unter Studiobedingungen in ASL übersetzte Fassung des FLEURS-Datensatzes; der Inhalt ist nach Beschreibung des Berichts „complicated, abstract language“. Trainiert wurde laut Blog auf über 100.000 Stunden Material aus mehr als 50 Gebärdensprachen, davon etwa ein Viertel ASL – ausgeliefert wird zunächst nur ASL zu Englisch für den US-Markt.

Die Architektur ist der eigentliche Kniff und zugleich die Quelle der Grenzen: Ein transformerbasiertes Netz liest die Landmarken-Folge und erzeugt autoregressiv Text. Der Bericht benennt selbst, was diese Abstraktion wegwirft – MediaPipe Holistic verfolgt keine Punkte auf der Zunge, obwohl sie in ASL ein wichtiger Artikulator ist; die Umgebung des Gebärdenden wird nicht erfasst, sodass Verweise auf Dinge im Raum fehlen; ohne Tiefeninformation ist Berührung schwer von Schweben zu unterscheiden. Dafür ist die Darstellung bandbreitensparsam und datenschutzfreundlich: Aussehen und Umgebung werden durch abstrakte Koordinaten ersetzt, und es werden „no logs of user inputs or system outputs“ auf Googles Seite behalten, sofern der Nutzer nicht ausdrücklich einer Evaluationsstudie zustimmt.

Die ausdrücklich verbotenen Einsatzgebiete stehen als Liste im Bericht: Gesundheitswesen (klinische Gespräche, Triage, Rettungsdienst, psychotherapeutische Beratung, Einwilligungserklärungen), Justiz und Polizei (Vernehmungen, Gerichtsverhandlungen, Zeugenaussagen, Mandantengespräche, eidesstattliche Erklärungen), schulische und akademische Bewertung samt Förderplan-Gesprächen und dem Ersatz von Klassendolmetschern, arbeitsrechtliche Vorgänge (Bewerbungsgespräche, Disziplinar- und Beurteilungsgespräche, förmliche Beschwerden) sowie Verwaltungsverfahren und Leistungsentscheidungen. Als vorgesehene Fälle nennt der Bericht Suche und Navigation, Assistenz-Anfragen, Nachrichten- und Notizentwürfe sowie kurze Alltagsgespräche am Tresen. Gestaltungsprinzip ist „Active Signer Involvement“: Der Text erscheint erst als Entwurf, ist vor dem Absenden korrigierbar, und in Live Transcribe entscheidet die gebärdende Person selbst, wann er dem Gegenüber gezeigt wird. Der Bericht schreibt dazu auch die Voraussetzung hin, die das Sicherheitsnetz trägt – funktionale Englisch-Lesekompetenz und Bediensicherheit; fehlen sie, bleiben Fehler unbemerkt.

⚠️ Die offenen Fehler, wie der Bericht sie selbst führt: Als zweites P0-Problem nennt er systematische Zahlendreher – die Vorwahl 207 des US-Staats Maine wurde regelmäßig als 2007 transkribiert. Als P1 stehen Halluzinationen (erfundener Text, wenn eine zweite Person ins Bild tritt oder die gebärdende Person zum Nachdenken pausiert), das Scheitern an nicht-manuellen Markern – Mimik, Augenbrauen, Kopfschütteln, die in ASL Verneinung und Frage tragen –, unzuverlässig erkannte Regionalvarianten und mehrdeutige Gebärden. Weitere Grenzen: Clips sind auf 60 Sekunden gedeckt, es gibt kein Gedächtnis über Clips hinweg, das System verfolgt nur die größte Person im Bild, und wegen Datenschutzauflagen wurde weder auf noch mit Gebärdenden unter 18 Jahren trainiert oder förmlich evaluiert. Die Bewertung der Beiratsmitglieder erfolgte im Juli 2026 an einem Vorabstand; die Auslieferungsfassung soll in mehreren dieser Punkte besser sein.

Zur Einordnung der Quellenlage: Beide Dokumente stammen von Google beziehungsweise einem von Google einberufenen Beirat, die Benchmark-Werte sind anbieter-selbstberichtet und bislang von niemandem unabhängig nachgemessen. Der Beirat ist allerdings nicht anonym – als Mitautoren zeichnen Sean Forbes (Deaf Professional Arts Network), Nicholas Kiego (National Association of the Deaf), Gary Behm und Joseph Riggio (RIT/NTID), Yauheni Koraneu und John Moore (World Federation of the Deaf) sowie Regan Thibodeau als unabhängige Fachperson. Offene Gewichte gibt es nicht; der Bericht nennt programmatischen Zugang über Google-Cloud-Schnittstellen und eine mögliche Veröffentlichung offener Gewichte („such as SignGemma“) als Prüfoptionen, ohne Termin.