Google DeepMind wprowadza tłumaczenie języka migowego na tekst w smartfonach Pixel 11. To wielka rzecz

Google DeepMind ogłosiło wdrożenie nowego modelu sztucznej inteligencji o nazwie SL2T, który w czasie rzeczywistym przetwarza język migowy na tekst pisany.

Funkcja została bezpośrednio zintegrowana z systemową klawiaturą Gboard oraz aplikacją Live Transcribe i początkowo trafi do najnowszych smartfonów Pixel 11. Rozwiązanie to pozwala na swobodne "dyktowanie" tekstu wszędzie tam, gdzie dotychczas wprowadzano go ręcznie - od wyszukiwarki i edytorów tekstu po komunikatory internetowe oraz interakcje z asystentem Gemini. Korzystanie z funkcji jest bezpłatne.

Jednym z najistotniejszych aspektów wprowadzanej nowości jest kwestia prywatności. Procesor w smartfonie wykorzystuje technologię MediaPipe Holistic, która działa w całości lokalnie na urządzeniu. Oznacza to, że nagrywany obraz nigdy nie opuszcza telefonu i nie trafia na serwery producenta. System analizuje pozycję rąk, ramion, głowy i mimiki twarzy, zamieniając je na czyste współrzędne matematyczne (tzw. punkty na ciele). Dopiero te zanonimizowane dane trafiają do chmury w celu wykonania samej translacji na tekst, a surowe nagranie wideo jest natychmiast usuwane z pamięci.

Model SL2T zrezygnował z wcześniejszych podejść badawczych, które opierały się na uproszczonym zapisie poszczególnych znaków (tzw. glosach). Taka metoda pomijała kluczowe cechy języka migowego, jak na przykład wyraz twarzy czy użycie przestrzeni wokół mówiącego. Nowy system trenowano na podstawie ponad 100 tysięcy godzin nagrań, wdrażając odpowiednie poprawki dotyczące m.in. opóźnień podczas translacji, obsługi osób leworęcznych oraz sytuacji, w której jedna z dłoni jest zajęta trzymaniem telefonu. W pracach rozwojowych uczestniczyli głusi specjaliści oraz specjalna rada nadzorcza AISLAC.

Nowa usługa znajduje się jeszcze na relatywnie wczesnym etapie wdrażania i posiada pewne ograniczenia. Na start funkcja wspiera wyłącznie amerykański język migowy (ASL), tłumacząc go na język angielski (brakuje więc obsługi m.in. polskiego języka migowego czy niemieckiego DGS). Google zapowiada wprowadzenie kolejnych regionów oraz udostępnienie technologii na innych urządzeniach, jednak nie podano w tej kwestii żadnych ram czasowych.

Firma przyznaje również, że jakość samych tłumaczeń nie jest bezbłędna. Wśród znanych niedoskonałości wymieniono m.in. błędną interpretację słów przy szybkim literowaniu palcowym (np. mylenie słowa "prey" z "grey"), gubienie kontekstu przy niektórych formach czasowych czy pomijanie bogatszych opisów obrazowych. Na ten moment z nowości skorzystają wyłącznie nabywcy modeli z serii Pixel 11. Starsze urządzenia, jak chociażby zeszłoroczny Pixel 10 Pro, na razie nie otrzymają stosownej aktualizacji.