Zamigaj do smartfona. Odpowie sztuczna inteligencja

Mateusz Różański: Rozwój sztucznej inteligencji u wielu osób budzi strach i niepokój, jednak dla dużej części społeczeństwa – zwłaszcza dla osób z niepełnosprawnościami – jest to szansa na radykalną zmianę i poprawę jakości życia. Jak rozumiem, Google może pochwalić się osiągnięciami na tym polu. 

Christopher Patnoe, Lead Accessibility & Disability Innovation, Google: Sztuczna inteligencja stwarza ogromne możliwości wsparcia osób z niepełnosprawnościami, umożliwiając nam personalizację ich doświadczeń.

W jaki dokładnie sposób robią to najnowsze technologie? To, że osoba z niepełnosprawnością może skorzystać z czytnika ekranu czy prostych aplikacji, wiemy od lat. Co nowego wnosi dzisiejsza sztuczna inteligencja?

Dobrym przykładem jest projekt Euphonia, nad którym pracujemy – ma on pomagać osobom z nietypową mową. Wyobraźmy sobie kogoś chorującego na stwardnienie zanikowe boczne (ALS) lub osobę po udarze, której mowa stała się bardzo niewyraźna. Zadaniem aplikacji jest wyłapanie i zrozumienie takiego głosu oraz przekazanie go w czytelnej formie. Dzięki temu taka osoba zyskuje własny głos, może wyrazić siebie i swobodnie rozmawiać z rodziną czy przyjaciółmi. Ale to nie koniec. 

Co masz na myśli?

Przykładem takiej personalizacji jest technologia tłumaczenia języka migowego na tekst, którą niedawno ogłosiliśmy. Zespół Google DeepMind spędził lata nad opracowaniem modelu, który prowadzi pełną interpretację i tłumaczenie języka migowego, wykraczając daleko poza zwykłą transkrypcję. System analizuje układ twarzy oraz ruchy dłoni, co umożliwia przekład w czasie rzeczywistym – bezpośrednio z poziomu Klawiatury Google oraz w aplikacji Live Transcribe.

Projekt powstawał we współpracy z 12 międzynarodowymi organizacjami prowadzonymi przez osoby głuche. Zależy nam, aby oferowane rozwiązania bezpośrednio odpowiadały na ich realne potrzeby. Jej owocem jest również wspólny raport, stanowiący transparentne podsumowanie wykonanej pracy.

Na jakim etapie jest ten projekt?

Obecnie system obsługuje amerykański język migowy (ASL), ale z czasem będziemy dodawać kolejne języki, funkcje i wsparcie dla nowych urządzeń.

To kiedy osoba posługująca się językiem migowym będzie mogła skorzystać z tej funkcji po prostu na swoim smartfonie?

Już dzisiaj. Jest ona natywną funkcją smartfonów z rodziny Pixel 11. Smartfon Pixel 11 trafił na rynek z tą funkcją fabrycznie wbudowaną.

Osoby z niepełnosprawnością słuchu zmagają się z dużym wykluczeniem informacyjnym i są często wypychane z rynku pracy. Jak ta technologia przełoży się na ich możliwości zawodowe?

Jesteśmy na wczesnym etapie – zaczynamy od jednego języka w jednym modelu telefonu. Docelowo chcemy jednak wyjść daleko poza schemat tłumaczenia języka migowego na tekst i w niedalekiej przyszłości zaoferować również przekład mowy na język migowy za pośrednictwem cyfrowych awatarów.

Proszę sobie wyobrazić spotkanie biznesowe na platformie Google Meet lub Microsoft Teams. Ja, jako osoba głucha, migam do kamery, a pozostali uczestnicy odczytują to jako tekst lub słyszą syntezator mowy. Z kolei gdy oni mówią, ja widzę tłumaczenie na język migowy generowane przez awatara. Każdy używa swojego natywnego języka.

Mówiąc obrazowo: czy za jakiś czas osoba głucha wpisze zapytanie do wyszukiwarki, po prostu migając do kamery?

Dziś można już wymigać tekst do klawiatury, jeśli posługujesz się ASL i używasz Pixel 11. Przekaże on zapytanie do wyszukiwarki Google. Za jakiś czas urządzenie będzie potrafiło też przetłumaczyć w drugą stronę – tekst na język migowy.

O tłumaczeniu na język migowy za pomocą awatarów słyszy się już co najmniej od dekady. Kiedy realnie się tego doczekamy?

Nie mogę podać dokładnej daty, ale intensywnie nad tym pracujemy we współpracy ze społecznością osób głuchych. Już dziś na rynku istnieją pewne rozwiązania, ale opierają się one głównie na wcześniej nagranych frazach. My tworzymy system, który działa dynamicznie, w czasie rzeczywistym.

Stajemy przed wieloma wyzwaniami: jak realistyczny musi być awatar? Jak odtworzyć ekspresję? Jak duży ekran jest do tego potrzebny? Myślę, że rozsądnie jest zakładać, że przełom nastąpi w ciągu najbliższych kilku lat.

Język migowy to nie tylko ruchy rąk, ale cała mowa ciała, mimika i swoista gramatyka ekspresji. Jak chcą państwo to uchwycić?

Nasz system odwzorowuje w przestrzeni nie tylko ruchy dłoni, ale również ekspresję twarzy oraz ułożenie całego ciała. Choć nie jesteśmy jeszcze w stanie ująć każdego niuansu, potrafimy już naprawdę wiele.

W Polsce tłumaczki języka migowego na koncertach czy wydarzeniach bywają większą atrakcją niż sami artyści – właśnie ze względu na niezwykłą ekspresję.

I technologia nigdy ich nie zastąpi. AI nie ma na celu wyparcia żywych tłumaczy, ale niesienie pomocy tam, gdzie są oni niedostępni. W wielu krajach na świecie brakuje wykwalifikowanych tłumaczy i to tam nasze narzędzie będzie ogromnym wsparciem.

W języku migowym występują też regionalne dialekty i błędy w komunikacji. Czy AI będzie w stanie – podobnie jak autokorekta w smartfonie – "wygładzać" wypowiedzi i poprawiać błędy migającego?

Sztuczna inteligencja z natury bywa niedoskonała. Będzie miała trudności ze slangiem czy szybką ewolucją języka. Musimy zachować balans: pomagać ludziom w komunikacji, ale nie narzucać im gorsetu i nie odbierać indywidualnej ekspresji. To trudny kompromis, nad którym pracujemy.

W Polsce dużym problemem dla osób głuchych jest też proste bezpieczeństwo – korzystanie z telefonów alarmowych czy odbieranie komunikatów na dworcach. Czy planujecie współpracę z instytucjami państwowymi w tym zakresie?

Europejski Akt o Dostępności (EAA) nakłada nowe wymogi dotyczące komunikacji tekstowej w sytuacjach awaryjnych oraz wdrażania nowoczesnych systemów na dworcach. W miarę jak będą one ewoluować i wchodzić w życie, będziemy też dodawać wsparcie dla tych standardów w naszych platformach.

Przykładem jest technologia Auracast, stworzona z myślą o aparatach słuchowych. Pozwala ona na bezpośrednie nadawanie komunikatów głosowych z nagłośnienia dworcowego prosto do aparatu odbiorcy, bez żadnych pośrednich urządzeń.

Kolejną taką sferą jest kontakt z ochroną zdrowia. Znam przypadki, gdy rolę tłumacza przy przekazywaniu diagnozy o nieuleczalnej chorobie musiało pełnić słyszące dziecko. Czy planują państwo stworzenie dedykowanej aplikacji medycznej dla szpitali i ratowników?

Doskonale rozumiem wagę problemu. Słyszałem o przypadkach podania niewłaściwego leczenia tylko dlatego, że pacjent nie został zrozumiany. Jednak w sprawach medycznych czy finansowych musimy zachować szczególną ostrożność – tam nie ma miejsca na błędy.

Nasz model SL2T stanie się fundamentem dla innych narzędzi, służących codziennej komunikacji. Można go porównać do pierwszego klocka LEGO. Nie jesteśmy ekspertami od medycyny, to do innych firm i start-upów należy nadbudowanie na naszym modelu specjalistycznego kontekstu i terminologii medycznej. W sytuacjach nagłych na SOR-ze, kiedy nie będzie w pobliżu nikogo, kto mógłby tłumaczyć język migowy, z pomocą przyjdzie nasze narzędzie, ale nikt z nas nie chciałby omawiać diagnozy choroby nowotworowej z lekarzem wyłącznie za pośrednictwem automatycznej aplikacji do tłumaczenia.

Miejmy nadzieję, że polskie start-upy medyczne wykorzystają te możliwości i stworzą takie dedykowane aplikacje.

Dokładnie po to tworzymy nasze Centra Dostępności (ADC, Accessibility Discovery Center) – takie jak to, które właśnie otwieramy w Warszawie – aby edukować studentów, naukowców i polityków w zakresie potrzeb osób z niepełnosprawnościami oraz pokazywać, jak AI może rozwiązywać ich realne problemy. W praktyce ADC to takie specjalne laboratorium i showroom, w którym można dotknąć technologii, porozmawiać z ekspertami i lepiej zrozumieć cyfrowe oraz fizyczne bariery. Gdy centrum ruszy pełną parą, otworzymy możliwość zapisywania się na wizyty, aby każdy mógł do nas przyjść, osobiście wypróbować te rozwiązania i porozmawiać o tym, jak budować bardziej dostępny świat.