Project Soli & the Coming Use of Radar in Human-Machine Interfaces

Radar to 85 — letnia technologia, która do niedawna nie była aktywnie wdrażana w interfejsach człowiek-maszyna. Wykrywanie gestów oparte na radarze pozwala wywnioskować intencje użytkownika w większej liczbie kontekstów niż obecnie pozwala na to śledzenie oparte tylko na optyce.

wykorzystanie przez Google projektu Soli, radarowego systemu rozpoznawania gestów, w telefonach z serii Pixel 4 jest najprawdopodobniej pierwszym krokiem do dalszego przyjęcia radaru jako wejścia do interakcji z naszymi urządzeniami.

kontekst projektu Soli

na Google I/O 2015 grupa ATAP (Advanced Technology and Projects) ogłosiła kilka nowych inicjatyw. Należą do nich:

• Project Abacus — wieloskładnikowe uwierzytelnianie użytkownika na podstawie lokalizacji użytkownika, wzorców pisania i wzorców głosu
• Project Vault-bezpieczne środowisko obliczeniowe na karcie MicroSD, dla dowolnej platformy
• Project Jacquard — przewodząca nić osadzona w masowo wytwarzanych tkaninach do tworzenia interakcji opartych na noszeniu
• Project Soli — mały czujnik radarowy zdolny do mikro-i mikro-i wykrywanie gestów

spośród nich żakard i soli są nadal aktywne — żakard został zintegrowany z różnymi produktami konsumenckimi z modą etykiety takie jak Levi ’ s, Saint Laurant i Adidas.

po przejściu kilku prototypowych iteracji, Google zintegrował Soli z Pixel 4 jako część funkcji Motion Sense, która pozwala telefonowi rozpocząć proces uwierzytelniania twarzy, zanim właściciel telefonu będzie musiał dotknąć telefonu.

krótko po ogłoszeniu na I/O, ATAP wystosowało wezwanie do programistów zewnętrznych, aby ubiegali się o Alpha Developer program dla projektu Soli, jako sposób na uzyskanie opinii na temat ich zestawu programistycznego na wczesnym etapie. Wypełniłem aplikację do rozwijania muzycznych interakcji z Soli i zostałem przyjęty do programu.

więcej o moich doświadczeniach jako członka programu alpha developer tutaj; to, co chciałem zrobić z tym wpisem na blogu, to przedstawić bardziej przegląd możliwości radaru z falą milimetrową i w jaki sposób umożliwiają one pewne nowe doświadczenia i eksperymenty w dziedzinie interakcji człowiek-komputer.

od czasu ogłoszenia projektu Soli napisano kilka prac naukowych dotyczących tego obszaru, więc przyjrzymy się tym; a także szybkiemu przeglądowi tego, czym jest radar o falach milimetrowych i jakie właściwości daje ten radar.

najpierw jednak przyjrzyjmy się pierwszemu komercyjnemu produktowi wykorzystującemu Project Soli, Pixel 4.

pierwszym komercyjnym produktem integrującym projekt Soli jest Pixel4, wydany przez Google w październiku 2019 r.

teaser-ad zasugerował, że nowy telefon będzie pierwszym produktem integrującym się z Soli; biorąc pod uwagę bezdotykowe gesty powietrza pokazane w nim:

układ Soli zapewnia trzy nowe rodzaje możliwości Pixel 4:

obecność-dzięki zdolności radaru do wykrywania ruchu w pobliżu miejsca, w którym jest umieszczony, Pixel 4 wyłączy wyświetlacz zawsze włączony, jeśli użytkownik telefonu nie jest w pobliżu, gdy jest umieszczony na stole; dzięki temu może zarówno oszczędzać energię baterii, jak i nie przeszkadzać użytkownikowi

Reach – Czujnik Soli wykryje, czy ręka porusza się w jego kierunku;

gesty

• Flick
• obecność
• zasięg
• Przesuń

9 do 5 Google zrobił analizę gry Pokemon Wave Hello, która jest dostarczana w pakiecie z telefonami Pixel 4, i odkrył wtyczkę Unity w grze, która połączyła się z aplikacją” Motion Sense Bridge ” działającą na telefonie, która dała twórcom gry dostęp do różnych parametrów gestów:

Flick

• flickConfidence
• flickDirection
• flickPrediction
• flickRange
• flickVelocity

Presence

• presenceconfidence
• presenceprediction
• presencerange
• presencevelocity

reach

• reachazimuth
• Reachconfidence
• reachelevation
• reachprediction
• reachrange
• reachvelocity

swipe

• swipeamplitude
• swipeconfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

w tej chwili Programiści innych firm nie mają dostępu do gestów MotionSense, chyba że otrzymali dostęp do wewnętrznej aplikacji MotionSense Bridge na Androida od Google. Miejmy nadzieję, że Google otworzy pełny dostęp do czujnika Soli, aby programiści mogli zbadać, w jaki sposób mogą korzystać z funkcji rozpoznawania gestów, które zapewnia w nowy i innowacyjny sposób.

wyzwania związane z tworzeniem Szkolenia Zestaw danych do rozpoznawania gestów w oparciu o Radar

w poście na blogu Google AI inżynierowie Google ATAP opisują niektóre wyzwania i kwestie związane z osadzaniem radaru w smartfonie, takie jak uczynienie chipu radarowego małym i wystarczająco modułowym, aby zmieścił się w górnej części telefonu, dodając filtry uwzględniające szum wibracyjny, który pojawia się, gdy radar muzyka jest odtwarzana z telefonu, a algorytmy uczenia maszynowego, które są w stanie działać na niskim poziomie mocy.

jednym z wyzwań związanych z tworzeniem solidnego modelu uczenia maszynowego, zwłaszcza takiego, który znajdzie się w urządzeniu w rękach milionów konsumentów, jest upewnienie się, że model jest w stanie dokładnie przewidzieć gest w szerokiej i zróżnicowanej populacji użytkowników. Na poziomie semantycznym ludziom łatwo jest odróżnić, czym jest gest machnięcia lub ruchu. Ponieważ jednak każda osoba wykonuje te gesty w nieco inny sposób poprzez różnice w szybkości, kącie ręki, długości gestu, model uczenia maszynowego do wnioskowania, który gest występuje, musi być wystarczająco solidny, aby móc poprawnie wnioskować gest użytkownika niezależnie od tych różnic.

aby upewnić się, że ich modele są dokładne, zespół Soli trenował ich model TensorFlow na milionach gestów wykonywanych przez tysiące wolontariuszy. Modele te zostały następnie zoptymalizowane do pracy bezpośrednio na jednostce DSP Pixel 4; włączenie telefonu do rozpoznawania gestów, nawet gdy główny procesor jest wyłączony-czyli jak Pixel 4 jest w stanie wykryć, czy ktoś porusza się w kierunku telefonu za pomocą MotionSense, a następnie włącz Czujniki FaceUnlock, aby odblokować telefon.

Współpraca z Infineon

podczas gdy Google opracowało algorytmy uczenia maszynowego, przetwarzanie sygnałów i wzorce UX do interakcji z Soli, niemiecka firma Infineon opracowała chip radarowy, który jest częścią projektu Soli system. Chociaż można kupić zestawy rozwojowe od Infineon, przesyłają one tylko surowe dane radarowe — nie ma przetworzonych funkcji sygnału, które mogłyby zostać wykorzystane do szkolenia modelu uczenia maszynowego w celu rozpoznawania gestów lub obecności.

w swoim artykule Ssigraph, Soli: wszechobecne Gesture Sensing with Millimeter Wave Radar, autorzy ATAP opisują Hal (Hardware Abstraction Layer) jako zestaw abstrakcji, które pozwoliłyby projektowi Soli pracować na różnych architekturach czujników radarowych różnych producentów. Umożliwiłoby to Google elastyczność korzystania z tego samego zestawu podstawowych funkcji Soli w różnych typach radarów przy zachowaniu tych samych wzorców interakcji wysokiego poziomu.

przykładowe aplikacje z programu Alpha Dev

uczestnicy programu Soli Alpha Dev zostali zachęceni do publikowania naszych prac w publikacjach naukowych; niektórzy członkowie stworzyli również dema do prezentacji na różnych blogach, w tym:

• nowe interfejsy muzyczne (wideo Demo)
• klawiatura gesturalna w powietrzu
• najmniejsze skrzypce na świecie
• używanie Soli do identyfikacji obiektów do sterowania ramieniem robota

Wydział HCI Uniwersytetu St. Andrews wyprodukował solidny zbiór prac jako członkowie programu Alpha Dev, w tym

• Kategoryzacja radarowa do rozpoznawania wejść-autorzy przedstawiają RadarCat, system, który jest w stanie rozróżnić „26 materiałów (w tym złożone obiekty złożone), następnie 16 przezroczystych materiałów (o różnej grubości i różnych barwnikach) i wreszcie 10 części ciała od 6 uczestników”
• namacalny interfejs użytkownika według klasyfikacji obiektów i materiałów z radarem-kontynuując swoją pracę z RadarCat; autorzy opisują również rzeczywiste scenariusze aplikacji, w których system ten mógłby być stosowany, w tym systemy samoobsługowe i inteligentne urządzenia medyczne.
• badanie oddziaływań namacalnych Z Czujnikiem Radarowym-badanie „radar jako platforma do wykrywania oddziaływań namacalnych z liczeniem, porządkowaniem, identyfikacją obiektów oraz śledzeniem orientacji, ruchu i odległości tych obiektów”.

niektóre projekty z programu Alpha Developer zostały zaprezentowane w filmie, który został zaprezentowany w aktualizacji z ATAP podczas wydarzenia I/O W następnym roku (2016):

Google Papers

członkowie Google ATAP opublikowali również artykuły na temat pracy z projektem Soli:

• Soli: wszechobecne wykrywanie gestów za pomocą radaru z falą milimetrową-SIGGRAPH 2016
• wysoce zintegrowany 6-Kanałowy Nadajnik-Odbiornik 60 GHz z anteną w pakiecie do inteligentnego wykrywania i komunikacji bliskiego zasięgu-IEEE 2016
• interakcja z Soli: Odkrywanie drobnoziarnistego dynamicznego rozpoznawania gestów w spektrum częstotliwości radiowych-UIST 2016
• dwukolorowy Czujnik radarowy do jednoczesnego wykrywania odległości bezwzględnej i względnego ruchu do wykrywania gestów-IEEE Sensors Letters 2017

właściwości radaru falowego i jego właściwości

wykrywanie radarowe opiera się na wykrywaniu zmieniających się wzorców ruchu obiektu w przestrzeni. Fale radiowe są transmitowane z radaru, odbijane od celu (ludzka ręka w ruchu), a następnie ponownie odbierane przez anteny radaru. Różnica czasowa między wysyłaniem fal a ich odbieraniem jest używana do tworzenia profilu obiektu znajdującego się na ścieżce radaru.

w przypadku ludzkich gestów ręka przesuwa swoją pozycję w przestrzeni 3D, będąc w linii wzroku czujnika radarowego. Zmiany położenia wytwarzają różne profile odbijanych sygnałów radarowych, umożliwiając wykrywanie różnych gestów.

ponieważ radar wykrywa gesty oparte na różnych właściwościach ruchu, nie nadaje się do wykrywania gestów statycznych, takich jak język migowy lub znak pokoju. Jednak dobrze nadaje się do wykrywania dynamicznych gestów opartych na ruchu, takich jak zatrzask palca lub ruch obrotowy klawisza.

w przeciwieństwie do czujników optycznych, wydajność radaru nie zależy od oświetlenia, może pracować przez Materiały, a nawet wykrywać gesty, które występują, gdy palce mogą się oklasować.

mikro-gesty można zdefiniować jako”interakcje obejmujące małe ilości ruchu i te, które są wykonywane głównie przez mięśnie kierujące palcami i artykulujące nadgarstek, a nie te obejmujące większe grupy mięśni, aby uniknąć zmęczenia w czasie”. Niektóre przykłady tego typu gestów to ruch polegający na wciśnięciu przycisku, dotykając palca wskazującego kciukiem, wykonując ruch suwaka, przesuwając kciuk o powierzchnię palca wskazującego i wykonując ruch podobny do obracania pokrętła palcami i nadgarstkiem.

te gesty mogą być używane w różnych kontekstach (IoT, AR/VR itp.) do interakcji z elementami interfejsu użytkownika.

przyszłe produkty elektroniki użytkowej od Google

Google zdaje się pracować nad integracją Soli z nowymi produktami; ogłoszenie o pracę dla „Intelligence Sensor Algorithms Engineer, Google Nest „wymienia” doświadczenie w pracy z radarem ” jako preferowaną kwalifikację. Jedno z pierwszych demonstracji Soli pokazało radar zintegrowany z inteligentnym głośnikiem firmy JBL; nie byłoby zaskoczeniem, gdyby Soli został zintegrowany z produktem elektroniki użytkowej lub urządzeniem gospodarstwa domowego.

kolejne demo projektu Soli, które Google pokazał podczas tej samej prezentacji, co głośnik JBL kontrolowany przez glebę, było smartwatchem z Soli w środku (Google zgłosił nawet patent na smartwatch oparty na gestach, który można wykorzystać do wideokonferencji).

w scenariuszu, który najprawdopodobniej jest znacznie dalej, Google stwierdził, że oprócz używania czujników takich jak Soli do rozpoznawania gestów, „w przyszłości chcemy tworzyć urządzenia, które mogą zrozumieć język ciała, więc są bardziej intuicyjne w obsłudze i bardziej pomocne”. Chociaż to zależy od spekulacji, co dokładnie może to oznaczać i wyglądać w praktyce, jednym z potencjalnych przypadków użycia jest to, że telefon może wykryć stan emocjonalny ludzi w pobliżu; umożliwiając afektywne interfejsy obliczeniowe. (Bardziej dogłębna dyskusja na temat afektywnych obliczeń wykracza poza zakres tego postu; Zachęcam do przeczytania tej przełomowej pracy Rosalind Picard, która ukuła ten termin, aby uzyskać więcej informacji na ten temat).

przyszłość Ambient Computing Google

w pierwszym opublikowanym artykule dla projektu Soli autorzy (z Google ATAP) wymieniają kilka możliwych obszarów zastosowania:

• Wirtualna Rzeczywistość
• urządzenia do noszenia i inteligentne ubrania
• Internet Rzeczy i kontrolery gier
• „urządzenia tradycyjne” (telefony komórkowe, tablety, laptopy)

gdyby wszystkie te urządzenia miały integrować projekt Soli, Google mogłoby wykorzystać uniwersalny framework gestu, który wszystkie z nich miałyby ze sobą wspólnego. Ułatwiłoby to ludziom szybkie korzystanie z tych nowych urządzeń, a wszystkie interakcje z wachlarzem usług Google.

artykuł Bena Thompsona na temat Stratechery, „Google and Ambient Computing”, analizuje Ostatnie przesunięcie Google od stwierdzenia, że chce pomóc w organizowaniu informacji na świecie, do takiego, który pomaga załatwić sprawy.

w swoich uwagach otwierających na Made by Google 2019, starszy wiceprezes Google ds. urządzeń i usług, Rick Osterloh (który był wcześniej szefem Google ATAP), przedstawia wizję Google jako firmy, która chce „przynieść Ci bardziej pomocne Google.”Sundar Pichai stwierdził w przemówieniu przewodnim 20193 I / o, że” przechodzimy od firmy, która pomaga znaleźć odpowiedzi, do firmy, która pomaga w załatwianiu spraw”.

Ambient Computing został po raz pierwszy ukuty przez dziennikarza Technologicznego Walta Mossberga w jego ostatniej kolumnie, „Znikający komputer”. To ” również określane jako wszechobecne lub wszechobecne computing.

aby dowiedzieć się więcej na ten temat, zapoznaj się z pracą Marka Weisera, głównego naukowca w Xerox PARC, szczególnie z jego naukowym artykułem z 1991 roku „the Computer for the 21st Century”. Weiser ukuł termin wszechobecny komputer, który opisał jako komputer zdolny do wystąpienia przy użyciu „dowolnego urządzenia, w dowolnym miejscu i w dowolnym formacie”.

Thompson podkreśla, że wizja Google dotycząca ambient computing „nie konkuruje ze smartfonem, ale go wykorzystuje”. Google nie próbuje znaleźć, co kolejna platforma sprzętowa jest (jak Facebook robił z nabyciem Oculus dla VR, lub Apple full – on push do AR); ratther, chcą stworzyć ekosystem urządzeń otoczenia, które wszystkie płynnie połączyć (ewentualnie za pomocą smartfona jako koncentratora?) i są intuicyjne w interakcji; wszystkie połączone z usługami świadczonymi przez Google.

ujednolicony sposób interakcji z urządzeniami istniejącymi w różnych kontekstach byłby niezwykle korzystny dla Google w dalszym wdrażaniu ich Wizji przetwarzania otoczenia. Mały, łatwy do osadzenia czujnik, który może wykrywać gesty ludzi niezależnie od oświetlenia lub innych warunków atmosferycznych, znacznie zbliżyłby tę wizję do rzeczywistości. Ułatwiłoby to użytkownikom korzystanie z wielu różnych urządzeń, które oferowałyby dostęp do usług Google.

wskazówki od Apple dotyczące przyjęcia radaru mm-Wave

wraz z niedawną premierą iPada Pro zdolnego do obsługi funkcji AR, Apple wydaje się wykazywać gotowość do wprowadzania czujników o coraz większej złożoności (i użyteczności) do swoich produktów.

dodatkowo Apple wystawiło co najmniej jedno ogłoszenie dla ról związanych z radarem; nieaktywny już post na LinkedIn dla Inżyniera przetwarzania sygnałów radarowych zawiera w swoim opisie następujące informacje:

wydaje mi się sprawiedliwe, aby powiedzieć, że przynajmniej Apple patrzy na radar z falą milimetrową jako modalność wykrywania; kiedy, jak i co najważniejsze; jeśli produkt Apple z radarem kiedykolwiek opuści laboratoria w Cupertino, jest taki, który tylko czas będzie w stanie powiedzieć.

moje osobiste spekulacje są takie, że Apple wyda zestaw słuchawkowy AR z wbudowanym radarem do wykrywania mikro-gestów, aby zwiększyć ich możliwości śledzenia dłoni. Dodatkowo, gdy radar staje się lepiej znany jako możliwa modalność wykrywania (głównie dzięki projektowi Soli i jakimkolwiek produktom Google i ich partnerzy zdecydują się go zintegrować), inni producenci zestawów słuchawkowych AR i VR zaczną integrować chipy radarowe z falą milimetrową w swoich zestawach słuchawkowych, aby rozwiązać wspomniany wcześniej problem „brakującego interfejsu”; upewnienie się, że rzeczywiste obiekty fizyczne, z którymi ludzie wchodzą w interakcję za pośrednictwem AR/VR, mają sposób mapowania na cyfrowe informacje prezentowane za pośrednictwem zestawu słuchawkowego.

konkurencja

co najmniej jeden startup pracuje nad radarem fal milimetrowych dla interfejsów człowiek-maszyna; tajwański KaiKuTek („CoolTech”). Twierdzą, że ich system wykrywania gestów oparty na radarze może dorównać, jeśli nie przewyższyć, projektowi Google Soli.

z czujnikiem radarowym zintegrowany jest Chip wnioskujący do uczenia maszynowego; tak więc wszystkie wnioskowanie odbywa się na poziomie obliczeniowym po stronie czujnika, w przeciwieństwie do systemu MotionSense Pixel 4, w którym czujnik (Soli) i silnik wnioskowania są na oddzielnych komponentach chipowych. Jest to, twierdzi KaiKuTek, że są w stanie osiągnąć tak niską moc (1 mW).

Uwagi końcowe

dzięki projektowi Soli, Google rozwinęło rozmowę na temat interakcji z komputerami w szerokim zakresie modalności i kontekstów. Radar z falą milimetrową oferuje obiecujący sposób na interakcję gestową z komputerami bez konieczności martwienia się o niedrożność, warunki oświetleniowe lub podobne warunki ograniczające nałożone na systemy oparte na kamerach.

wraz z rosnącym tempem osadzania komputerów w większej liczbie urządzeń, radar z falą milimetrową może w końcu umożliwić bardziej uniwersalny język gestu, który jest znany w tych urządzeniach. Oczywiście każdy producent nieuchronnie będzie miał różnice między sobą (chociaż Google jest pierwszym, który używa radaru fali mm jako czujnika do interakcji gestualnej, nie oznacza to, że będzie ostatni), może to skończyć się „wystarczająco podobnym” interakcjami gestualnymi w ten sam sposób, w jaki ekrany dotykowe są prawie uniwersalne, ale każdy dostawca OEM umożliwia różne gesty do użytku z Ekranem dotykowym.

dodatek:

zamieściłem dodatkowe publikacje dotyczące radaru fal milimetrowych i jego zastosowań w HCI (niekoniecznie związane z projektem Soli). Znaczna część z nich koncentruje się na technikach uczenia maszynowego używanych do rozpoznawania gestów za pomocą rurociągu radarowego.

• uczenie się za pomocą jednego strzału w celu solidnej klasyfikacji materiału przy użyciu systemu radarowego z falą milimetrową
• rozpoznawanie gestów za pomocą wykresu i-Q radarowego i Konwolucyjnej sieci neuronowej
• solidne rozpoznawanie gestów za pomocą systemu radarowego z falą milimetrową
• rozpoznawanie gestów za pomocą kopert z podpisem mikro-Dopplera radarowego
• : Moc wykrywania 4D
• rozpoznawanie gestów za pomocą czujnika fali mm dla interfejsu człowiek-samochód
• system rozpoznawania gestów krótkiego zasięgu oparty na radarze za pomocą CNN 3D z utratą Trypletów
• rozpoznawanie gestów dłoni w oparciu o koperty podpisów radarowych Micro-Doppler
• solidne rozpoznawanie gestów za pomocą systemu radarowego z falą milimetrową
• TS-I3D metoda rozpoznawania gestów dłoni z czujnikiem radarowym
• rozpoznawanie znaków w pisaniu powietrzem w oparciu o sieć radarów dla interfejsu człowiek-maszyna
• system rozpoznawania gestów dłoni oparty na radarze dopplerowskim Korzystanie z Konwolucyjnych sieci neuronowych
• wywoływanie gestów kontaktowych i bezdotykowych za pomocą czujników radarowych
• odkrywanie radaru: moc wykrywania 4D
• Wykrywanie Ruchu Za pomocą radaru: interakcja gestów i nie tylko

patenty związane z projektem Soli:

• wejście małego urządzenia oparte na gestach
• rozpoznawanie gestów oparte na radarze za pomocą urządzenia do noszenia
• Wyszukiwanie wspomagane rozpoznawaniem radaru
• uwierzytelnianie oparte na radarze
• fuzja czujników z radarem
• rozpoznawanie gestów oparte na radarze w szerokim polu
• rozpoznawanie gestów okludowanych
• wykrywanie gestów i przesyłanie danych oparte na radarze
• system radarowy oparty na smartfonie ułatwiający i dokładność interakcji użytkownika z wyświetlanymi obiektami w interfejsie rzeczywistości rozszerzonej

artykuły prasowe na temat Uruchomienie Pixel 4 i integracja z projektem Soli:

• plotka: projekt Google Soli radar chip może zadebiutować w Google Pixel 4
• projekt Google Soli: Technologia stojąca za radarem MOTION SENSE PIXEL 4
• Project Soli jest sekretną gwiazdą Google 'S Pixel 4 self-leak
• Pixel 4 XL szczegóły praktyczne’ Face unlock’,’ back finish, more
• Sterowanie gestami dzięki technologii Infineon-radar w smartfonie Google Pixel 4
• ustwo Monument Valley tworzy grę Motion Sense 'Headed South’ dla Google Pixel 4
• z Pixel 4 eksperymentalne zakłady techniczne Google w końcu wchodzą w centrum uwagi
• Google: soli Dance DJ by SWIFT