Project Soli & the Coming Use of Radar in human-Machine Interfaces

Radar este o tehnologie veche de 85 de ani care până de curând nu a fost implementată activ în interfețele om — mașină. Detectarea gesturilor bazate pe Radar permite ca intenția utilizatorului să fie dedusă în mai multe contexte decât permite în prezent urmărirea bazată doar pe optică.

utilizarea de către Google a Project Soli, un sistem de recunoaștere a gesturilor bazat pe radar, în seria de telefoane Pixel 4 este cel mai probabil primul pas în adoptarea în continuare a radarului ca intrare pentru interacțiunea cu dispozitivele noastre.

context privind proiectul Soli

la Google I/O 2015, Grupul atap (Advanced Technology and Projects) a anunțat mai multe inițiative noi. Acestea au inclus:

• Project Abacus — autentificare multi-factor de utilizator bazată pe locația utilizatorului, tipare de tastare și modele vocale
• Project Vault — un mediu de calcul securizat pe un card MicroSD, pentru orice platformă
• Project Jacquard — fir conductiv încorporat în textile producibile în masă pentru a crea interacțiuni pe bază de purtare
• Project Soli-un senzor radar

dintre acestea, Jacquard și soli sunt încă active-jacquard fiind integrat într — o varietate de produse de consum cu modă etichete precum Levi ‘ s, Saint Laurant și Adidas.

după ce a trecut prin mai multe iterații prototip, Google a integrat Soli în Pixel 4 ca parte a funcției Motion Sense, care permite telefonului să înceapă procesul de autentificare facială înainte ca proprietarul telefonului să-și atingă telefonul.

la scurt timp după anunțul de la I/O, ATAP a lansat un apel pentru dezvoltatorii terți să aplice la Programul de dezvoltatori Alpha pentru Project Soli, ca o modalitate de a obține feedback cu privire la kitul lor de dezvoltare în stadiu incipient. Am completat o cerere pentru a dezvolta interacțiuni bazate pe muzică cu Soli și am fost acceptat în program.

am scris mai multe despre experiența mea ca membru al programului alpha developer aici; ceea ce am vrut să fac cu această postare pe blog a fost să ofer mai mult o imagine de ansamblu asupra capacităților radarului cu unde milimetrice și modul în care acestea permit anumite experiențe și experimente noi în domeniul interacțiunii om-computer.

au fost scrise mai multe lucrări academice care explorează această zonă de când proiectul Soli a fost anunțat explorând diferite domenii de aplicare, așa că ne vom uita la acestea; precum și o prezentare rapidă a radarului cu unde milimetrice și a tipurilor de proprietăți oferite de acesta.

în primul rând, să aruncăm o privire la primul produs comercial care a folosit Project Soli, Pixel 4.

primul produs comercial care integrează Project Soli este Pixel4, lansat de Google în octombrie 2019.

anunțul teaser a sugerat că noul telefon va fi primul produs care se va integra cu Soli; având în vedere gesturile de aer fără atingere prezentate în acesta:

cipul Soli oferă trei noi tipuri de capabilități pentru Pixel 4:

prezență-datorită capacității radarului de a detecta mișcarea în zona din apropiere de unde este plasat, Pixel 4 va opri afișajul permanent dacă utilizatorul telefonului nu este în apropiere în timp ce este așezat pe o masă; prin urmare, fiind capabil să economisească atât energia bateriei, cât și să nu pătrundă în atenția utilizatorului

Reach-senzorul Soli va detecta dacă o mână se mișcă; trezirea ecranului și activarea camerelor frontale pentru deblocarea feței

gesturi

• Flick
• prezență
• Reach
• bețivan

9 la 5 Google a făcut o analiză a jocului Pokemon Wave Hello care vine la pachet cu telefoanele Pixel 4 și a descoperit un plug-in Unity în joc care sa conectat la o aplicație „Motion Sense Bridge” care rulează pe telefon, care a dat dezvoltatorilor de jocuri acces la diferiți parametri de gest:

Flick

• flickConfidence
• flickdirecție
• flickPrediction
• flickRange
• flickVelocity

prezență

• prezențăîncredere
• prezențăpredicție
• prezențăinterval
• prezențăevelocitate

ajunge la

• ajunge laazimut
• ajunge la încredere
• reachelevation
• reachprediction
• reachrange
• reachvelocity

swipe

• swipeamplitude
• swipeconfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

în acest moment, dezvoltatorii terți nu au acces la gesturile MotionSense decât dacă li s-a oferit acces la aplicația Android intern MotionSense Bridge de către Google. Sperăm că Google va deschide accesul complet la senzorul Soli, astfel încât dezvoltatorii să poată explora modul în care pot utiliza capacitățile de recunoaștere a gesturilor pe care le oferă în moduri noi și inovatoare.

provocări ale creării unui antrenament Un set de date pentru recunoașterea gesturilor bazate pe Radar

într-o postare pe blogul Google AI, inginerii Google ATAP descriu unele dintre provocările și considerațiile pentru încorporarea radarului într-un smartphone, cum ar fi realizarea cipului radar suficient de mic și modular încât să se potrivească în partea de sus a unui telefon, adăugând filtre pentru muzica se joacă de la telefon, și algoritmi de învățare mașină, care sunt capabile să ruleze la un nivel redus de putere.

una dintre provocările cu crearea oricărui model robust de învățare automată, în special unul care va fi într-un dispozitiv în mâinile a milioane de consumatori, este asigurarea faptului că modelul este capabil să prezică cu exactitate un gest pe o populație largă și diversă de utilizatori. La nivel semantic, este ușor pentru oameni să diferențieze ce este un gest de glisare sau de mișcare. Cu toate acestea, deoarece fiecare persoană face aceste gesturi în moduri ușor diferite prin variații ale vitezei, unghiului mâinii, lungimii gestului; modelul de învățare automată pentru deducerea gestului care are loc trebuie să fie suficient de robust pentru a putea deduce corect gestul utilizatorului, indiferent de aceste diferențe.

pentru a se asigura că modelele lor sunt corecte, echipa Soli și-a instruit Modelul TensorFlow pe milioane de gesturi făcute de mii de voluntari. Aceste modele au fost apoi optimizate pentru a rula direct pe unitatea DSP a Pixel 4; permițând telefonului să recunoască gesturile chiar și atunci când procesorul principal este oprit — ceea ce este modul în care Pixel 4 este capabil să detecteze este că cineva se îndreaptă spre telefon folosind MotionSense și apoi pornește senzorii FaceUnlock pentru a debloca telefonul.

parteneriat cu Infineon

în timp ce Google a dezvoltat algoritmii de învățare automată, procesarea semnalului și modelele UX pentru interacțiunea cu Soli, compania germană Infineon a dezvoltat cipul radar care face parte din proiectul Soli system. Deși este posibil să achiziționați kituri de dezvoltare de la Infineon, acestea transmit doar date radar brute — fără caracteristici de semnal procesate care ar putea fi utilizate pentru a instrui un model de învățare automată pentru a recunoaște gesturile sau prezența.

în lucrarea lor SSIGRAPH, Soli: omniprezent Gesture Sensing with millimeter wave Radar, autorii ATAP descriu un HAL (hardware Abstraction Layer) ca un set de abstracții care ar permite proiectului Soli să funcționeze pe diferite arhitecturi de senzori radar de la diferiți producători. Acest lucru ar permite Google să aibă flexibilitatea de a utiliza același set de primitive de caracteristici Soli pe diferite tipuri de radar, păstrând în același timp aceleași modele de interacțiune la nivel înalt.

Exemple de aplicații din programul Alpha Dev

participanții la Programul Soli Alpha Dev au fost încurajați să publice lucrările noastre în publicații academice; unii membri au creat, de asemenea, demo-uri pentru vitrină pe diverse bloguri, inclusiv:

• noi interfețe muzicale (video Demo)
• o tastatură gestuală În aer
• cea mai mică vioară din lume
• folosind Soli pentru a identifica obiecte pentru controlul brațului robotic

Departamentul HCI de la Universitatea din St. Andrews a produs un corp robust de lucru ca membri ai Programului Alpha Dev, inclusiv

• Clasificarea Radar pentru recunoașterea intrării-autorii prezintă RadarCat, un sistem capabil să discrimineze între „26 de materiale (inclusiv obiecte compozite complexe), următorul cu 16 materiale transparente (cu grosimi diferite și coloranți variabili) și în cele din urmă 10 părți ale corpului de la 6 participanți”
• UI tangibil; autorii descriu, de asemenea, scenarii de aplicații din lumea reală în care acest sistem ar putea fi utilizat, inclusiv sisteme de auto-verificare și dispozitive medicale inteligente.
• explorarea interacțiunilor tangibile cu detectarea radarului — explorarea „radarului ca platformă pentru detectarea interacțiunii tangibile cu numărarea, ordonarea, identificarea obiectelor și urmărirea orientării, mișcării și distanței acestor obiecte”.

unele dintre proiectele din programul Alpha Developer au fost prezentate într-un videoclip care a fost prezentat în actualizarea de la ATAP la evenimentul I/O din anul următor (2016):

Google Papers

membrii Google ATAP au publicat, de asemenea, lucrări despre munca lor cu Project Soli:

• Soli: detectarea gesturilor omniprezente cu Radar de undă milimetrică-SIGGRAPH 2016
• un transmițător 60 GHz cu 6 canale cu antenă în pachet pentru detectarea inteligentă și comunicațiile cu rază scurtă de acțiune-IEEE 2016
• interacționând cu Soli: Explorarea recunoașterii dinamice a gesturilor cu granulație fină în spectrul de frecvențe Radio-UIST 2016
• un senzor Radar în două tonuri pentru detectarea simultană a distanței Absolute și a mișcării Relative pentru detectarea gesturilor-IEEE Sensors Letters 2017

proprietățile radarului cu unde mm și accesibilitatea acestuia

detectarea radarului se bazează pe detectarea modelelor schimbătoare de mișcare a unui obiect în spațiu. Undele Radio sunt transmise de la radar, sări de o țintă (O mână umană în mișcare), și apoi re-recepționate de antene radar. Diferența temporizată dintre momentul în care undele sunt trimise și momentul în care sunt primite este utilizată pentru a crea un profil al obiectului care se află în calea radarului.

în cazul gesturilor umane, mâna își mișcă poziția prin spațiul 3D în timp ce se află în linia de vedere a unui senzor radar. Schimbările de poziție produc profiluri diferite pentru semnalele radar returnate, permițând detectarea diferitelor gesturi.

deoarece radarul detectează gesturi bazate pe diferite caracteristici de mișcare, nu este potrivit pentru detectarea gesturilor statice, cum ar fi limbajul semnelor sau un semn de pace. Cu toate acestea, este potrivit pentru detectarea gesturilor dinamice, bazate pe mișcare, cum ar fi o lovitură de deget sau o mișcare de rotire a cheii.

spre deosebire de senzorii optici, performanța radarului nu depinde de iluminare, poate funcționa prin materiale și chiar poate detecta gesturi care apar atunci când degetele se pot ocluziona reciproc.

Micro-gesturile pot fi definite ca „interacțiuni care implică cantități mici de mișcare și cele care sunt efectuate în principal de mușchii care conduc degetele și articulează încheietura mâinii, mai degrabă decât cele care implică grupuri musculare mai mari pentru a evita oboseala în timp”. Câteva exemple ale acestor tipuri de gesturi fac mișcarea de a împinge un buton atingând arătătorul de degetul mare, făcând o mișcare glisantă mișcând degetul mare pe suprafața arătătorului și făcând o mișcare similară cu rotirea unui cadran cu degetele și încheietura mâinii.

aceste gesturi ar putea fi utilizate într-o varietate de contexte (IoT, AR/VR etc.) pentru interacțiunea cu elementele interfeței cu utilizatorul.

viitoarele produse electronice de consum de la Google

Google pare să lucreze la integrarea Soli în produse noi; o postare de locuri de muncă pentru un „inginer de algoritmi de senzori de inteligență, Google Nest” listează „experiența de lucru cu radarul” ca o calificare preferată. Una dintre primele demo-uri ale Soli a arătat radarul integrat într-un difuzor inteligent de la JBL; nu ar fi surprinzător ca Soli să fie integrat într-un produs electronic de consum sau aparat de uz casnic.

un alt proiect soli demo pe care Google l-a arătat în aceeași prezentare ca și difuzorul JBL controlat de sol a fost un smartwatch cu Soli în interior (Google a depus chiar un brevet pentru un smartwatch bazat pe gesturi care ar putea fi folosit pentru videoconferințe).

în ceea ce este cel mai probabil un scenariu mult mai îndepărtat, Google a declarat că, dincolo de utilizarea senzorilor precum Soli pentru recunoașterea gesturilor, „în viitor, vrem să creăm dispozitive care să vă înțeleagă limbajul corpului, astfel încât acestea să fie mai intuitive de utilizat și mai utile”. Deși depinde de speculații cu privire la ce anume ar putea însemna și arăta în practică, un caz potențial de utilizare aici este că telefonul ar putea detecta starea emoțională a oamenilor din apropiere; permițând interfețe de calcul afective. (O discuție mai aprofundată a calculului afectiv depășește domeniul de aplicare al acestui post; V-aș încuraja să citiți această lucrare seminală a lui Rosalind Picard care a inventat termenul pentru a obține mai multe informații despre subiect).

viitorul computerelor ambientale Google

în prima lucrare publicată pentru Project Soli, autorii (de la Google ATAP) enumeră mai multe domenii posibile de aplicare:

• realitate virtuală
• purtabile și articole de îmbrăcăminte inteligente
• Internet of Things și controlere de jocuri
• „dispozitive tradiționale” (telefoane mobile, tablete, laptopuri)

dacă toate aceste tipuri de dispozitive ar integra Project Soli, Google ar putea folosi un cadru gestual universal pe care toți ar avea în comun. Acest lucru ar face mai ușor pentru oameni să utilizeze rapid aceste dispozitive noi, toate interacționând cu gama de servicii Google.

articolul lui Ben Thompson despre Stratechery, „Google and ambient Computing”, analizează schimbarea recentă a Google de la a afirma că doresc să ajute la organizarea informațiilor din lume, la una care vă ajută să faceți lucrurile.

în remarcile sale de deschidere La Made by Google 2019, vicepreședintele senior al dispozitivelor și serviciilor Google, Rick Osterloh (care a fost anterior șeful Google ATAP), prezintă o viziune a Google ca o companie care dorește „să vă aducă un Google mai util.”Sundar Pichai a declarat în nota principală din 20193 I / O că” ne mutăm de la o companie care vă ajută să găsiți răspunsuri la o companie care vă ajută să faceți lucrurile”.

calculul Ambiental a fost inventat pentru prima dată de jurnalistul tehnologic Walt Mossberg în ultima sa rubrică, „The Disappearing Computer”. Este, de asemenea, menționată ca omniprezente sau omniprezente de calcul.

pentru câteva lecturi suplimentare despre acest domeniu de calcul, consultați lucrarea lui Mark Weiser, om de știință șef la Xerox PARC, în special articolul său științific american din 1991, „computerul pentru secolul 21”. Weiser a inventat termenul de calcul omniprezent, pe care l-a descris ca calcul capabil să apară folosind „orice dispozitiv, în orice locație și în orice format”.

Thompson subliniază că viziunea Google asupra computerelor ambientale „nu concurează cu smartphone-ul, ci mai degrabă îl folosește”. Google nu încearcă să găsească ceea ce este următoarea platformă hardware (cum ar fi Facebook a făcut cu achiziționarea Oculus pentru VR sau împingerea completă a Apple în AR); ratther, ei caută să creeze un ecosistem de dispozitive ambientale care să se conecteze perfect (eventual folosind smartphone-ul ca hub?) și sunt intuitive pentru a interacționa cu; toate conectate la serviciile pe care Google le furnizează.

a avea un mod unificat de a interacționa cu dispozitivele care există într-o varietate de contexte ar fi extrem de benefic pentru Google în promovarea adoptării viziunii lor de calcul ambiental. Un senzor mic, ușor de încorporat, care poate detecta gesturi de la oameni, indiferent de iluminare sau alte condiții atmosferice, ar aduce această viziune mult mai aproape de realitate. Acest lucru ar facilita interacțiunea utilizatorilor cu o mare varietate de dispozitive care ar oferi acces la serviciile Google.

indicii de la Apple privind adoptarea radarului mm-Wave

odată cu lansarea recentă a unui iPad Pro capabil LiDAR în serviciul capabilităților AR, Apple pare să arate dorința de a pune senzori de complexitate (și utilitate) din ce în ce mai mari în produsele lor.

în plus, Apple a pus cel puțin o postare pentru roluri legate de radar; o postare acum inactivă pe LinkedIn pentru un inginer de procesare a semnalului Radar include următoarele în descrierea sa:

mi se pare corect să spun că, cel puțin, Apple privește radarul cu unde milimetrice ca o modalitate de detectare; când, cum și cel mai important; dacă un produs Apple activat de radar părăsește vreodată laboratoarele din Cupertino este unul pe care doar timpul îl va putea spune.

speculația mea personală este că Apple va lansa un set cu cască AR cu radar încorporat pentru detectarea micro-gesturilor pentru a-și spori capacitățile de urmărire a mâinilor. În plus, pe măsură ce radarul devine mai bine cunoscut ca o posibilă modalitate de detectare (datorită mai ales proiectului Soli și indiferent de produsele Google și partenerii lor decid să îl integreze), alți producători de căști AR și VR vor începe să integreze cipuri radar cu unde milimetrice în căștile lor ca o modalitate de a rezolva problema „interfeței lipsă” menționată mai; asigurați-vă că obiectele fizice din lumea reală cu care interacționează oamenii prin AR/VR au o modalitate de a mapa la informațiile digitale prezentate prin setul cu cască.

concurență

există cel puțin o pornire care lucrează la radarul cu unde milimetrice pentru interfețele om-mașină; KaiKuTek din Taiwan („CoolTech”). Ei susțin că sistemul lor de detectare a gesturilor bazat pe radar poate să se potrivească, dacă nu chiar să depășească, proiectul Google Soli.

un cip de inferență de învățare automată este integrat cu senzorul radar; deci, toată inferența se face pe un nivel de calcul pe partea senzorului, spre deosebire de Pixel 4sistemul MotionSense, în care senzorul (Soli) și motorul de inferență sunt pe componente separate ale cipului. Aceasta este, susține KaiKuTek, că sunt capabili să obțină o putere atât de mică (1 mW).

gânduri de închidere

cu Project Soli, Google a avansat conversația despre modul în care interacționăm cu computerele într-o gamă largă de modalități și contexte. Radarul cu unde milimetrice oferă o modalitate promițătoare de a interacționa gestual cu computerele fără a fi nevoie să vă faceți griji cu privire la ocluzie, condiții de iluminare sau condiții limitative similare impuse sistemelor bazate pe camere.

odată cu ritmul tot mai mare de computere încorporate în mai multe dispozitive, radarul cu unde milimetrice ar putea ajunge să permită un limbaj gestual mai universal, care este familiar pe aceste dispozitive. Desigur, fiecare producător va avea în mod inevitabil diferențe între ele (deși Google este primul care folosește radarul mm-wave ca senzor pentru interacțiunea gestuală, nu înseamnă că va fi ultimul), ar putea ajunge să ofere interacțiuni gestuale „suficient de similare” în același mod în care ecranele tactile sunt aproape universale, dar fiecare furnizor OEM permite gesturi diferite pentru utilizare cu ecranul tactil.

apendice:

am inclus publicații suplimentare care se ocupă de radarul cu unde milimetrice și aplicațiile sale în HCI (care nu implică neapărat proiectul Soli). O bună parte dintre acestea se concentrează pe tehnicile de învățare automată utilizate pentru a permite recunoașterea gesturilor cu o conductă radar.

• învățare One-Shot pentru clasificarea materialelor robuste folosind sistemul Radar milimetric cu unde
• recunoașterea gesturilor mâinilor folosind un grafic Radar Echo I-Q și o rețea neuronală convoluțională
• recunoașterea gesturilor robuste folosind sistemul Radar cu unde milimetrice
• recunoașterea gesturilor mâinilor bazată pe plicuri de semnătură Micro-Doppler Radar
• reinventarea radarului: Puterea 4D sensing
• recunoașterea gesturilor folosind senzorul de undă mm pentru interfața om-mașină
• sistem de recunoaștere a gesturilor bazat pe Radar cu rază scurtă de acțiune folosind CNN 3D cu pierdere tripletă
• recunoașterea gesturilor mâinilor bazată pe plicuri de semnătură Micro-Doppler Radar
• recunoaștere robustă a gesturilor folosind sistemul Radar cu undă milimetrică
• TS-I3D metoda de recunoaștere cu senzor radar
• recunoașterea caracterelor în scrierea aerului bazată pe rețeaua de radare pentru interfața om-mașină
• Doppler-sistem de recunoaștere a gesturilor mâinilor bazat pe radar Utilizarea rețelelor neuronale convoluționale
• provocarea gesturilor bazate pe Contact și fără contact cu senzori pe bază de Radar
• reinventarea radarului: puterea senzorilor 4D
• detectarea mișcării folosind radarul: interacțiunea prin gesturi și dincolo

brevete legate de Proiectul Soli:

• intrare dispozitiv mic bazat pe gesturi
• recunoaștere gestuală bazată pe Radar printr-un dispozitiv portabil
• căutări asistate de recunoaștere Radar
• autentificare bazată pe Radar
• fuziune senzor activat Radar
• recunoaștere gestuală bazată pe radar cu câmp larg
• recunoașterea gesturilor ocluzate
• detectarea gesturilor bazate pe radar și transmisia de date
• sistem radar bazat pe smartphone care facilitează ușurința și acuratețea interacțiunilor utilizatorului cu obiectele afișate într-o interfață de realitate augmentată

articole de presă despre Pixel 4 lansare și integrare cu Project Soli:

• zvon: proiectul Google Soli cip radar ar putea debuta în Google Pixel 4
• proiectul GOOGLE Soli: Tehnologia din spatele radarului MOTION SENSE PIXEL 4
• Project Soli este vedeta secretă a Google Pixel 4 Auto-scurgere
• Pixel 4 XL Detalii hands-on ‘Deblocare față,’ finisare spate, mai multe
• controlul gesturilor datorită tehnologiei Infineon-radar din Smartphone-ul Google Pixel 4
• ustwo din Monument Valley creează jocul Motion Sense ‘Headed South’ pentru Google Pixel 4
• cu pixel 4, pariurile tehnologice experimentale Google intră în sfârșit în centrul atenției
• Google: soli dance dj de swift