Project Soli & the Coming Use of Radar in Human-Machine Interfaces

Radar è una tecnologia vecchia di 85 anni che fino a poco tempo fa non è stata implementata attivamente nelle interfacce uomo — macchina. Il rilevamento dei gesti basato su radar consente di dedurre l’intento dell’utente in più contesti rispetto al tracciamento basato solo ottico attualmente consentito.

L’uso da parte di Google di Project Soli, un sistema di riconoscimento dei gesti basato su radar, nella serie di telefoni Pixel 4 è molto probabilmente il primo passo per un’ulteriore adozione del radar come input per interagire con i nostri dispositivi.

Background su Project Soli

A Google I/O 2015, il gruppo ATAP (Advanced Technology and Projects) ha annunciato diverse nuove iniziative. Questi includevano:

• Progetto Abacus — multi-fattore di autenticazione utente basata sulla posizione dell’utente, digitando schemi e modelli di voce
• Progetto di Deposito di un ambiente informatico sicuro su una Scheda MicroSD, per qualsiasi piattaforma
• Progetto Jacquard — filo conduttore incorporato nella massa producibile tessuti per creare indossabili basati su interazioni
• Progetto Casalnuovo — di un piccolo sensore radar in grado di micro-gesto di rilevamento

Di questi, Jacquard e Soli sono ancora attivi — Jacquard essendo stati integrati in una varietà di prodotti di consumo con la moda etichette come Levi’s, Saint Laurant e Adidas.

Dopo aver attraversato diverse iterazioni del prototipo, Google ha integrato Soli nel Pixel 4 come parte della funzione Motion Sense, che consente al telefono di avviare il processo di autenticazione facciale prima che il proprietario del telefono debba toccare il proprio telefono.

Poco dopo l’annuncio a di I/O, ATAP emanato un bando per gli sviluppatori di terze parti per applicare l’Alfa Developer program per Project Soli, come un modo per ottenere un feedback sulla loro fase iniziale di sviluppo del kit. Ho compilato un’applicazione per sviluppare interazioni basate sulla musica con Soli, ed è stato accettato nel programma.

Ho scritto di più sulla mia esperienza come membro del programma alpha developer qui; quello che volevo fare con questo post del blog è stato fornire più di una panoramica delle capacità di radar ad onde millimetriche, e come consentono alcune nuove esperienze ed esperimenti nel campo dell’interazione uomo-computer.

Sono stati scritti diversi documenti accademici che esplorano quest’area da quando Project Soli è stato annunciato esplorando diverse aree di applicazione, quindi esamineremo quelli; così come una rapida panoramica di cosa sia il radar ad onde millimetriche e dei tipi di proprietà offerte da esso.

Per prima cosa, diamo un’occhiata al primo prodotto commerciale ad utilizzare Project Soli, il Pixel 4.

Il primo prodotto commerciale ad integrare Project Soli è il Pixel4, rilasciato da Google nell’ottobre 2019.

Il teaser-ad ha lasciato intendere che il nuovo telefono sarebbe stato il primo prodotto ad integrarsi con Soli; visti i gesti touchless air mostrati in esso:

Il chip Soli offre tre nuovi tipi di funzionalità per il Pixel 4:

Presenza-grazie alla capacità del radar di rilevare il movimento nella zona vicina da dove è posizionato, il Pixel 4 spegnerà il display always-on se l’utente del telefono non si trova nelle vicinanze mentre è posizionato su un tavolo; quindi, essendo in grado sia di risparmiare la batteria e non interferire con l’attenzione dell’utente

Reach — il sensore Soli rileverà se una mano si sta muovendo verso di esso; il risveglio dello schermo e attivare il fronte di fronte le telecamere per il viso-sblocca

Gesti

• Flick
• Presenza
• Arrivare
• Swipe

9 5 Google ha fatto un’analisi dei Pokemon Onda Ciao gioco che viene fornito in bundle con il Pixel 4 telefoni, e ha scoperto una Unità plug-in nel gioco che collegato ad un “Senso di Movimento del Ponte” applicazione in esecuzione sul telefono cellulare che ha dato il gioco agli sviluppatori l’accesso a vari gesto parametri:

Flick

• flickConfidence
• flickDirection
• flickPrediction
• flickRange
• flickVelocity

Presenza

• presenceConfidence
• presencePrediction
• presenceRange
• presenceVelocity

Arrivare

• reachAzimuth
• reachConfidence
• reachElevation
• reachPrediction
• reachRange
• reachVelocity

Swipe

• swipeAmplitude
• swipeConfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

In questo momento, gli sviluppatori di terze parti non hanno accesso ai gesti MotionSense a meno che non abbiano avuto accesso all’app MotionSense Bridge interna di Android da parte di Google. Si spera che Google aprirà l’accesso completo al sensore Soli in modo che gli sviluppatori siano in grado di esplorare come utilizzare le funzionalità di riconoscimento dei gesti che offre in modi nuovi e innovativi.

Sfide di Creare una Formazione di un set di dati Radar in base Gesto di Riconoscimento

In un post su Google AI Blog, Google ATAP ingegneri descrivere alcune delle sfide e considerazioni per l’incorporamento di radar in uno smartphone, come il radar chip piccolo e modulare sufficiente che si può mettere in cima di un telefono cellulare, l’aggiunta di filtri per il rumore causato dalle vibrazioni che si verifica quando la musica sta giocando dal telefono, e algoritmi di apprendimento automatico che sono in grado di funzionare a basso livello di potenza.

Una delle sfide con la creazione di qualsiasi modello di apprendimento automatico robusto, in particolare uno che sarà in un dispositivo nelle mani di milioni di consumatori, è fare in modo che il modello è in grado di prevedere con precisione un gesto attraverso una vasta e diversificata popolazione di utenti. A livello semantico, è facile per gli esseri umani distinguere ciò che un colpo o un gesto flick è. Tuttavia, poiché ogni persona fa quei gesti in modi leggermente diversi attraverso variazioni di velocità, angolo della mano, lunghezza del gesto; il modello di apprendimento automatico per dedurre quale gesto si verifica deve essere abbastanza robusto da poter dedurre correttamente il gesto dell’utente indipendentemente da queste differenze.

Per assicurarsi che i loro modelli fossero accurati, il team di Soli ha addestrato il loro modello TensorFlow su milioni di gesti fatti da migliaia di volontari. Questi modelli sono stati quindi ottimizzati per funzionare direttamente sull’unità DSP di Pixel 4; consentendo al telefono di riconoscere i gesti anche quando il processore principale è spento — che è come il Pixel 4 è in grado di rilevare è qualcuno si sta muovendo verso il telefono utilizzando MotionSense, e quindi accendere i sensori FaceUnlock per sbloccare il telefono.

Partnership con Infineon

Mentre Google ha sviluppato gli algoritmi di apprendimento automatico, l’elaborazione del segnale e i modelli UX per interagire con Soli, la società tedesca Infineon ha sviluppato il chip radar che fa parte del Progetto Soli system. Mentre è possibile acquistare kit di sviluppo da Infineon, essi solo lo streaming di dati radar grezzi-nessun segnale elaborato caratteristiche che potrebbero essere utilizzati per addestrare un modello di apprendimento automatico per riconoscere gesti o presenza.

Nel loro documento SSIGRAPH, Soli: Ubiquitous Gesture Sensing with Millimeter Wave Radar, gli autori di ATAP descrivono un HAL (Hardware Abstraction Layer) come un insieme di astrazioni che consentirebbero a Project Soli di lavorare su diverse architetture di sensori radar di diversi produttori. Ciò consentirebbe a Google di avere la flessibilità di utilizzare lo stesso set di primitive di funzionalità Soli su vari tipi di radar mantenendo gli stessi modelli di interazione di alto livello.

Applicazioni di esempio dal programma Alpha Dev

I partecipanti al programma Soli Alpha Dev sono stati incoraggiati a pubblicare il nostro lavoro in pubblicazioni accademiche; alcuni membri hanno anche creato demo per la vetrina su vari blog, tra cui:

• Nuove interfacce musicali (video demo)
• Una tastiera gestuale in aria
• Il violino più piccolo del mondo
• Usare Soli per identificare oggetti per il controllo del braccio robotico

Il dipartimento HCI dell’Università di St. Andrews ha prodotto un corpo robusto di lavorare come membri di Alpha Dev programma, tra cui

• Radar Categorizzazione per il Riconoscimento dell’Input — gli autori presentano RadarCat, un sistema che è in grado di discriminare tra “26 materiali (tra cui oggetti complessi e compositi), avanti con 16 materiali trasparenti (con diversi spessori e diverse coloranti) e, infine, 10 parti del corpo da 6 partecipanti”
• Tangibile dell’interfaccia utente con un Oggetto e la Classificazione del Materiale con Radar — di continuare il loro lavoro da RadarCat; gli autori descrivono anche scenari applicativi reali in cui questo sistema potrebbe essere utilizzato, inclusi sistemi di self-checkout e dispositivi medici intelligenti.
• Exploring Tangible Interactions with Radar Sensing-exploring “il radar come piattaforma per rilevare l’interazione tangibile con il conteggio, l’ordine, l’identificazione di oggetti e il tracciamento dell’orientamento, del movimento e della distanza di questi oggetti”.

Alcuni dei progetti dell’Alpha Developer program sono stati presentati in un video che è stato presentato nell’aggiornamento da ATAP all’evento I/O dell’anno successivo (2016):

Google Documenti

Membri di Google ATAP anche gli articoli pubblicati su il loro lavoro, con il Progetto Casalnuovo:

• Soli: Onnipresente Gesto Sensing con Radar a onde Millimetriche — SIGGRAPH 2016
• Altamente Integrato 60 GHz a 6 Canali Ricetrasmettitore Con Antenna in Confezione per Smart Sensing e Comunicazioni a Corto Raggio — IEEE 2016
• Interagire con Soli: Esplorazione del riconoscimento dinamico dei gesti a grana fine nello spettro delle radiofrequenze-UIST 2016
• Un sensore radar bicolore per il rilevamento simultaneo di distanza assoluta e movimento relativo per il rilevamento dei gesti-IEEE Sensors Letters 2017

Proprietà del radar a onde mm e delle sue Affordances

Il rilevamento radar si basa sul rilevamento dei mutevoli modelli di movimento di un oggetto nello spazio. Le onde radio vengono trasmesse dal radar, rimbalzano di un bersaglio (una mano umana in movimento) e poi ri-ricevute dalle antenne del radar. La differenza temporale tra quando le onde vengono inviate e quando vengono ricevute viene utilizzata per creare un profilo dell’oggetto che si trova nel percorso del radar.

Nel caso di gesti umani, la mano sposta la sua posizione attraverso lo spazio 3D mentre si trova nella linea di vista di un sensore radar. I cambiamenti di posizione producono diversi profili per i segnali radar rimbalzati, consentendo di rilevare diversi gesti.

Poiché il radar rileva i gesti in base a diverse caratteristiche di movimento, non è adatto per rilevare gesti statici, come la lingua dei segni o un segno di pace. Tuttavia, è adatto per rilevare gesti dinamici basati sul movimento, come uno schiocco delle dita o un movimento di rotazione della chiave.

A differenza dei sensori ottici, le prestazioni del radar non dipendono dall’illuminazione, possono lavorare attraverso i materiali e persino rilevare i gesti che si verificano quando le dita possono occludersi a vicenda.

I micro-gesti possono essere definiti come “interazioni che coinvolgono piccole quantità di movimento e quelle che vengono eseguite principalmente dai muscoli che guidano le dita e articolano il polso, piuttosto che quelle che coinvolgono gruppi muscolari più grandi per evitare l’affaticamento nel tempo”. Alcuni esempi di questi tipi di gesti stanno facendo il movimento di premere un pulsante toccando l’indice contro il pollice, facendo un movimento di scorrimento spostando il pollice contro la superficie dell’indice e facendo un movimento simile a girare un quadrante con le dita e il polso.

Questi gesti potrebbero essere utilizzati in una varietà di contesti (IoT, AR/VR, ecc.)

I futuri prodotti di elettronica di consumo di Google

Google sembra lavorare sull’integrazione di Soli in nuovi prodotti; un annuncio di lavoro per un “Ingegnere di algoritmi di sensori di intelligenza, Google Nest” elenca “Esperienza di lavoro con Radar” come qualifica preferita. Una delle prime demo di Soli mostrava il radar integrato in un altoparlante intelligente di JBL; non sarebbe sorprendente per Soli essere integrato in un prodotto di elettronica di consumo o in un elettrodomestico.

Un altro progetto Soli demo che Google ha mostrato durante la stessa presentazione come il suolo-controllato altoparlante JBL era uno smartwatch con Soli all’interno (Google ha anche depositato un brevetto per un gesto-based smartwatch che potrebbe essere utilizzato per le videoconferenze).

In quello che è molto probabilmente uno scenario molto più lontano, Google ha dichiarato che oltre all’utilizzo di sensori come Soli per il riconoscimento dei gesti, “In futuro, vogliamo creare dispositivi in grado di comprendere il linguaggio del corpo, quindi sono più intuitivi da usare e più utili”. Anche se spetta alla speculazione su cosa esattamente ciò potrebbe significare e assomigliare alla pratica, un potenziale caso d’uso qui è che i telefoni potrebbero rilevare lo stato emotivo delle persone vicine; abilitando le interfacce di calcolo affettivo. (Una discussione più approfondita del calcolo affettivo va oltre lo scopo di questo post; Ti incoraggio a leggere questo lavoro seminale di Rosalind Picard che ha coniato il termine per ottenere un po ‘ più di background sull’argomento).

L’Ambient Computing Future di Google

Nel primo articolo pubblicato per Project Soli, gli autori (di Google ATAP) elencano diverse possibili aree di applicazione:

• Realtà Virtuale
• Wearables e smart capi
• Internet delle Cose e i controller di gioco di
• “Dispositivi Tradizionali” (telefoni cellulari, tablet, computer portatili)

Se tutti questi tipi di dispositivi sono stati integrare Project Soli, Google potrebbe sfruttare universale gestuale quadro che tutti hanno in comune. Ciò renderebbe più facile per le persone utilizzare rapidamente questi nuovi dispositivi, tutti interagendo con la gamma di servizi di Google.

L’articolo di Ben Thompson su Stratechery, “Google and Ambient Computing”, analizza il recente passaggio di Google dall’affermare che vogliono aiutare a organizzare le informazioni del mondo, a uno che ti aiuta a fare le cose.

Nel suo discorso di apertura a Made by Google 2019, Google Senior VP di dispositivi e servizi, Rick Osterloh (che in precedenza era a capo di Google ATAP), delinea una visione di Google come una società che vuole “per portare un Google più utile a voi. Sundar Pichai ha dichiarato nel keynote di 20193 I / O che “Ci stiamo muovendo da un’azienda che ti aiuta a trovare risposte a un’azienda che ti aiuta a fare le cose”.

L’Ambient Computing fu coniato per la prima volta dal giornalista tecnologico Walt Mossberg nella sua ultima rubrica, “The Disappearing Computer”. E ‘ indicato anche come ubiquitous o pervasive computing.

Per alcune letture aggiuntive su questo settore dell’informatica, controlla il lavoro di Mark Weiser, uno scienziato capo di Xerox PARC, in particolare il suo articolo di Scientific American del 1991, “The Computer for the 21st Century”. Weiser ha coniato il termine ubiquitous computing, che ha descritto come calcolo in grado di verificarsi utilizzando “qualsiasi dispositivo, in qualsiasi posizione e in qualsiasi formato”.

Thompson sottolinea che la visione dell’ambient computing di Google “non è in concorrenza con lo smartphone, ma lo sfrutta”. Google non sta cercando di trovare qualunque sia la prossima piattaforma hardware (come Facebook stava facendo con l’acquisizione di Oculus per VR, o la spinta completa di Apple in AR); ratther, stanno cercando di creare un ecosistema di dispositivi ambientali che si connettono perfettamente (possibilmente usando lo smartphone come hub?) e sono intuitivi da interagire; tutti collegati ai servizi che Google fornisce.

Avere un modo unificato di interagire con i dispositivi che esistono in una varietà di contesti sarebbe estremamente vantaggioso per Google nel promuovere l’adozione della loro visione di calcolo ambientale. Un piccolo sensore facilmente incorporabile in grado di rilevare i gesti delle persone indipendentemente dall’illuminazione o da altre condizioni atmosferiche porterebbe questa visione molto più vicina alla realtà. Ciò renderebbe più facile per gli utenti interagire con un’ampia varietà di dispositivi che offrirebbero l’accesso ai servizi di Google.

Indizi di Apple sull’adozione del radar mm-Wave

Con il recente rilascio di un iPad Pro capace LiDAR in servizio alle capacità AR, Apple sembra mostrare la volontà di mettere sensori di complessità sempre crescente (e utilità) nei loro prodotti.

Inoltre, Apple ha pubblicato almeno un post per ruoli relativi al radar; un post ora inattivo su LinkedIn per un ingegnere di elaborazione del segnale radar include quanto segue nella sua descrizione:

Ci si sente fiera di me per dire che almeno, Apple è alla ricerca di millimetro-radar a onda come una modalità di rilevamento; quando, come, e cosa più importante; se un radar abilitato prodotto Apple lascia mai i laboratori di Cupertino è quello che sarà solo il tempo a dirlo.

La mia speculazione personale è che Apple rilascerà un auricolare AR con radar integrato per il rilevamento di micro-gesti per aumentare le loro capacità di tracciamento della mano. Inoltre, poiché il radar diventa meglio noto come una possibile modalità di rilevamento (grazie soprattutto a Project Soli, e a qualsiasi prodotto Google e i loro partner decidano di integrarlo), altri produttori di cuffie AR e VR inizieranno a integrare chip radar a onde millimetriche nelle loro cuffie come un modo per risolvere il problema di” interfaccia mancante ” menzionato in precedenza; assicurarsi che gli oggetti fisici del mondo reale con cui le persone interagiscono tramite AR / VR abbiano un modo per mappare le informazioni digitali presentate tramite l’auricolare.

Concorrenza

C’è almeno una startup che lavora su radar ad onde millimetriche per interfacce uomo-macchina; KaiKuTek di Taiwan (“CoolTech”). Sostengono che il loro sistema di rilevamento dei gesti basato su radar può eguagliare, se non superare, il Progetto Soli di Google.

Un chip di inferenza di apprendimento automatico è integrato con il sensore radar; quindi tutta l’inferenza viene eseguita a livello di calcolo lato sensore, a differenza del sistema MotionSense di Pixel 4, in cui il sensore (Soli) e il motore di inferenza sono su componenti chip separati. Questo è, sostiene KaiKuTek, sono in grado di raggiungere una potenza così bassa (1 mW).

Pensieri di chiusura

Con Project Soli, Google ha avanzato la conversazione su come interagiamo con i computer in una vasta gamma di modalità e contesti. Il radar ad onde millimetriche offre un modo promettente per interagire gestualmente con i computer senza doversi preoccupare di occlusione, condizioni di illuminazione o condizioni limitanti simili imposte ai sistemi basati su telecamere.

Con il ritmo crescente di computer incorporati in più dispositivi, radar ad onde millimetriche potrebbe finire per consentire un linguaggio gestuale più universale che è familiare tra questi dispositivi. Naturalmente, ogni produttore avrà inevitabilmente delle differenze tra di loro (anche se Google è il primo ad utilizzare mm-radar a onda come un sensore per l’interazione gestuale, non significa che non sarà l’ultima), potrebbe finire offrendo “abbastanza simili” gestuale interazioni stesso modo in cui i touchscreen sono quasi universale, ma ogni fornitore OEM, consente di utilizzare diversi gesti per l’utilizzo con il touch screen.

Appendice:

Ho incluso pubblicazioni aggiuntive riguardanti il radar ad onde millimetriche e le sue applicazioni in HCI (non necessariamente coinvolgendo Project Soli). Una buona parte di questi si concentra sulle tecniche di apprendimento automatico utilizzate per abilitare il riconoscimento dei gesti con una pipeline radar.

• One-Shot Learning for Robust Material Classification Using Millimeter-Wave Radar System
• Hand Gesture Recognition Using a Radar Echo I-Q Plot and Convoluzionale Neural Network
• Robust Gesture Recognition using Millimetric-Wave Radar System
• Hand Gesture Recognition based on Radar Micro-Doppler Signature Envelopes
• Reinventing radar: Il potere di 4D di rilevamento
• Gesto di Riconoscimento Utilizzando mm-Onda Sensore per Uomo-Macchina l’Interfaccia
• Radar a Corto Raggio basato su Sistema di Riconoscimento dei gesti utilizzo del 3D CNN con Tripletta di Perdita
• Gesto con la Mano di Riconoscimento basato su Radar Micro-Doppler Firma Buste
• Robusto Gesto di Riconoscimento utilizzando Millimetrica-Wave il Sistema Radar
• TS-I3D base Gesto della Mano Metodo di Riconoscimento con Sensore Radar
• Riconoscimento dei caratteri in Aria di Scrittura Basato sulla Rete di Radar Per l’Interfaccia Uomo-Macchina
• Doppler Radar Basati a Mano Sistema di Riconoscimento dei gesti Utilizzo di reti neurali convoluzionali
• Suscitare gesti contact-based e Contactless con sensori Radar-based
• Reinventare radar: La potenza del rilevamento 4D
• Motion Sensing Using Radar: Gesture Interaction and Beyond

Brevetti relativi al Progetto Soli:

• Gesture-Based Piccolo Dispositivo di Input
• Radar a base di riconoscimento dei gesti attraverso un dispositivo indossabile
• Radar Riconoscimento-Aided Ricerche
• Radar di autenticazione basato su
• Radar Abilitato Sensor Fusion
• Ampio campo radar basato gesto di riconoscimento
• Occluso gesto di riconoscimento
• Radar-in base gesto di rilevamento e trasmissione dati
• Smartphone basato su Sistema Radar Facilitando la Facilità e la Precisione delle Interazioni dell’Utente Con gli Oggetti Visualizzati in una Realtà Aumentata Interfaccia

Articoli di Stampa sul Lancio di Pixel 4 e integrazione con Project Soli:

• Rumor: il chip radar Project Soli di Google potrebbe debuttare in Google Pixel 4
• IL PROGETTO Soli di GOOGLE: LA tecnologia DIETRO di PIXEL 4 DEL SENSO di MOVIMENTO RADAR
• Progetto Casalnuovo è la stella segreta di Google Pixel 4 self-perdita di
• Pixel 4 XL hands-on ” dettagli Face unlock,’ di nuovo finire, più
• il controllo del movimento, grazie a Infineon-tecnologia radar a Google Pixel 4 Smartphone
• Monument Valley ustwo crea un Senso di Movimento gioco ‘verso Sud’ per Google Pixel 4
• Con Pixel 4, Google sperimentale tech scommesse infine inserire i riflettori
• Google: Soli Dance DJ Swift