Prosjekt Soli & Den Kommende Bruken Av Radar I Menneske-Maskin Grensesnitt

Radar Er en 85 år gammel teknologi som inntil nylig ikke har vært aktivt utplassert i menneske-maskin grensesnitt. Radar-basert gesture sensing lar brukeren hensikt å bli utledes på tvers av flere sammenhenger enn optisk-bare basert sporing i dag tillater.

Googles bruk Av Project Soli, et radarbasert bevegelsesgjenkjenningssystem, i Pixel 4-serien av telefoner, er mest sannsynlig det første trinnet i videre adopsjon av radar som en inngang for samhandling med våre enheter.

Bakgrunn På Project Soli

På Google i / O 2015 annonserte Atap-gruppen (Advanced Technology and Projects) flere nye tiltak. Disse inkluderte:

• Prosjekt Abacus — multi-faktor brukerautentisering basert på brukerens plassering, skrivemønstre og talemønstre
• Prosjekt Vault — et sikkert datamiljø på Et MicroSD — Kort, for alle plattformer
• Prosjekt Jacquard-ledende tråd innebygd i masseproduserbare tekstiler for å skape bærbare baserte interaksjoner
• Prosjekt Soli-en liten radarsensor som er i stand til mikrobevegelse deteksjon

Av Disse Er Jacquard og soli fortsatt aktive — jacquard har blitt integrert i en rekke forbrukerprodukter med mote etiketter Som Levi ‘ S, Saint Laurant og Adidas.

Etter å ha gått gjennom flere prototype-iterasjoner, integrerte Google Soli i Pixel 4 som en del Av Motion Sense-funksjonen, som gjør at telefonen kan starte prosessen med ansiktsautentisering før telefonens eier selv må røre telefonen.

Kort tid Etter kunngjøringen på I/O, la ATAP ut en oppfordring til tredjepartsutviklere om å søke Alpha Developer program For Project Soli, som en måte å få tilbakemelding på deres utviklingssett på et tidlig stadium. Jeg fylte ut et program for å utvikle musikkbaserte interaksjoner Med Soli, og ble akseptert i programmet.

jeg skrev mer om min erfaring som medlem av alpha developer program her; det jeg ønsket å gjøre med dette blogginnlegget var å gi mer oversikt over mulighetene til millimeterbølgeradar, og hvordan de muliggjør visse nye erfaringer og eksperimenter innen menneske-datamaskin-interaksjon.

Det har vært flere akademiske artikler skrevet å utforske dette området siden Project Soli ble annonsert å utforske forskjellige applikasjonsområder, så vi ser på dem; samt en rask oversikt over hva millimeterbølge radar er, og hvilke typer egenskaper som tilbys av Den.

først skjønt, la Oss ta en titt på Det første kommersielle produktet som bruker Project Soli, Pixel 4.

Det første kommersielle produktet for å integrere Project Soli er Pixel4, utgitt Av Google i oktober 2019.

teaser-annonsen antydet at den nye telefonen ville være det første produktet som ble integrert Med Soli; gitt de berøringsfrie luftbevegelsene som vises i Den:

Soli-brikken gir tre nye typer funksjoner For Pixel 4:

Tilstedeværelse-takket være radarens evne til å oppdage bevegelse i nærområdet fra der Den er plassert, Vil Pixel 4 slå av alltid på skjermen hvis brukeren av telefonen ikke er i nærheten mens den er plassert på et bord; derfor kan både spare batteristrøm og ikke trenge inn på brukerens oppmerksomhet

Reach — Soli-sensoren vil oppdage om en hånd beveger seg mot den; våkne opp skjermen og aktivere de fremre kameraene for ansikt-lås opp

Bevegelser

• Flick
• Tilstedeværelse
• Reach
• Sveip

9 Til 5 Google gjorde en analyse Av Pokemon Wave Hello-spillet som følger Med Pixel 4-telefonene, og oppdaget En Unity plug-in i spillet som er koblet til et» Motion Sense Bridge » – program som kjører på telefonen som ga spillutviklerne tilgang til ulike gesteparametere:

Flick

• flickConfidence
• flickprediction
• flickRange
• flickVelocity

Tilstedeværelse

• tilstedeværelseconfidence
• tilstedeværelseprediction
• tilstedeværelsevelocity

rekkevidde

• reachazimuth
• reachconfidence
• reachehevation
• reachprediksjon
• reachvelocity

sveip

• swipeamplitude
• Swipeconfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

akkurat nå har tredjepartsutviklere ikke tilgang til MotionSense-bevegelsene med Mindre De Har Fått Tilgang Til Android internal MotionSense Bridge-appen Av Google. Forhåpentligvis Vil Google åpne opp full tilgang Til Soli sensor slik at utviklere er i stand til å utforske hvordan de kan bruke gest anerkjennelse evner det gir på nye og innovative måter.

Utfordringer Ved Å Lage En Trening Et Datasett For Radarbasert Gestegjenkjenning

I et innlegg På Google AI-Bloggen beskriver Google atap-ingeniører noen av utfordringene og hensynene for å legge inn radar i en smarttelefon, for eksempel å gjøre radarbrikken liten og modulær nok til at den kan passe på toppen av en telefon, og legger til filtre for å ta hensyn til vibrasjonsstøy som oppstår når musikk spilles fra telefonen, og maskinlæringsalgoritmer som er i stand til å kjøre på et lavt strømnivå.

en av utfordringene med å skape en robust maskinlæringsmodell, spesielt en som vil være i en enhet i hendene på millioner av forbrukere, er å sørge for at modellen er i stand til å forutsi en gest på en bred og mangfoldig populasjon av brukere. På semantisk nivå er det enkelt for mennesker å skille mellom hva en sveipe eller en flick gest er. Men siden hver person gjør disse bevegelsene på litt forskjellige måter gjennom variasjoner i hastighet, håndvinkel, lengde på bevegelsen; maskinlæringsmodellen for å utlede hvilken gest som oppstår, må være robust nok til å kunne utlede brukerens gest uavhengig av disse forskjellene.

For å sikre at modellene deres var nøyaktige, trente Soli-teamet Sin tensorflow-modell på millioner av bevegelser laget av tusenvis av frivillige. Disse modellene ble deretter optimalisert for å kjøre direkte på Pixel 4s DSP-enhet; slik at telefonen kan gjenkjenne bevegelser selv når hovedprosessoren er slått av — Som Er Hvordan Pixel 4 er i stand til å oppdage at noen beveger seg mot telefonen ved Hjelp Av MotionSense, og deretter slå På FaceUnlock-sensorene for å låse opp telefonen.

Partnerskap Med Infineon

Mens Google utviklet maskinlæringsalgoritmer, signalbehandling og ux-mønstre for samhandling Med Soli, utviklet Det tyske selskapet Infineon radarbrikken som er en del av Prosjektet Soli system. Mens det er mulig å kjøpe utviklingssett fra Infineon, streamer de bare rå radardata-ingen behandlede signalfunksjoner som kan brukes til å trene en maskinlæringsmodell for å gjenkjenne bevegelser eller tilstedeværelse.

I DERES SSIGRAPH-papir, Soli: Allestedsnærværende Gesture Sensing with Millimeter Wave Radar, beskriver ATAP-forfatterne ET HAL (Hardware Abstraction Layer) som et sett med abstraksjoner som vil tillate Project Soli å jobbe på tvers av forskjellige radarsensorarkitekturer fra forskjellige produsenter. Dette vil tillate Google å ha fleksibilitet til å bruke det samme settet Med Soli – funksjons primitiver på tvers av ulike typer radar, samtidig som de samme interaksjonsmønstrene holdes på høyt nivå.

Eksempelapplikasjoner Fra Alpha Dev-Programmet

Deltakere i Soli Alpha Dev-Programmet ble oppfordret til å publisere vårt arbeid i akademiske publikasjoner; noen medlemmer opprettet også demoer for presentasjon på ulike blogger, inkludert:

• Nye musikalske grensesnitt (Demo video)
• en i luften gestural keyboard
• verdens minste fiolin
• Bruke Soli å identifisere objekter for robotarm kontroll

HCI-avdelingen Ved Universitetet I St. Andrews produserte en robust arbeidsgruppe som medlemmer av Alpha dev — programmet, inkludert

• Radar Kategorisering for Inngangsgjenkjenning-forfatterne presenterer RadarCat, et system som er i stand til å diskriminere mellom «26 materialer (inkludert komplekse komposittobjekter), neste med 16 gjennomsiktige materialer (med forskjellig tykkelse og varierende farger) og til slutt 10 kroppsdeler fra 6 deltakere»
• Håndgripelig UI etter Objekt Og Materialklassifisering med Radar — fortsetter sitt arbeid Fra RadarCat; forfatterne beskriver også virkelige applikasjonsscenarier som dette systemet kan brukes i, inkludert selvkassesystemer og smarte medisinske enheter.
• Utforske Konkrete Interaksjoner Med Radar Sensing-utforske «radar som en plattform for sensing konkret interaksjon med telling, bestilling, identifisering av objekter og sporing av orientering, bevegelse og avstand av disse objektene».

noen av prosjektene Fra Alpha Developer program ble vist frem i en video som ble presentert i oppdateringen FRA ATAP på neste års i/O-arrangement (2016):

Google Papers

Medlemmer Av Google Atap publiserte også artikler om sitt arbeid Med Project Soli:

• Soli: Allestedsnærværende Gest Sensing Med Millimeterbølge Radar-SIGGRAPH 2016
• En Svært Integrert 60 GHz 6-Kanals Transceiver Med Antenne I Pakken For Smart Sensing Og Kort Rekkevidde Kommunikasjon — IEEE 2016
• Samspill Med Soli: Utforske Finkornet Dynamisk Gest Anerkjennelse I Radiofrekvensspekteret-UIST 2016
• En To-Tone Radar Sensor For Samtidig Påvisning Av Absolutt Avstand og Relativ Bevegelse For Gest Sensing-Ieee Sensorer Bokstaver 2017

Egenskaper for mm-bølge Radar Og Det Er Affordances

Radar sensing er basert på å oppdage endrede bevegelsesmønstre av et objekt i rommet. Radiobølger overføres fra radaren, sprett av et mål (en menneskelig hånd i bevegelse), og deretter mottas av radarens antenner. Den tidsbestemte forskjellen mellom når bølgene sendes og når de mottas, brukes til å lage en profil av objektet som er i radarens bane.

ved menneskelige bevegelser beveger hånden sin posisjon gjennom 3D-rom mens den er i synsfeltet til en radarsensor. Posisjonsendringene gir forskjellige profiler for de spratt av radarsignaler, noe som gjør det mulig å oppdage forskjellige bevegelser.

siden radaren registrerer bevegelser basert på ulike bevegelsesegenskaper, er den ikke godt egnet for å oppdage statiske bevegelser, for eksempel tegnspråk eller et fredsskilt. Det er imidlertid godt egnet for å oppdage dynamiske, bevegelsesbaserte bevegelser, som en finger snap eller en nøkkel-svingbevegelse.

i Motsetning til optiske baserte sensorer, er radarens ytelse ikke avhengig av belysning, kan arbeide gjennom materialer, og til og med oppdage bevegelser som oppstår når fingrene kan okkludere hverandre.

Mikrobevegelser kan defineres som «interaksjoner som involverer små mengder bevegelse og de som utføres primært av muskler som kjører fingrene og artikulerer håndleddet, i stedet for de som involverer større muskelgrupper for å unngå tretthet over tid». Noen eksempler på disse typer bevegelser gjør bevegelsen av å trykke på en knapp ved å trykke pekefingeren mot tommelen, gjør en skyvebevegelse ved å bevege tommelen mot overflaten av pekefingeren, og gjør en bevegelse som ligner på å dreie en skive med fingrene og håndleddet.

disse bevegelsene kan brukes i en rekke sammenhenger (IOT, AR / VR, etc) for å samhandle med brukergrensesnittelementer.

Fremtidige Forbrukerelektronikkprodukter Fra Google

Google ser ut Til å jobbe med å integrere Soli i nye produkter; En jobbannonse for En «Intelligence Sensor Algorithms Engineer, Google Nest «lister» Erfaring Med Å Jobbe Med Radar » som en foretrukket kvalifikasjon. En av De tidlige demonstrasjonene Av Soli viste radaren integrert i en smart høyttaler FRA JBL; Det ville ikke være overraskende For Soli å bli integrert i et forbrukerelektronikkprodukt eller husholdningsapparat.

Et Annet Prosjekt Soli demo Som Google viste under samme presentasjon som Jordstyrt jbl høyttaler var en smartwatch Med Soli inne (Google selv arkivert et patent for en gest-basert smartwatch som kan brukes til videokonferanser).

I det som mest sannsynlig er et mye lengre ut scenario, Har Google uttalt at utover å bruke sensorer Som Soli for gestgjenkjenning, at «i fremtiden vil Vi lage enheter som kan forstå kroppsspråket ditt, så De er mer intuitive å bruke og mer nyttige». Selv om det er opp til spekulasjoner om hva det kan bety og se ut i praksis, er en potensiell brukstilfelle her at telefonens kunne oppdage den følelsesmessige tilstanden til folk i nærheten; muliggjør affektive databehandlingsgrensesnitt. (En grundigere diskusjon av affektiv databehandling er utenfor omfanget av dette innlegget; Jeg vil oppfordre deg til å lese Dette seminal arbeidet Av Rosalind Picard som innførte begrepet for å få litt mer bakgrunn om emnet).

Googles Ambient Computing Future

i Det første publiserte papiret For Project Soli viser forfatterne (Fra Google Atap) flere mulige bruksområder:

• Virtuell Virkelighet
• Wearables og smarte klær
• Tingenes Internett og spillkontrollere
• «Tradisjonelle Enheter» (mobiltelefoner, tabletter, bærbare datamaskiner)

Hvis Alle disse enhetstypene skulle integrere Project Soli, Kunne Google utnytte et universelt gestural rammeverk som alle ville ha til felles. Dette vil gjøre det enkelt for folk å raskt bruke disse nye enhetene, alle i samspill Med Googles utvalg av tjenester.

Ben Thompsons artikkel Om Stratechery,» Google and Ambient Computing», analyserer Googles siste skifte fra å si at De vil bidra til å organisere verdens informasjon, til en som hjelper deg med å få ting gjort.

I sine åpningsanmerkninger På Made by Google 2019 skisserer Google Senior VP Of Devices and Services, Rick Osterloh (som tidligere var leder Av Google ATAP), En visjon Om Google som et selskap som ønsker «å bringe En mer nyttig Google til deg. Sundar Pichai uttalte i keynote av 20193 i / O at «Vi flytter fra et selskap som hjelper deg med å finne svar på et selskap som hjelper deg med å få ting gjort».

Ambient Computing ble først laget av tech journalist Walt Mossberg i sin siste spalte ,» The Disappearing Computer». Det er også referert til som allestedsnærværende eller gjennomgripende databehandling.

for ytterligere lesning om dette området av databehandling, sjekk ut Arbeidet Til Mark Weiser, En Sjefforsker Ved Xerox PARC, spesielt hans 1991 Scientific American artikkel ,» The Computer for the 21st Century». Weiser innførte begrepet allestedsnærværende databehandling, som han beskrev som databehandling i stand til å skje ved hjelp av «hvilken som helst enhet, hvor som helst og i hvilket som helst format».

Thompson gjør det punktet At Googles visjon om ambient computing «konkurrerer ikke med smarttelefonen, men utnytter den heller». Google prøver ikke å finne hva den neste maskinvareplattformen er (Som Facebook gjorde med å anskaffe Oculus FOR VR, Eller Apples full-on push i AR); ratther, de ønsker å skape et økosystem av omgivende enheter som alle sømløst kobler til (muligens bruker smarttelefonen som et nav?) og er intuitive å samhandle med; alle koblet til tjenestene Som Google tilbyr.

Å Ha en enhetlig måte å samhandle med enheter som finnes i en rekke sammenhenger, vil være svært gunstig For Google for å fremme adopsjon av deres ambient computing vision. En liten, lett innebyggbar sensor som kan oppdage bevegelser fra mennesker uavhengig av belysning eller andre atmosfæriske forhold, vil bringe denne visjonen mye nærmere virkeligheten. Dette vil gjøre det enklere for brukerne å engasjere seg med et bredt utvalg av enheter som vil gi tilgang Til Googles tjenester.

Ledetråder Fra Apple Om Adopsjon av mm-Wave Radar

Med den nylige utgivelsen av En LiDAR-kompatibel iPad Pro i tjeneste TIL AR-evner, Ser Apple Ut til å vise en vilje til å sette sensorer av stadig økende kompleksitet (og verktøy) i sine produkter.

I Tillegg Har Apple satt opp minst ett innlegg for roller relatert til radar; En nå inaktiv innlegg På LinkedIn for En Radar Signalbehandling Ingeniør inkluderer følgende i beskrivelsen:

Det føles rettferdig for Meg å si At Apple i Det minste ser på millimeterbølge radar som en sensingmodalitet; når, hvordan og viktigst; hvis et radar-aktivert Apple-produkt noensinne forlater laboratoriene i Cupertino, er Det en Som bare tiden vil kunne fortelle.

min personlige spekulasjon er At Apple vil frigjøre ET ar-headset med radar innebygd for mikrobevis-deteksjon for å øke håndsporingsfunksjonene. I tillegg, som radar blir bedre kjent som en mulig sensing modalitet (takk for Det meste På Grunn Av Project Soli, og uansett hvilke Produkter Google og deres partnere bestemmer seg for å integrere Den i), vil ANDRE AR-og VR-hodesettprodusenter begynne å integrere millimeterbølgeradarchips i hodesettene som en måte å løse problemet med» manglende grensesnitt » nevnt tidligere; sørg for at de fysiske objektene som folk samhandler med VIA AR/VR, har en måte å kartlegge til digital informasjon som presenteres via headsettet.

Konkurranse

det er minst en oppstart som arbeider med millimeterbølgeradar for grensesnitt mellom menneske og maskin; Taiwans KaiKuTek («CoolTech»). De hevder at deres radarbaserte gestusfølersystem kan matche, om Ikke overgå, Googles Prosjekt Soli.

en maskinlærende slutningsbrikke er integrert med radarsensoren; så all slutning er gjort på et sensorsiden beregningsnivå, i motsetning Til Pixel 4s MotionSense-system, hvor sensoren (Soli) og slutningsmotoren er på separate chipkomponenter. Dette er, KaiKuTek hevder, de er i stand til å oppnå en så lav effekt (1 mW) vurdering.

Avsluttende Tanker

Med Project Soli har Google avansert samtalen om hvordan vi samhandler med datamaskiner på tvers av et bredt spekter av modaliteter og sammenhenger. Millimeterbølgeradar gir en lovende måte å samhandle gesturalt med datamaskiner uten å måtte bekymre seg for okklusjon, lysforhold eller lignende begrensende forhold på kamerabaserte systemer.

med det økende tempoet på datamaskiner som er innebygd i flere enheter, kan millimeterbølge radar ende opp med å muliggjøre et mer universelt gestural språk som er kjent på tvers av disse enhetene. Selvfølgelig vil hver produsent uunngåelig ha forskjeller mellom hverandre (Selv Om Google er den første til å bruke mm-wave radar som en sensor for gestural interaksjon, betyr Det ikke at det vil være den siste), det kan ende opp med å gi «like nok» gestural interaksjoner på samme måte som berøringsskjermer er nesten universelle, men hver OEM-leverandør muliggjør forskjellige bevegelser for bruk med berøringsskjermen.

Vedlegg:

jeg har tatt med flere publikasjoner som omhandler millimeterbølgeradar og dens applikasjoner i HCI (ikke nødvendigvis Involverer Project Soli). En god del av disse fokuserer på maskinlæringsteknikkene som brukes til å aktivere bevegelsesgjenkjenning med en radarrørledning.

• One-Shot Læring For Robust Materialklassifisering Ved Hjelp Av Millimeter-Bølge Radar System
• Gjenkjenning Av Håndbevegelser Ved hjelp Av En Radar Echo I-Q Plot Og Convolutional Neural Network
• Robust Bevegelsesgjenkjenning ved Hjelp Av Millimetrisk Bølge Radar System
• Gjenkjenning Av Håndbevegelser basert på Radar Mikro-Doppler Signatur Konvolutter
• Gjenoppfinne radar: Kraften AV 4D sensing
• Gest Anerkjennelse Ved hjelp av mm-Bølge Sensor For Menneske-Bil Grensesnitt
• Kort Rekkevidde Radar-basert Gest Anerkjennelse System ved HJELP AV 3D CNN Med Triplet Tap
• Hånd Gest Anerkjennelse basert På Radar Mikro-Doppler Signatur Konvolutter
• Robust Gest Anerkjennelse ved Hjelp Av Millimetrisk-Bølge Radar System
• TS-I3D basert Hånd Gest gjenkjenningsmetode med RADARSENSOR
• tegngjenkjenning I luftskriving Basert på nettverk Av Radarer For Menneske-Maskin-Grensesnitt
• doppler-Radarbasert GJENKJENNINGSSYSTEM for HÅNDBEVEGELSE Bruke Innviklede Nevrale Nettverk
• Fremkalle Kontaktbaserte Og Kontaktløse Bevegelser Med Radarbaserte Sensorer
• Gjenoppfinne radar: kraften TIL 4d-sensing
• Bevegelsesføling Ved Hjelp Av Radar: Gesteinteraksjon og Utover

Patenter relatert Til Project Soli:

• Bevegelses-Basert Liten Enhetsinngang
• Radarbasert bevegelsesgjenkjenning gjennom en bærbar enhet
• Radargjenkjenningsassisterte Søk
• Radarbasert autentisering
• Radarbasert Sensorfusjon
• bredfeltradarbasert bevegelsesgjenkjenning
• okkludert gestegjenkjenning
• Radarbasert Gestusføling Og Dataoverføring
• smarttelefonbasert radarsystem som letter brukervennlighet og nøyaktighet av brukerinteraksjoner med viste objekter I Et utvidet Virkelighetsgrensesnitt

trykk på artikler om Lansering og Integrasjon av Pixel 4 Med Project Soli:

• Ryktet: Googles Project Soli radar chip kunne debut I Google Pixel 4
• GOOGLES PROJECT Soli: TEKNOLOGIEN bak PIXEL 4S MOTION SENSE RADAR
• Project Soli er den hemmelige stjernen I Googles Pixel 4 selvlekkasje
• Pixel 4 XL hands-on detaljer ‘Face unlock,’ back finish, mer
• Bevegelseskontroll takket Være Infineon-radar-teknologi i Google Pixel 4 Smarttelefon
• Monument Valley ustwo skaper Motion Sense-spill ‘Headed South’ For Google Pixel 4
• MED PIXEL 4, googles eksperimentelle tech spill endelig inn i rampelyset
• google: soli dance dj av swift