Project Soli & den kommende brug af Radar i menneske-maskine grænseflader

Radar er en 85 — årig teknologi, der indtil for nylig ikke har været aktivt implementeret i menneske-maskine grænseflader. Radarbaseret bevægelsessensor gør det muligt at udlede brugerens hensigt på tværs af flere sammenhænge, end optisk kun baseret sporing i øjeblikket tillader.

Googles brug af Project Soli, et radarbaseret gestusgenkendelsessystem, er sandsynligvis det første skridt i yderligere vedtagelse af radar som input til interaktion med vores enheder.

baggrund på Project Soli

på Google I/O 2015 annoncerede atap (Advanced Technology and Projects) – gruppen flere nye initiativer. Disse omfattede:

• Project Abacus — multifaktor brugergodkendelse baseret på brugerplacering, skrivemønstre og stemmemønstre
• Project Vault-et sikkert computermiljø på et MicroSD — kort til enhver platform
• projekt detektion

af disse er Jacard og soli stadig aktive — Jacard er blevet integreret i en række forbrugerprodukter med mode mærker som Levi ‘ s, Saint Laurant og Adidas.

efter at have gennemgået flere prototype-iterationer integrerede Google Soli i punkt 4 som en del af Motion Sense-funktionen, som gør det muligt for telefonen at starte processen med ansigtsgodkendelse, før telefonens ejer endda skal røre ved deres telefon.

kort efter meddelelsen på I/O udsendte ATAP en opfordring til tredjepartsudviklere om at ansøge om Alpha Developer-programmet til Project Soli som en måde at få feedback på deres tidlige fase udviklingssæt. Jeg udfyldte en ansøgning om at udvikle musikbaserede interaktioner med Soli og blev accepteret i programmet.

jeg skrev mere om min erfaring som medlem af alpha developer program Her; hvad jeg ville gøre med dette blogindlæg var at give mere et overblik over mulighederne i millimeterbølgeradar, og hvordan de muliggør visse nye oplevelser og eksperimenter inden for interaktion mellem menneske og computer.

der er skrevet flere akademiske artikler, der udforsker dette område, siden Project Soli blev annonceret, der udforskede forskellige anvendelsesområder, så vi vil se på dem; samt et hurtigt overblik over, hvad millimeterbølgeradar er, og hvilke typer egenskaber der ydes af det.

lad os dog først se på det første kommercielle produkt, der brugte Project Soli, punkt 4.

det første kommercielle produkt, der integrerer Project Soli, er Billed4, udgivet af Google i oktober 2019.

teaser-annoncen antydede, at den nye telefon ville være det første produkt, der blev integreret med Soli; i betragtning af de berøringsfri luftbevægelser, der er vist i den:

Soli-chippen giver tre nye typer funktioner til punkt 4:

tilstedeværelse-takket være radarens evne til at registrere bevægelse i det nærliggende område, hvorfra den er placeret, vil punkt 4 slukke for displayet, der altid er tændt, hvis brugeren af telefonen ikke er i nærheden, mens den er placeret på et bord; derfor er i stand til både at spare batteristrøm og ikke trænge ind i brugerens opmærksomhed

Reach-Soli — sensoren registrerer, om en hånd bevæger sig mod den; vågner skærmen op og aktiverer de frontvendte kameraer til ansigtslåsning

bevægelser

• Flick
• tilstedeværelse
• rækkevidde
• Stryg

9 til 5 Google gjorde en analyse af Pokemon bølge Hello spil, der kommer sammen med de 4 telefoner, og opdagede en enhed plug-in i spillet, der er forbundet til en” Motion Sense Bridge ” program kører på telefonen, der gav spiludviklerne adgang til forskellige gestus parametre:

Flick

• flickConfidence
• flickprediction
• flickRange
• flickVelocity

tilstedeværelse

• presenceconfidence
• presenceprediction
• presencerange
• presencevelocity

reach

• reachasimuth
• reachconfidence
• reachelevation
• reachprediction
• reachrange
• reachvelocity

stryg

• strygamplitude
• Strygtillid
• strygeretning
• strygeintensitet
• strygeforudsigelse
• strygetheta

lige nu har tredjepartsudviklere ikke adgang til MotionSense-bevægelserne, medmindre de har fået adgang til Android internal MotionSense Bridge-appen af Google. Forhåbentlig åbner Google fuld adgang til Soli-sensoren, så udviklere er i stand til at undersøge, hvordan de kan bruge de gestusgenkendelsesfunktioner, den giver på nye og innovative måder.

udfordringer ved at oprette en træning et datasæt til Radarbaseret gestusgenkendelse

i et indlæg på Google AI-bloggen beskriver Google Atap-ingeniører nogle af udfordringerne og overvejelserne for indlejring af radar i en smartphone, såsom at gøre radarchippen lille og modulopbygget nok til, at den kan passe øverst på en telefon, tilføje filtre for at tage højde for vibrationsstøj, der opstår, når musik spiller fra telefonen, og machine learning algoritmer, der er i stand til at køre på et lavt effektniveau.

en af udfordringerne med at skabe en robust maskinindlæringsmodel, især en, der vil være i en enhed i hænderne på millioner af forbrugere, er at sikre, at modellen er i stand til nøjagtigt at forudsige en gestus på tværs af en bred og forskelligartet population af brugere. På det semantiske niveau er det let for mennesker at skelne mellem, hvad en Stryg eller en flickbevægelse er. Imidlertid, da hver person foretager disse bevægelser på lidt forskellige måder gennem variationer i hastighed, håndvinkel, gestusens længde; maskinindlæringsmodellen til at udlede, hvilken gestus der opstår, skal være robust nok til at være i stand til korrekt at udlede brugerens gestus uanset disse forskelle.

for at sikre, at deres modeller var nøjagtige, trænede Soli-teamet deres Tensorstrømsmodel på millioner af bevægelser foretaget af tusinder af frivillige. Disse modeller blev derefter optimeret til at køre direkte på DSP 4 ‘ s DSP-enhed; gør det muligt for telefonen at genkende bevægelser, selv når hovedprocessoren er slukket — hvilket er, hvordan punkt 4 er i stand til at opdage, at nogen bevæger sig mod telefonen ved hjælp af MotionSense, og tænd derefter FaceUnlock-sensorerne for at låse telefonen op.

partnerskab med Infineon

mens Google udviklede maskinlæringsalgoritmer, signalbehandling og mønstre til interaktion med Soli, udviklede det tyske firma Infineon radarchippen, der er en del af Project Soli-systemet. Selvom det er muligt at købe udviklingssæt fra Infineon, streamer de kun rå radardata — ingen behandlede signalfunktioner, der kan bruges til at træne en maskinindlæringsmodel til at genkende bevægelser eller tilstedeværelse.

i deres ssigraph-papir, Soli: allestedsnærværende bevægelsessensor med Millimeterbølgeradar, beskriver atap-forfatterne et HAL (Udstyrsabstraktionslag) som et sæt abstraktioner, der gør det muligt for Project Soli at arbejde på tværs af forskellige radarsensorarkitekturer fra forskellige producenter. Dette ville give Google mulighed for at have fleksibilitet til at bruge det samme sæt soli-funktionsprimitiver på tværs af forskellige typer radar, samtidig med at de samme interaktionsmønstre på højt niveau opretholdes.

eksempler på applikationer fra Alpha Dev-programmet

deltagere i Soli Alpha Dev-programmet blev opfordret til at offentliggøre vores arbejde i akademiske publikationer; nogle medlemmer oprettede også demoer til udstillingsvindue på forskellige blogs, herunder:

• nye musikalske grænseflader (Demo video)
• et gestural tastatur i luften
• verdens mindste violin
• brug af Soli til at identificere objekter til robotarmstyring

HCI-afdelingen ved University of St. Som medlemmer af Alpha Dev-programmet, inklusive

• Radarkategorisering til Inputgenkendelse — forfatterne præsenterer RadarCat, et system, der er i stand til at skelne mellem “26 materialer (inklusive komplekse sammensatte objekter), næste med 16 gennemsigtige materialer (med forskellig tykkelse og varierende farvestoffer) og endelig 10 kropsdele fra 6 deltagere”
• håndgribelig brugergrænseflade efter objekt — og Materialeklassifikation med Radar-fortsætter deres arbejde fra RadarCat med en; forfatterne beskriver også virkelige applikationsscenarier, som dette system kunne bruges i, herunder selvbetjeningssystemer og smart medicinsk udstyr.
• udforskning af håndgribelige interaktioner med radarsensor — udforskning af “radar som en platform til sensing af håndgribelig interaktion med tælling, bestilling, identifikation af objekter og sporing af disse objekters orientering, bevægelse og afstand”.

nogle af projekterne fra Alpha Developer-Programmet blev vist i en video, der blev præsenteret i opdateringen fra ATAP ved det følgende års I / O-begivenhed (2016):

Google Papers

medlemmer af Google atap offentliggjorde også papirer om deres arbejde med Project Soli:

• Soli: allestedsnærværende Gestussensor med Millimeterbølgeradar-SIGGRAPH 2016
• en stærkt integreret 60 GTS 6-kanals Transceiver med antenne i Pakke til Smart Sensing og kortrækkende kommunikation — IEEE 2016
• interaktion med Soli: Udforskning af finkornet dynamisk gestusgenkendelse i radiofrekvensspektret-UIST 2016
• en tofarvet radarsensor til samtidig detektion af absolut afstand og relativ bevægelse til bevægelsessensor-IEEE sensorer bogstaver 2017

egenskaber af mm-bølge Radar og det er Affordances

Radar sensing er baseret på at detektere de skiftende mønstre af bevægelse af et objekt i rummet. Radiobølger overføres fra radaren, hoppe af et mål (en menneskelig hånd i bevægelse), og derefter re-modtaget af radaren antenner. Den tidsbestemte forskel mellem, hvornår bølgerne sendes, og når de modtages, bruges til at oprette en profil af objektet, der er i radarens sti.

i tilfælde af menneskelige bevægelser bevæger hånden sin position gennem 3D-rummet, mens den er i synsfeltet for en radarsensor. Positionsændringerne producerer forskellige profiler til de afviste radarsignaler, hvilket gør det muligt at registrere forskellige bevægelser.

da radar registrerer bevægelser baseret på forskellige bevægelsesegenskaber, er den ikke velegnet til at detektere statiske bevægelser, såsom tegnsprog eller et Fredstegn. Det er dog velegnet til at detektere dynamiske, bevægelsesbaserede bevægelser, som en finger snap eller en nøglevendende bevægelse.

i modsætning til optiske baserede sensorer er radarens ydeevne ikke afhængig af belysning, kan arbejde gennem materialer og endda registrere bevægelser, der opstår, når fingrene kan lukke hinanden.

mikrobevægelser kan defineres som “interaktioner, der involverer små mængder bevægelse, og dem, der primært udføres af muskler, der kører fingrene og artikulerer håndleddet, snarere end dem, der involverer større muskelgrupper for at undgå træthed over tid”. Nogle eksempler på disse typer bevægelser gør bevægelsen af at trykke på en knap Ved at trykke på pegefingeren mod tommelfingeren, lave en skyderbevægelse ved at flytte tommelfingeren mod overfladen af pegefingeren og lave en bevægelse svarende til at dreje en urskive med fingrene og håndleddet.

disse bevægelser kunne bruges i forskellige sammenhænge (IoT, AR/VR osv.) til interaktion med brugergrænsefladeelementer.

fremtidige forbrugerelektronikprodukter fra Google

Google ser ud til at arbejde på at integrere Soli i nye produkter; en jobannonce for en “Intelligence Sensor Algorithms Engineer, Google Nest” viser “erfaring med at arbejde med Radar” som en foretrukken kvalifikation. En af de tidlige demoer af Soli viste radaren integreret i en smart højttaler fra JBL; det ville ikke være overraskende for Soli at blive integreret i et forbrugerelektronikprodukt eller husholdningsapparat.

en anden Project Soli-demo, som Google viste under den samme præsentation som den Jordstyrede JBL-højttaler, var et Smartur med Soli indeni (Google indgav endda et patent på et gestusbaseret Smartur, der kunne bruges til videokonferencer).

i det, der sandsynligvis er et meget længere scenarie, har Google udtalt, at ud over at bruge sensorer som Soli til gestusgenkendelse, at “i fremtiden vil vi oprette enheder, der kan forstå dit kropssprog, så de er mere intuitive at bruge og mere nyttige”. Selvom det er op til spekulationer om, hvad det præcist kan betyde og se ud i praksis, er en potentiel brugssag her, at telefonens kunne opdage den følelsesmæssige tilstand hos mennesker i nærheden; muliggør affektive computergrænseflader. (En mere grundig diskussion af affektiv computing er uden for rammerne af dette indlæg; Jeg vil opfordre dig til at læse dette skelsættende arbejde af Rosalind Picard, der opfandt udtrykket for at få lidt mere baggrund om emnet).

Googles Ambient Computing Future

i det første offentliggjorte papir til Project Soli viser forfatterne (fra Google Atap) flere mulige applikationsområder:

• Virtual Reality
• bærbare og smarte beklædningsgenstande
• Internet af ting og spilcontrollere
• “traditionelle enheder” (mobiltelefoner, tablets, laptops)

hvis alle disse enhedstyper skulle integrere Project Soli, kunne Google udnytte en universel gestural ramme, som alle af dem ville have til fælles. Dette ville gøre det nemt for folk at hurtigt bruge disse nye enheder, alle interagerer med Googles vifte af tjenester.

Ben Thompsons artikel om Stratechery, “Google og Ambient Computing”, analyserer Googles nylige skift fra at sige, at de vil hjælpe med at organisere verdens information til en, der hjælper dig med at få tingene gjort.

i sine indledende bemærkninger på Made by Google 2019, Google Senior VP for enheder og tjenester, Rick Osterloh (som tidligere var leder af Google Atap), skitserer en vision om Google som et firma, der ønsker “at bringe en mere nyttig Google til dig.”Sundar Pichai sagde i keynote of 20193 I/O, at “vi flytter fra et firma, der hjælper dig med at finde svar på et firma, der hjælper dig med at få tingene gjort”.

Ambient Computing blev først opfundet af tech journalist valt Mossberg i sin sidste kolonne, “den forsvindende Computer”. Det kaldes også allestedsnærværende eller gennemgribende computing.

for nogle yderligere læsning på dette område af computing, tjek arbejdet i Mark Viiser, en chef videnskabsmand på PARC, især hans 1991 Scientific American artikel, “computeren for det 21.århundrede”. Udtrykket allestedsnærværende computing, som han beskrev som computing, der kunne forekomme ved hjælp af “enhver enhed, hvor som helst og i ethvert format”.

Thompson gør det punkt, at Googles vision om ambient computing “ikke konkurrerer med smartphonen, men snarere udnytter den”. Google forsøger ikke at finde, hvad den næste maskinplatform er (som Facebook gjorde med at erhverve Oculus til VR eller Apples fulde skub i AR); ratther, de søger at skabe et økosystem af omgivende enheder, som alle problemfrit forbinder (muligvis ved hjælp af smartphone som hub?) og er intuitive at interagere med; alle forbundet til de tjenester, som Google leverer.

at have en samlet måde at interagere med enheder, der findes i forskellige sammenhænge, ville være enormt gavnligt for Google i at fremme vedtagelsen af deres ambient computing vision. En lille, let indlejres sensor, der kan registrere bevægelser fra mennesker uanset belysning eller andre atmosfæriske forhold, ville bringe denne vision meget tættere på virkeligheden. Dette ville gøre det lettere for brugerne at engagere sig med en lang række enheder, der ville give adgang til Googles tjenester.

ledetråde fra Apple om vedtagelse af mm-Bølgeradar

med den nylige frigivelse af en LiDAR-kompatibel iPad Pro i brug til AR-kapaciteter, ser Apple ud til at vise en vilje til at sætte sensorer med stadigt stigende kompleksitet (og nytte) i deres produkter.

Derudover har Apple lagt mindst et indlæg til roller relateret til radar; en nu inaktiv udstationering på LinkedIn til en Radarsignalbehandlingsingeniør inkluderer følgende i sin beskrivelse:

det føles rimeligt for mig at sige, at Apple i det mindste ser på millimeterbølgeradar som en sensormodalitet; hvornår, hvordan og vigtigst af alt; hvis et radaraktiveret Apple-produkt nogensinde forlader laboratorierne i Cupertino, er det en, som kun tiden vil kunne fortælle.

min personlige spekulation er, at Apple vil frigive et AR-headset med radar indbygget til mikro-gestusdetektion for at øge deres håndsporingsfunktioner. Derudover, da radar bliver bedre kendt som en mulig sensing modalitet (tak hovedsagelig på grund af Project Soli, og uanset hvilke produkter Google og deres partnere beslutter at integrere det i), vil andre ar-og VR-headsetproducenter begynde at integrere millimeterbølgeradarchips i deres headset som en måde at løse det “manglende interface” – problem, der er nævnt tidligere; sørg for, at de virkelige fysiske objekter, som folk interagerer med via AR/VR, har en måde at kortlægge til digital information, der præsenteres via headsettet.

konkurrence

der er mindst en opstart, der arbejder på millimeterbølgeradar til grænseflader mellem mennesker og maskiner; Kaikutek (“CoolTech”). De hævder, at deres radar-baserede gestus sensing system kan matche, hvis ikke overgå, Googles projekt Soli.

en Machine-Learning inferens chip er integreret med radarsensoren; så al indledning sker på et Sensor-side beregningsniveau, i modsætning til punkt 4 ‘ s MotionSense-system, hvor sensoren (Soli) og inferensmotoren er på separate chipkomponenter. Dette er, hævder KaiKuTek, de er i stand til at opnå en så lav effekt (1 MVV) rating.

Afsluttende tanker

med Project Soli har Google avanceret samtalen om, hvordan vi interagerer med computere på tværs af en lang række modaliteter og sammenhænge. Millimeterbølgeradar tilbyder en lovende måde at gestisk interagere med computere uden at skulle bekymre sig om okklusion, lysforhold eller lignende begrænsende forhold, der pålægges kamerabaserede systemer.

med det stigende tempo i computere, der er indlejret i flere enheder, kan millimeterbølgeradar ende med at muliggøre et mere universelt gestussprog, der er kendt på tværs af disse enheder. Selvfølgelig vil hver producent uundgåeligt have forskelle mellem hinanden (selvom Google er den første til at bruge mm-bølgeradar som en sensor til gestusinteraktion, betyder det ikke, at det vil være det sidste), det kan ende med at give “lignende nok” gestusinteraktioner på samme måde som berøringsskærme er næsten universelle, men hver OEM-leverandør muliggør forskellige bevægelser til brug med berøringsskærmen.

Appendiks:

jeg har inkluderet yderligere publikationer, der beskæftiger sig med millimeterbølgeradar og dens applikationer i HCI (ikke nødvendigvis involverer Project Soli). En god del af disse fokuserer på maskinlæringsteknikker, der bruges til at muliggøre gestusgenkendelse med en radarrørledning.

• One-Shot-læring til Robust Materialeklassificering ved hjælp af Millimeterbølgeradarsystem
• Håndbevægelsesgenkendelse ved hjælp af et Radarekko i-K-Plot og indviklet neuralt netværk
• Robust gestusgenkendelse ved hjælp af Millimetrisk Bølgeradarsystem
• Håndbevægelsesgenkendelse baseret på Radar mikro-Doppler Signaturkonvolutter
• Genopfind radar: Kraften ved 4D-sensing
• gestusgenkendelse ved hjælp af mm-Bølgesensor til Interface mellem mennesker og biler
• kort rækkevidde Radar-baseret Gestusgenkendelsessystem ved hjælp af 3D CNN med Triplet-tab
• Håndbevægelsesgenkendelse baseret på Radar mikro-Doppler Signaturkonvolutter
• Robust gestusgenkendelse ved hjælp af Millimetrisk Bølgeradarsystem
• TS-I3D-baseret håndbevægelse genkendelsesmetode med radarsensor
• tegngenkendelse i luftskrivning baseret på netværk af radarer til grænseflade mellem menneske og maskine
• Doppler-Radarbaseret HÅNDBEVÆGELSESGENKENDELSESSYSTEM Brug af indviklede neurale netværk
• fremkaldelse af Kontaktbaserede og kontaktløse bevægelser med Radarbaserede sensorer
• Genopfind radar: kraften i 4D-sensing
• bevægelsessensor ved hjælp af Radar: Gestusinteraktion Og videre

patenter relateret til Project Soli:

• gestusbaseret lille Enhedsindgang
• Radarbaseret gestusgenkendelse gennem en bærbar enhed
• Radargenkendelsesstøttede søgninger
• Radarbaseret godkendelse
• Radaraktiveret sensorfusion
• bredfeltradarbaseret gestusgenkendelse
• okkluderet gestusgenkendelse
• Radarbaseret Gestussensor og datatransmission
• smartphone-baseret radarsystem, der letter lethed og nøjagtighed af brugerinteraktioner med viste objekter i en augmented reality-grænseflade

presseartikler om de viste objekter i en augmented reality-grænseflade

4 Lancering og Integration med Project Soli:

• rygte: Googles projekt Soli radarchip kunne debutere i Google 4
• Googles projekt Soli: 4 ‘s MOTION SENSE RADAR
• Project Soli er den hemmelige stjerne i Googles punkt 4 selvlækage
• punkt 4 hands-on detaljer’ Face unlock, ‘back finish, mere
• Gesture control takket være Infineon-radar teknologi i Google punkt 4 Smartphone
• Monument Valley’ s usto skaber Motion Sense spil ‘Headed South’ for Google punkt 4 4
• med punkt 4 går Googles eksperimentelle tech-væddemål endelig ind i rampelyset
• Google: soli dance dj af hurtig