Project Soli & den kommande användningen av Radar i gränssnitt mellan människa och maskin

Radar är en 85-årig teknik som fram till nyligen inte har använts aktivt i gränssnitt mellan människa och maskin. Radarbaserad gestavkänning tillåter användarens avsikt att härledas över fler sammanhang än optisk endast baserad spårning tillåter för närvarande.

Googles användning av Project Soli, ett radarbaserat gestigenkänningssystem, i Pixel 4-serien av telefoner är sannolikt det första steget i ytterligare antagande av radar som en ingång för att interagera med våra enheter.

Bakgrund på Project Soli

på Google I/O 2015 tillkännagav ATAP-gruppen (Advanced Technology and Projects) flera nya initiativ. Dessa inkluderade:

• Project Abacus — multifaktoranvändarautentisering baserad på användarens plats, skrivmönster och röstmönster
• Project Vault-en säker datormiljö på ett MicroSD — kort, för vilken plattform som helst
• Project Jacquard — ledande tråd inbäddad i massproducerbara textilier för att skapa bärbara baserade interaktioner
• Project Soli-en liten radarsensor som kan upptäcka mikro-gest

av dessa är Jacquard och soli fortfarande aktiva — Jacquard har integrerats i en mängd olika konsumentprodukter med mode etiketter som Levi ’ s, Saint Laurant och Adidas.

efter att ha gått igenom flera prototyper iterationer integrerade Google Soli i Pixel 4 som en del av Motion Sense-funktionen, vilket gör att telefonen kan starta processen med ansiktsautentisering innan telefonens ägare ens måste röra sin telefon.

strax efter tillkännagivandet på I/O, ATAP släcka en uppmaning till tredjepartsutvecklare att ansöka om Alpha Developer program för Project Soli, som ett sätt att få feedback på deras tidiga utvecklingspaket. Jag fyllde i en ansökan för att utveckla musikbaserade interaktioner med Soli och accepterades i programmet.

jag skrev mer om min erfarenhet som medlem i alpha developer program här; vad jag ville göra med det här blogginlägget var att ge mer av en översikt över funktionerna i millimetervågradar, och hur de möjliggör vissa nya erfarenheter och experiment inom människa-datorinteraktion.

det har skrivits flera akademiska artiklar om detta område sedan Project Soli tillkännagavs utforska olika applikationsområden, så vi tittar på dem; samt en snabb översikt över vad millimetervågradar är och vilka typer av egenskaper som erbjuds av den.

först men låt oss ta en titt på den första kommersiella produkten att använda Project Soli, Pixel 4.

den första kommersiella produkten som integrerar Project Soli är Pixel4, som släpptes av Google i oktober 2019.

teaser-ad antydde att den nya telefonen skulle vara den första produkten som skulle integreras med Soli; med tanke på de beröringsfria luftgester som visas i den:

Soli-chipet ger tre nya typer av funktioner för Pixel 4:

närvaro – tack vare radars förmåga att upptäcka rörelse i det närliggande området där den placeras, kommer Pixel 4 att stänga av den alltid på displayen om användaren av telefonen inte är i närheten medan den placeras på ett bord; därför kan både spara batteriström och inte inkräkta på användarens uppmärksamhet

räckvidd — Soli-sensorn kommer att upptäcka om en hand rör sig mot den; vakna upp skärmen och aktivera de framåtvända kamerorna för ansiktslåsning

gester

• Flick
• närvaro
• nå
• Svep

9 till 5 Google gjorde en analys av Pokemon Wave Hello spel som levereras med Pixel 4 telefoner, och upptäckte en Unity plug – in i spelet som är ansluten till en” Motion Sense Bridge ” program som körs på telefonen som gav spelutvecklare tillgång till olika gest parametrar:

Flick

• flickConfidence
• flickDirection
• flickPrediction
• flickRange
• flickVelocity

närvaro

• presenceconfidence
• presenceprediction
• presencerange
• presencevelocity

reach

• reachazimuth
• reachconfidence
• reachelevation
• reachprediction
• reachrange
• reachvelocity

svep

• swipeamplitude
• swipeconfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

just nu har tredjepartsutvecklare inte tillgång till MotionSense-gesterna om de inte har fått tillgång till Android internal MotionSense Bridge-appen av Google. Förhoppningsvis kommer Google att öppna full åtkomst till Soli-sensorn så att utvecklare kan utforska hur de kan använda gestigenkänningsfunktionerna på nya och innovativa sätt.

utmaningar för att skapa en utbildning en Dataset för Radarbaserad gest erkännande

i ett inlägg på Google AI blogg, Google ATAP ingenjörer beskriva några av de utmaningar och överväganden för att bädda radar i en smartphone, såsom att göra radarchip liten och modulär nog att den kan passa på toppen av en telefon, lägga till filter för att ta hänsyn till musik spelas från telefonen och maskininlärningsalgoritmer som kan köras på låg effektnivå.

en av utmaningarna med att skapa en robust maskininlärningsmodell, särskilt en som kommer att vara i en enhet i händerna på miljontals konsumenter, är att se till att modellen kan exakt förutsäga en gest över en bred och mångfaldig befolkning av användare. På semantisk nivå är det lätt för människor att skilja vad en svepning eller en flickgest är. Men eftersom varje person gör dessa gester på något olika sätt genom variationer i hastighet, handvinkel, gestlängd; maskininlärningsmodellen för att dra slutsatsen vilken gest som inträffar måste vara tillräckligt robust för att kunna dra slutsatsen om användarens gest oavsett dessa skillnader.

för att se till att deras modeller var korrekta tränade Soli-teamet sin TensorFlow-modell på miljontals gester gjorda av tusentals volontärer. Dessa modeller optimerades sedan för att köras direkt på Pixel 4S DSP-enhet; aktivera telefonen att känna igen gester även när huvudprocessorn är avstängd — vilket är hur Pixel 4 kan upptäcka är att någon rör sig mot telefonen med MotionSense och sedan slå på FaceUnlock-sensorerna för att låsa upp telefonen.

partnerskap med Infineon

medan Google utvecklade maskininlärningsalgoritmer, signalbehandling och UX-mönster för att interagera med Soli, utvecklade det tyska företaget Infineon radarchipet som ingår i Project Soli-systemet. Även om det är möjligt att köpa utvecklingssatser från Infineon, strömmar de bara råa radardata — inga bearbetade signalfunktioner som kan användas för att träna en maskininlärningsmodell för att känna igen gester eller närvaro.

i deras ssigraph papper, Soli: Ubiquitous Gesture Sensing med Millimetervågradar, beskriver ATAP-författarna ett Hal (Hardware Abstraction Layer) som en uppsättning abstraktioner som skulle göra det möjligt för Project Soli att arbeta över olika radarsensorarkitekturer från olika tillverkare. Detta skulle göra det möjligt för Google att ha flexibiliteten att använda samma uppsättning Soli-funktionsprimitiv över olika typer av radar samtidigt som samma interaktionsmönster på hög nivå bibehålls.

exempel på applikationer från Alpha Dev-programmet

deltagarna i Soli Alpha Dev-programmet uppmuntrades att publicera vårt arbete i akademiska publikationer; vissa medlemmar skapade också demos för showcase på olika bloggar, inklusive:

• nya musikaliska gränssnitt (Demo video)
• en in-air gestural tangentbord
• världens minsta violin
• använda Soli för att identifiera objekt för robotarm kontroll

hci institutionen vid University of St. Andrews producerade en robust arbetsgrupp som medlemmar I Alpha Dev-programmet, inklusive

• Radarkategorisering för Inmatningsigenkänning — författarna presenterar RadarCat, ett system som kan skilja mellan ”26 material (inklusive komplexa kompositobjekt), nästa med 16 transparenta material (med olika tjocklek och varierande färgämnen) och slutligen 10 kroppsdelar från 6 deltagare”
• påtagligt användargränssnitt efter objekt och Materialklassificering med Radar-fortsätter sitt arbete från RadarCat; författarna beskriver också verkliga applikationsscenarier som detta system kan användas i, inklusive självutcheckningssystem och smarta medicintekniska produkter.
• Exploring konkreta interaktioner med Radar Sensing — exploring ”radar som en plattform för avkänning påtaglig interaktion med räkning, beställning, identifiering av objekt och spåra orientering, rörelse och avstånd av dessa objekt”.

några av projekten från Alpha Developer-programmet presenterades i en video som presenterades i uppdateringen från ATAP vid följande års I / O-evenemang (2016):

Google Papers

medlemmar i Google ATAP publicerade också artiklar om sitt arbete med Project Soli:

• Soli: allestädes närvarande Gestavkänning med Millimetervågradar-SIGGRAPH 2016
• en mycket integrerad 60 GHz 6-kanals Transceiver med antenn i paket för Smart avkänning och kortdistanskommunikation — IEEE 2016
• interagera med Soli: Utforska finkornig dynamisk gestigenkänning i radiofrekvensspektrumet-UIST 2016
• en tvåfärgad radarsensor för samtidig detektering av absolut avstånd och relativ rörelse för Gestavkänning — IEEE-sensorer bokstäver 2017

egenskaper hos mm-vågradar och det är Affordances

Radaravkänning är baserad på att detektera de förändrade rörelsemönstren för ett objekt i rymden. Radiovågor överförs från radaren, studsar av ett mål (en mänsklig hand i rörelse) och mottas sedan av radarens antenner. Tidsskillnaden mellan när vågorna skickas och när de tas emot används för att skapa en profil för objektet som finns i radarens väg.

när det gäller mänskliga gester flyttar handen sin position genom 3D-utrymme medan den är i siktlinjen för en radarsensor. Positionsändringarna ger olika profiler för de studsade radarsignalerna, vilket gör det möjligt att upptäcka olika gester.

eftersom radar upptäcker gester baserat på olika rörelseegenskaper är den inte väl lämpad för att upptäcka statiska gester, till exempel teckenspråk eller ett fredstecken. Det är dock väl lämpat för att upptäcka dynamiska, rörelsebaserade gester, som en fingerknäpp eller en nyckelvridningsrörelse.

till skillnad från optiska baserade sensorer är radars prestanda inte beroende av belysning, kan arbeta genom material och till och med upptäcka gester som uppstår när fingrarna kan ockludera varandra.

Mikrogester kan definieras som”interaktioner som involverar små mängder rörelse och de som utförs främst av muskler som driver fingrarna och artikulerar handleden, snarare än de som involverar större muskelgrupper för att undvika trötthet över tiden”. Några exempel på dessa typer av gester gör rörelsen att trycka på en knapp genom att trycka på pekfingret mot tummen, göra en skjutrörelse genom att flytta tummen mot pekfingret och göra en rörelse som liknar att vrida en ratt med fingrarna och handleden.

dessa gester kan användas i en mängd olika sammanhang (IoT, AR/VR, etc) för att interagera med användargränssnittselement.

framtida konsumentelektronikprodukter från Google

Google verkar arbeta med att integrera Soli i nya produkter; en platsannons för en ”Intelligence Sensor Algorithms Engineer, Google Nest ”listar” erfarenhet av att arbeta med Radar” som en föredragen kvalifikation. En av de tidiga demonstrationerna av Soli visade radaren integrerad i en smart högtalare från JBL; det skulle inte vara förvånande att Soli skulle integreras i en konsumentelektronikprodukt eller hushållsapparat.

en annan Project Soli-demo som Google visade under samma presentation som den Jordstyrda JBL-högtalaren var en smartwatch med Soli inuti (Google lämnade till och med ett patent för en gestbaserad smartwatch som kunde användas för videokonferenser).

i det som troligen är ett mycket längre scenario har Google sagt att utöver att använda sensorer som Soli för gestigenkänning, att ”i framtiden vill vi skapa enheter som kan förstå ditt kroppsspråk, så att de är mer intuitiva att använda och mer användbara”. Även om det är upp till spekulationer om vad exakt det kan betyda och se ut i praktiken, är ett potentiellt användningsfall här att telefonen kan upptäcka det emotionella tillståndet hos människor i närheten.möjliggör affektiva datorgränssnitt. (En mer grundlig diskussion om affektiv databehandling ligger utanför ramen för detta inlägg; Jag skulle uppmuntra dig att läsa detta seminalarbete av Rosalind Picard som myntade termen för att få lite mer bakgrund om ämnet).

Googles Ambient Computing Future

i det första publicerade papperet för Project Soli listar författarna (från Google ATAP) flera möjliga applikationsområden:

• virtuell verklighet
• Wearables och smarta kläder
• sakernas Internet och spelkontroller
• ”traditionella enheter” (mobiltelefoner, surfplattor, bärbara datorer)

om alla dessa enhetstyper skulle integrera Project Soli kunde Google utnyttja en universell gestural ram som alla skulle ha gemensamt. Detta skulle göra det enkelt för människor att snabbt använda dessa nya enheter, alla interagerar med Googles utbud av tjänster.

Ben Thompsons artikel om Stratechery, ”Google och Ambient Computing”, analyserar Googles senaste övergång från att säga att de vill hjälpa till att organisera världens information, till en som hjälper dig att få saker gjorda.

i sina inledande kommentarer på Made by Google 2019, Google Senior VP of Devices and Services, Rick Osterloh (som tidigare var chef för Google ATAP), skisserar en vision av Google som ett företag som vill ”ta med ett mer användbart Google till dig.”Sundar Pichai uttalade i keynote of 20193 I / O att ”vi flyttar från ett företag som hjälper dig att hitta svar på ett företag som hjälper dig att få saker gjorda”.

Ambient Computing myntades först av teknikjournalisten Walt Mossberg i sin sista kolumn, ”The Disappearing Computer”. Det kallas också allestädes närvarande eller genomgripande databehandling.

för ytterligare läsning om detta område av datorer, kolla in arbetet med Mark Weiser, en chefsforskare vid Xerox PARC, särskilt hans vetenskapliga amerikanska artikel från 1991, ”the Computer for the 21st Century”. Weiser myntade termen ubiquitous computing, som han beskrev som databehandling som kan ske med ”vilken enhet som helst, på vilken plats som helst och i vilket format som helst”.

Thompson påpekar att Googles vision om omgivande databehandling”inte konkurrerar med smarttelefonen utan snarare utnyttjar den”. Google försöker inte hitta vad nästa hårdvaruplattform är (som Facebook gjorde med att förvärva Oculus för VR, eller Apples full-on push in AR); ratther, de vill skapa ett ekosystem av omgivande enheter som alla sömlöst ansluter (eventuellt använder smarttelefonen som ett nav?) och är intuitiva att interagera med; alla anslutna till de tjänster som Google tillhandahåller.

att ha ett enhetligt sätt att interagera med enheter som finns i olika sammanhang skulle vara enormt fördelaktigt för Google för att främja antagandet av deras ambient computing vision. En liten, lätt inbäddbar sensor som kan upptäcka gester från människor oavsett belysning eller andra atmosfäriska förhållanden skulle föra denna vision mycket närmare verkligheten. Detta skulle göra det lättare för användare att engagera sig med en mängd olika enheter som skulle erbjuda åtkomst till Googles tjänster.

ledtrådar från Apple om antagandet av mm-Wave Radar

med den senaste versionen av en lidar kapabel iPad Pro i tjänst till AR kapacitet, Apple verkar vara visar en vilja att sätta sensorer av ständigt ökande komplexitet (och nytta) i sina produkter.

dessutom har Apple lagt upp minst en post för roller relaterade till radar; en nu inaktiv post på LinkedIn för en Radarsignalbehandlingsingenjör innehåller följande i sin beskrivning:

det känns rättvist för mig att säga att Apple åtminstone tittar på millimetervågradar som en avkänningsmodalitet; när, hur och viktigast av allt; om en radaraktiverad Apple-produkt någonsin lämnar laboratorierna i Cupertino är en som bara tiden kommer att kunna berätta.

min personliga spekulation är att Apple kommer att släppa ett AR-headset med radar inbyggd för mikro-gestdetektering för att öka sina handspårningsfunktioner. Dessutom, som radar blir bättre känd som en möjlig avkänningsmodalitet (tack för det mesta på grund av Project Soli, och vilka produkter Google och deras partners bestämmer sig för att integrera det i), kommer andra ar-och VR-headsettillverkare att börja integrera millimetervågradarchips i sina headset som ett sätt att lösa det” saknade gränssnittet ” problem som nämnts tidigare; att se till att de verkliga fysiska objekt som människor interagerar med via AR/VR har ett sätt att kartlägga till digital information som presenteras via headsetet.

konkurrens

det finns minst en start som arbetar med millimetervågradar för gränssnitt mellan människa och maskin; Taiwans KaiKuTek (”CoolTech”). De hävdar att deras radarbaserade gestavkänningssystem kan matcha, om inte överträffa, Googles Project Soli.

ett Maskininlärningschip är integrerat med radarsensorn; så All inferens görs på en sensor-sida beräkningsnivå, till skillnad från Pixel 4S MotionSense-system, där sensorn (Soli) och inferensmotorn är på separata chipkomponenter. Detta är, hävdar KaiKuTek, de kan uppnå en så låg effekt (1 mW) betyg.

avslutande tankar

med Project Soli har Google avancerat konversationen om hur vi interagerar med datorer i ett brett spektrum av modaliteter och sammanhang. Millimetervågradar erbjuder ett lovande sätt att gesturalt interagera med datorer utan att behöva oroa sig för ocklusion, ljusförhållanden eller liknande begränsningsförhållanden som åläggs kamerabaserade system.

med den ökande takten på datorer som är inbäddade i fler enheter kan millimetervågradar sluta möjliggöra ett mer universellt gesturalspråk som är bekant över dessa enheter. Naturligtvis kommer varje tillverkare oundvikligen att ha skillnader mellan varandra (även om Google är den första som använder mm-wave radar som sensor för gestural interaktion, betyder det inte att det blir det sista), det kan sluta ge ”liknande nog” gestural interaktioner på samma sätt som pekskärmar är nästan universella, men varje OEM-leverantör möjliggör olika gester för användning med pekskärmen.

bilaga:

jag har inkluderat ytterligare publikationer som handlar om millimetervågradar och dess tillämpningar i HCI (inte nödvändigtvis med Project Soli). En stor del av dessa fokuserar på maskininlärningsteknikerna som används för att möjliggöra gestigenkänning med en radarrörledning.

• One-Shot Learning för Robust Materialklassificering med Millimetervågradarsystem
• Handgestigenkänning med hjälp av en Radar Echo I-Q Plot och Convolutional Neural Network
• Robust gestigenkänning med Millimetrisk Vågradarsystem
• Handgestigenkänning baserat på Radar Micro-Doppler Signaturkuvert
• återuppfinna radar: Kraften i 4D sensing
• gest erkännande med hjälp av mm-Wave Sensor för människa-bil gränssnitt
• Kort räckvidd Radarbaserad gest erkännande system med 3D CNN med triplett förlust
• hand gest erkännande baserat på Radar Micro-Doppler signatur kuvert
• Robust gest erkännande med Millimetrisk-Wave Radar System
• TS-I3D baserad hand gest igenkänningsmetod med radarsensor
• teckenigenkänning i Luftskrivning baserat på nätverk av radar för gränssnitt mellan människa och maskin
• doppler-radarbaserat HANDGESTIGENKÄNNINGSSYSTEM Använda Konvolutionella neurala nätverk
• framkalla kontaktbaserade och kontaktlösa gester med Radarbaserade sensorer
• återuppfinna radar: kraften i 4D-avkänning
• rörelseavkänning med Radar: Gestinteraktion och bortom

patent relaterade till Project Soli:

• gestbaserad liten Enhetsingång
• Radarbaserad gestigenkänning genom en bärbar enhet
• Radarigenkänningshjälpda sökningar
• Radarbaserad autentisering
• Radarbaserad sensorfusion
• bredfältradarbaserad gestigenkänning
• ockluderad gestigenkänning
• Radarbaserad Gestavkänning och dataöverföring
• smartphonebaserat radarsystem som underlättar enkelheten och noggrannheten i användarinteraktioner med visade objekt i ett Augmented Reality-gränssnitt

tryck på artiklar om Pixel 4 lansering och Integration med Project Soli:

• rykten: Googles Project Soli-radarchip kan debutera i Google Pixel 4
• Googles PROJECT Soli: Tekniken bakom PIXEL 4: s MOTION SENSE RADAR
• Project Soli är den hemliga stjärnan i Googles Pixel 4 självläcka
• Pixel 4 XL hands-on detaljer ’Face unlock,’ back finish, mer
• gestkontroll tack vare Infineon-radar teknik i Google Pixel 4 Smartphone
• Monument Valley ’s ustwo skapar Motion Sense spel’ Headed South ’ för Google Pixel 4
• med Pixel 4 kommer Googles experimentella teknikspel äntligen in i rampljuset
• Google: soli dance DJ av Swift