Radar is een 85 jaar oude technologie die tot voor kort niet actief werd toegepast in mens-machine interfaces. Op Radar gebaseerde gebaarsdetectie maakt het mogelijk dat gebruikersintentie in meer contexten kan worden afgeleid dan optisch-alleen gebaseerde tracking momenteel mogelijk maakt.
Google ‘ s gebruik van Project Soli, een op radar gebaseerd gebaarherkenningssysteem, in de Pixel 4-serie telefoons is hoogstwaarschijnlijk de eerste stap in de verdere invoering van radar als input voor interactie met onze apparaten.
achtergrond bij Project Soli
op Google I / O 2015 heeft de ATAP-groep (Advanced Technology and Projects) verschillende nieuwe initiatieven aangekondigd. Deze omvatten:
- Project Abacus — multi-factor gebruikersauthenticatie op basis van gebruikerslocatie, typpatronen en stempatronen
- Project Vault — een veilige computeromgeving op een MicroSD — kaart, voor elk platform
- Project Jacquard-geleidende draad ingebed in in massa produceerbaar textiel voor het creëren van draagbare interacties
- Project Soli-een kleine radarsensor die microgebaardetectie kan uitvoeren
en soli zijn nog steeds actief — jacquard is geïntegreerd in een verscheidenheid van consumentenproducten met mode labels zoals Levi ‘ s, Saint Laurant en Adidas.Na verschillende prototypes te hebben doorlopen, integreerde Google Soli in de Pixel 4 als onderdeel van de Motion Sense-functie, waarmee de telefoon het proces van gezichtsauthenticatie kan starten voordat de eigenaar van de telefoon zelfs zijn telefoon moet aanraken.
kort na de aankondiging van I/O deed ATAP een oproep aan derden om zich aan te melden voor het Alpha Developer program voor Project Soli, als een manier om feedback te krijgen over hun ontwikkelkit in een vroeg stadium. Ik vulde een applicatie om muziek gebaseerde interacties met Soli te ontwikkelen, en werd geaccepteerd in het programma.
ik schreef hier meer over mijn ervaring als lid van het alpha developer program; wat ik wilde doen met deze blogpost was meer een overzicht geven van de mogelijkheden van millimeter-Golf radar, en hoe ze bepaalde nieuwe ervaringen en experimenten op het gebied van mens-computer interactie mogelijk maken.
er zijn verschillende academische papers geschreven die dit gebied verkennen sinds Project Soli werd aangekondigd en verschillende toepassingsgebieden verkende, dus we zullen er naar kijken; evenals een snel overzicht van wat millimetergolfradar is, en de soorten eigenschappen die het biedt.
laten we eerst eens kijken naar het eerste commerciële product dat Project Soli gebruikt, de Pixel 4.
het eerste commerciële product dat Project Soli integreert is de Pixel4, uitgebracht door Google in oktober 2019.
de teaseradvertentie wees erop dat de nieuwe telefoon het eerste product zou zijn dat met Soli zou worden geïntegreerd; gezien de touchless air-gebaren die erin worden getoond:
de soli-chip biedt drie nieuwe soorten mogelijkheden voor de Pixel 4:
aanwezigheid – dankzij het vermogen van de radar om beweging te detecteren in het nabijgelegen gebied van waar de radar is geplaatst, schakelt Pixel 4 Het always-on-display uit als de gebruiker van de telefoon niet in de buurt is terwijl hij op een tafel is geplaatst; daardoor kan hij zowel batterijvermogen besparen als de aandacht van de gebruiker niet binnendringen
Reach-de Soli-sensor detecteert of een hand ernaar toe beweegt; het scherm wakker maken en de camera ’s aan de voorkant activeren om het gezicht te ontgrendelen
gebaren
- Flick
- Presence
- Reach
- Swipe
9 Aan 5 Google deed een analyse van de Pokemon Wave Hello spel dat wordt geleverd met de Pixel 4 telefoons, en ontdekte een eenheid plug-in in het spel die is aangesloten op een “Motion Sense Bridge” applicatie die draait op de telefoon die de game-ontwikkelaars toegang gaf tot verschillende gebaar parameters:
Veeg
- flickConfidence
- flickDirection
- flickPrediction
- flickRange
- flickVelocity
Aanwezigheid
- presenceConfidence
- presencePrediction
- presenceRange
- presenceVelocity
Bereik
- reachAzimuth
- reachConfidence
- reachElevation
- reachPrediction
- reachRange
- reachVelocity
Veeg
- swipeAmplitude
- swipeConfidence
- swipeDirection
- swipeIntensity
- swipePrediction
- swipeTheta
op dit moment hebben ontwikkelaars van derden geen toegang tot de MotionSense-gebaren tenzij ze toegang hebben gekregen tot de Android interne MotionSense Bridge-app van Google. Hopelijk, Google zal openen volledige toegang tot de soli-sensor, zodat ontwikkelaars in staat zijn om te verkennen hoe ze de gebaarherkenning mogelijkheden die het biedt op nieuwe en innovatieve manieren kunnen gebruiken.
De uitdagingen van het Creëren van een Opleiding een Dataset voor het varen op Radar gebaseerde Gebaar Erkenning
In een post in de Google-AI Blog, Google ATAP ingenieurs beschrijving van een aantal van de uitdagingen en overwegingen voor het inbedden van de radar in een smartphone, zoals de radar chip kleine en modulaire genoeg dat het past op de top van een telefoon, het toevoegen van filters om rekening te houden met vibrerende geluid dat optreedt wanneer muziek wordt afgespeeld vanaf de telefoon, en machine learning algoritmen die in staat zijn om te draaien op een laag vermogensniveau.
een van de uitdagingen bij het creëren van een robuust machine learning model, vooral een model dat in een apparaat in handen van miljoenen consumenten zal zijn, is ervoor te zorgen dat het model in staat is om een gebaar accuraat te voorspellen over een brede en diverse populatie van gebruikers. Op semantisch niveau is het gemakkelijk voor mensen om te onderscheiden wat een swipe of een flick gebaar is. Echter, aangezien elke persoon maakt die gebaren in iets verschillende manieren door variaties in snelheid, handhoek, lengte van het gebaar; de machine learning model voor het afleiden van welke gebaar optreedt moet robuust genoeg zijn om te kunnen correct afleiden gebaar van de gebruiker ongeacht deze verschillen.Om ervoor te zorgen dat hun modellen accuraat waren, trainde het Soli-team hun Tensorflowmodel op miljoenen gebaren gemaakt door duizenden vrijwilligers. Deze modellen werden vervolgens geoptimaliseerd om direct op de DSP-eenheid van de Pixel 4 te draaien; het inschakelen van de telefoon om gebaren te herkennen, zelfs wanneer de hoofdprocessor is uitgeschakeld — dat is hoe de Pixel 4 is in staat om te detecteren is iemand beweegt naar de telefoon met behulp van MotionSense, en vervolgens op de FaceUnlock sensoren om de telefoon te ontgrendelen.Terwijl Google de machine learning-algoritmen, signaalverwerking en UX-patronen ontwikkelde voor interactie met Soli, ontwikkelde het Duitse bedrijf Infineon de radarchip die deel uitmaakt van het Soli-systeem. Hoewel het mogelijk is om development kits van Infineon te kopen, streamen ze alleen ruwe radargegevens-geen verwerkte signaalfuncties die kunnen worden gebruikt om een machine learning-model te trainen om gebaren of aanwezigheid te herkennen.In hun SSIGRAPH paper, Soli: Ubiquitous Gesture Sensing with Millimeter Wave Radar, beschrijven de auteurs van ATAP een HAL (Hardware Abstraction Layer) als een verzameling abstracties die het Project Soli mogelijk maken om te werken met verschillende radarsensorarchitecturen van verschillende fabrikanten. Dit zou Google in staat stellen om de flexibiliteit om dezelfde set van Soli-functie primitieven te gebruiken over verschillende soorten radar, terwijl het behoud van dezelfde high-level interactie patronen.
Voorbeeldapplicaties van het Alpha Dev-programma
deelnemers aan het Soli Alpha Dev-programma werden aangemoedigd om ons werk in academische publicaties te publiceren; sommige leden creëerden ook demo ‘ s voor presentatie op verschillende blogs, waaronder:
- nieuwe muzikale interfaces (demovideo)
- een in-air gebaren keyboard
- ‘ s werelds kleinste viool
- Soli gebruiken om objecten te identificeren voor robotarmbediening
de HCI-afdeling van de Universiteit van St. Andrews produceerde een robuust oeuvre als leden van het Alpha dev-programma, met inbegrip van
- Radarcategorisatie voor Invoerherkenning-de auteurs presenteren RadarCat, een systeem dat onderscheid kan maken tussen “26 materialen (met inbegrip van complexe samengestelde objecten), vervolgens met 16 transparante materialen (met verschillende dikte en verschillende kleurstoffen) en ten slotte 10 lichaamsdelen van 6 deelnemers”
- tastbare UI door Object en Materiaalclassificatie met Radar — voortzetting van hun werk vanuit RadarCat; de auteurs beschrijven ook real-world applicatiescenario ‘ s waarin dit systeem kan worden gebruikt, waaronder zelf-checkout-systemen en slimme medische apparaten.
- Exploring tastbaar Interactions with Radar Sensing-exploring “radar as a platform for sensing tastbaar interaction with the counting, order, identification of objects and tracking the orientation, movement and distance of these objects”.
enkele van de projecten van het Alpha Developer program werden getoond in een video die werd gepresenteerd in de update van ATAP op het volgende jaar I / O event (2016):
Google Papers
leden van Google ATAP publiceerden ook papers over hun werk met Project Soli:
- Soli: alomtegenwoordige Gebaarsdetectie met Millimetergolfradar-SIGGRAPH 2016
- een sterk geïntegreerde 60 GHz 6-kanaals zendontvanger met antenne in pakket voor slimme detectie en Korteafstandscommunicatie-IEEE 2016
- interactie met Soli: Verkenning van fijnkorrelige dynamische gebaarherkenning in het radiofrequentiespectrum-UIST 2016
- een tweekleurige radarsensor voor gelijktijdige detectie van Absolute Afstand en relatieve beweging voor Gebaarsensoren-IEEE sensoren Letters 2017
eigenschappen van mm-golfradar en zijn Affordances
radardetectie is gebaseerd op het detecteren van de veranderende bewegingspatronen van een object in de ruimte. Radiogolven worden uitgezonden van de radar, stuiteren van een doel (een menselijke hand in beweging), en vervolgens opnieuw ontvangen door de antennes van de radar. Het getimede verschil tussen wanneer de golven worden verzonden en wanneer ze worden ontvangen wordt gebruikt om een profiel te maken van het object dat zich in het pad van de radar bevindt.
bij menselijke gebaren beweegt de hand zich door een 3D-ruimte terwijl hij zich in de zichtlijn van een radarsensor bevindt. De veranderingen van positie produceren verschillende profielen voor de stuiterde radarsignalen, waardoor verschillende gebaren kunnen worden gedetecteerd.
omdat radar gebaren detecteert op basis van verschillende bewegingskenmerken, is het niet goed geschikt voor het detecteren van statische gebaren, zoals gebarentaal of een vredesteken. Het is echter zeer geschikt voor het detecteren van dynamische, beweging gebaseerde gebaren, zoals een vingerknippen, of een toets-draaien beweging.
in tegenstelling tot optische sensoren zijn radarprestaties niet afhankelijk van verlichting, kunnen ze door materialen werken en zelfs gebaren detecteren die optreden wanneer vingers elkaar kunnen blokkeren.
Microgebaren kunnen worden gedefinieerd als”interacties met kleine hoeveelheden beweging en die welke voornamelijk worden uitgevoerd door spieren die de vingers aandrijven en de pols bewegen, in plaats van die waarbij grotere spiergroepen betrokken zijn om vermoeidheid in de loop van de tijd te voorkomen”. Enkele voorbeelden van dit soort gebaren zijn het maken van de beweging van het indrukken van een knop door te tikken uw wijsvinger tegen uw duim, het maken van een schuifbeweging door het bewegen van uw duim tegen het oppervlak van uw wijsvinger, en het maken van een beweging vergelijkbaar met het draaien van een wijzerplaat met uw vingers en pols.
deze gebaren kunnen in verschillende contexten (IoT, AR/VR, enz.) worden gebruikt voor interactie met elementen van de gebruikersinterface.
toekomstige consumentenelektronicaproducten van Google
Google lijkt te werken aan de integratie van Soli in nieuwe producten; een job posting voor een “Intelligence Sensor Algorithms Engineer, Google Nest “lijsten” ervaring werken met Radar ” als een voorkeur Kwalificatie. Een van de eerste demo ‘ s van Soli toonde de radar geïntegreerd in een smart speaker van JBL; het zou niet verwonderlijk zijn als Soli geïntegreerd zou worden in een consumentenelektronica product of huishoudapparaat.
een andere Soli-demo van het Project die Google toonde tijdens dezelfde presentatie als de Bodemgestuurde jbl-speaker was een smartwatch met Soli erin (Google heeft zelfs een patent ingediend voor een smartwatch op basis van gebaren die kan worden gebruikt voor videoconferenties).
in wat waarschijnlijk een veel verder weg scenario is, heeft Google verklaard dat behalve het gebruik van sensoren als Soli voor gebaarherkenning, dat “In de toekomst, we willen apparaten maken die je lichaamstaal kunnen begrijpen, zodat ze intuïtiever te gebruiken en meer behulpzaam zijn”. Hoewel het is aan speculatie over wat precies dat zou kunnen betekenen en eruit zien in de praktijk, een potentiële use case hier is dat de telefoon kan detecteren de emotionele toestand van mensen in de buurt; waardoor affectieve computing interfaces. (Een grondiger bespreking van affective computing valt buiten het bereik van deze post; Ik zou u aanmoedigen om dit baanbrekende werk van Rosalind Picard dat de term bedacht om wat meer achtergrond over het onderwerp te lezen).
Google ‘ s Ambient Computing Future
in het eerste gepubliceerde artikel voor Project Soli geven de auteurs (van Google ATAP) een lijst van mogelijke toepassingsgebieden:
- Virtual Reality
- Wearables en slimme kleding
- Internet of Things en game controllers
- “traditionele apparaten” (mobiele telefoons, tablets, laptops))
als al deze apparaattypen Project Soli zouden integreren, zou Google een universeel gebarenraamwerk kunnen gebruiken dat ze allemaal gemeen zouden hebben. Dit zou het gemakkelijk maken voor mensen om snel gebruik te maken van deze nieuwe apparaten, Alle interactie met Google ‘ s array van diensten.
Ben Thompson ‘ s artikel over Stratechery, “Google and Ambient Computing”, analyseert Google ‘ s recente verschuiving van verklaren dat ze willen helpen bij het organiseren van de informatie van de wereld, naar een die u helpt om dingen gedaan te krijgen.
in zijn openingsopmerkingen op Made by Google 2019 schetst Rick Osterloh (voorheen hoofd van Google ATAP), de senior VP van apparaten en diensten van Google, een visie van Google als een bedrijf dat “een meer behulpzame Google aan u wil brengen.”Sundar Pichai verklaarde in de keynote van 20193 I / O dat” we verhuizen van een bedrijf dat u helpt antwoorden te vinden naar een bedrijf dat u helpt om dingen gedaan te krijgen”.Ambient Computing werd voor het eerst bedacht door technologiejournalist Walt Mossberg in zijn laatste column, “The Disappearing Computer”. Het ‘ ook wel aangeduid als alomtegenwoordige of alomtegenwoordige computing.Voor wat meer informatie over dit gebied van de informatica, zie het werk van Mark Weiser, een Chief Scientist bij Xerox PARC, in het bijzonder zijn 1991 Scientific American artikel, “the Computer for the 21st Century”. Weiser bedacht de term ubiquitous computing, die hij beschreef als computers die kunnen optreden met behulp van”elk apparaat, op elke locatie en in elk formaat”.Thompson wijst erop dat Google ’s visie op ambient computing” niet concurreert met de smartphone, maar het juist gebruikt”. Google is niet proberen te vinden wat de volgende hardware platform is (zoals Facebook deed met het verwerven van Oculus voor VR, of Apple ‘ s full-on push into AR); ratther, ze zijn op zoek naar een ecosysteem van ambient apparaten die allemaal naadloos aansluiten (eventueel met behulp van de smartphone als een hub?) en zijn intuïtief om mee te communiceren; allemaal verbonden met de services die Google levert.
een uniforme manier hebben om te communiceren met apparaten die in verschillende contexten bestaan, zou enorm nuttig zijn voor Google bij het bevorderen van de acceptatie van hun ambient computing visie. Een kleine, gemakkelijk in te bedden sensor die gebaren van mensen kan detecteren ongeacht de belichting of andere atmosferische omstandigheden zou deze visie veel dichter bij de werkelijkheid brengen. Dit zou het gemakkelijker maken voor gebruikers om te gaan met een breed scala van apparaten die toegang tot de diensten van Google zou bieden.Aanwijzingen van Apple bij de invoering van mm-Wave Radar
met de recente release van een lidar-compatibele iPad Pro in dienst van AR-mogelijkheden, lijkt Apple bereid te zijn om sensoren van steeds toenemende complexiteit (en nut) in hun producten.
Daarnaast heeft Apple ten minste één posting geplaatst voor functies die verband houden met radar; een posting die nu inactief is op LinkedIn voor een Radar Signal Processing Engineer bevat het volgende in zijn beschrijving:
Het voelt beurs aan mij om te zeggen dat op zijn minst, Apple is op zoek naar millimeter-wave radar als sensing modaliteit; wanneer, hoe, en nog belangrijker; als een radar ingeschakeld Apple product ooit verlaat de labs in Cupertino is er een die alleen de tijd zal het vertellen.
mijn persoonlijke speculatie is dat Apple een AR-headset zal uitbrengen met ingebouwde radar voor microgebaardetectie om hun handtracking-mogelijkheden te vergroten. Bovendien, als radar wordt beter bekend als een mogelijke sensing modaliteit (vooral dankzij Project Soli, en welke producten Google en hun partners besluiten om het te integreren in), andere ar en VR headset makers zullen beginnen met het integreren van millimeter-Golf radar chips in hun headsets als een manier om het op te lossen “ontbrekende interface” probleem eerder vermeld; ervoor zorgen dat de echte fysieke objecten waarmee mensen communiceren via AR/VR een manier hebben om digitale informatie in kaart te brengen die via de headset wordt gepresenteerd.
concurrentie
ten minste één startup werkt aan millimetergolfradar voor mens-machine interfaces; Kaikutek (“CoolTech”) uit Taiwan. Ze beweren dat hun radar-gebaseerde Gebaar sensing Systeem kan overeenkomen, zo niet overtreffen, Google ‘ s Project Soli.
een machine Learning inference chip is geïntegreerd met de radarsensor; dus alle gevolgtrekking wordt gedaan op een sensor-side berekenen niveau, in tegenstelling tot de Pixel 4 MotionSense systeem, waarin de sensor (Soli) en de gevolgtrekking motor zijn op afzonderlijke chip componenten. Dit is, kaikutek beweert, ze zijn in staat om zo ‘ n laag vermogen (1 mW) rating te bereiken.
Closing Thoughts
met Project Soli heeft Google het gesprek over hoe we omgaan met computers in een breed scala van modaliteiten en contexten verbeterd. Millimetergolfradar biedt een veelbelovende manier om gebarentaal te communiceren met computers zonder zich zorgen te hoeven maken over occlusie, lichtomstandigheden of soortgelijke beperkende voorwaarden die worden opgelegd aan camera-gebaseerde systemen.
naarmate computers steeds sneller in meer apparaten worden ingebed, zou millimetergolfradar uiteindelijk een meer universele gebarentaal mogelijk kunnen maken die op deze apparaten bekend is. Natuurlijk, elke fabrikant zal onvermijdelijk verschillen tussen elkaar (hoewel Google is de eerste om mm-wave radar te gebruiken als een sensor voor gebaren interactie, het betekent niet dat het zal de laatste), het zou kunnen eindigen bieden “vergelijkbaar genoeg” gebaren interacties op dezelfde manier dat touchscreens zijn bijna universeel, maar elke OEM-leverancier maakt verschillende gebaren voor gebruik met het touchscreen.
bijlage:
ik heb aanvullende publicaties opgenomen over millimetergolfradar en de toepassingen daarvan in HCI (waarbij Project Soli niet noodzakelijk betrokken is). Een groot deel van deze focus op de machine learning technieken die worden gebruikt om gebaarherkenning met een radar pijplijn mogelijk te maken.
- One-Shot Learning voor robuuste Materiaalclassificatie met behulp van Millimetergolfradar-systeem
- Handgebaarherkenning met behulp van een radarecho I-Q-Plot en Convolutioneel neuraal netwerk
- robuuste gebaarherkenning met behulp van Millimetergolfradar-systeem
- Handgebaarherkenning op basis van micro-Doppler – Signature enveloppen
- radar opnieuw uitvinden: De kracht van 4D sensing
- Gebaar Erkenning Met mm-Wave Sensor voor de Mens-Auto Interface
- Short-Range-Radar-gebaseerde Gesture Recognition-Systeem met behulp van een 3D CNN met Triplet Verlies
- Hand Gebaar Erkenning is gebaseerd op Radar Micro-Doppler Handtekening Enveloppen
- Robuust Gebaar Erkenning met tot op de millimeter-Wave Radar Systeem
- TS-I3D gebaseerd Hand Gebaar Erkenning Methode met Radar Sensor
- Character Recognition in de Lucht te Schrijven Gebaseerd op een Netwerk van Radars Voor de Mens-Machine Interface
- Doppler-Radar Gebaseerd Hand Gebaar Erkenning Systeem Gebruik makend van convolutionele neurale netwerken
- Contactgebaseerde en contactloze gebaren met Radargebaseerde sensoren
- Radar opnieuw uitvinden: het vermogen van 4D-detectie
- bewegingsdetectie met behulp van Radar: Gebaarinteractie en verder dan
patenten gerelateerd aan Project Soli:
- Gesture-Based Klein Apparaat Input
- Radar-gebaseerde gebaar-erkenning via een draagbaar apparaat
- Radar Erkenning-Aided Zoekopdrachten
- Radar-gebaseerde authenticatie
- Radar Ingeschakeld Sensor Fusion
- Wide-field-radar-gebaseerde gebaar erkenning
- Afgesloten gebaar erkenning
- Radar-gebaseerd gebaar sensing en data-overdracht
- Smartphone-op basis van Radar Systeem te Vergemakkelijken Gemak en de Nauwkeurigheid van de Interacties van de Gebruiker Met Weergegeven Objecten in een Augmented Reality Interface
Druk op de Artikelen op de Pixel 4 lancering en integratie met Project Soli:
- gerucht: Google ’s Project Soli radar chip kon debuut in Google Pixel 4
- GOOGLE’ s PROJECT Soli: DE technologie ACHTER PIXEL 4 MOTION SENSE RADAR
- Project Soli is de geheime ster van Google Pixel 4 self-lek
- Pixel 4 XL hands-on ‘ details ‘Face unlock’ terug afwerking, meer
- Gebaar controle dankzij de Infineon-radar technologie in Google Pixel 4 Smartphone
- Monument Valley ustwo maakt Motion Sense spel ‘onder Leiding Zuid’ voor Google Pixel 4
- Met Pixel 4, Google experimentele tech inzetten ten slotte de spotlight
- Google: Soli Dance DJ door Swift