Project Soli & the Coming Use of Radar v rozhraní člověk-stroj

Radar je 85 let stará technologie, která až donedávna nebyla aktivně nasazena v rozhraní člověk — stroj. Radarové snímání gest umožňuje odvodit záměr uživatele ve více kontextech, než v současné době umožňuje pouze optické sledování.

použití společnosti Google Project Soli, radarového systému rozpoznávání gest, v řadě telefonů Pixel 4 je s největší pravděpodobností prvním krokem k dalšímu přijetí radaru jako vstupu pro interakci s našimi zařízeními.

pozadí projektu Soli

na Google i / o 2015 oznámila skupina ATAP (Advanced Technology and Projects) několik nových iniciativ. Mezi ně patřily:

• Projekt Abacus — multi-faktor autentizace uživatele na základě umístění uživatele, psaní vzory, a hlasové vzory
• Projekt Vault — bezpečné výpočetní prostředí na MicroSD Kartu, pro libovolnou platformu
• Projekt Jacquard — vodivé vlákno vložené do sériově vyrobitelné textil vytvořit nositelné na bázi interakce
• Projekt Soli — malý radarový snímač, který je schopen micro-gesto detekce

těchto, Žakárové a Soli jsou stále aktivní — Žakárové, které byly integrovány do různých spotřebitelských produktů s módou štítky jako Levi ‚ s, Saint Laurant a Adidas.

Poté, co šel přes několik prototyp iterací, Google integrované Soli do 4 Pixel jako součást Pohybu, Smysl, funkce, která umožňuje telefon, aby začít proces obličeje ověření majitele telefonu má dokonce dotknout svého telefonu.

Krátce po oznámení na I/O, ATAP zavolejte pro vývojáře třetích stran, aby se vztahují na Alpha Vývojka program pro Projekt Soli, jako způsob, jak získat zpětnou vazbu na jejich rané fázi development kit. Vyplnil jsem žádost o rozvoj hudebních interakcí se Soli, a byl přijat do programu.

napsal jsem více o své zkušenosti jako člen programu alpha developer zde; to, co jsem chtěl dělat s tohoto blogu bylo poskytnout větší přehled o možnostech milimetrových vln radaru, a jak jim umožnit, aby určité nové zkušenosti a experimenty v oblasti interakce člověk-počítač.

Existuje několik akademických prací písemné zkoumání této oblasti od Projektu Soli bylo oznámeno, že zkoumá různé oblasti použití, takže se podíváme na ty, stejně jako rychlý přehled o tom, co milimetrových vln radar je, a typy vlastností, které poskytl.

nejprve se však podívejme na první komerční produkt, který používá Project Soli, Pixel 4.

první komerční produkt na integraci Project Soli je Pixel4, propuštěn Google v říjnu 2019.

teaser-ad naznačil, že nový telefon bude první produkt na integraci s Soli; vzhledem k bezdotyková air gesta zobrazen v něm:

Na Soli čip poskytuje tři nové typy funkce pro Pixel 4:

Přítomnost — díky radaru je schopnost detekovat pohyb v okolí kde je umístěn, Pixel 4 vypne vždy-na displeji v případě, že uživatel telefonu není v blízkosti, zatímco je umístěn na stole, a proto jsou schopni i ušetřit energii baterie, a ne rušit na pozornost uživatele

Reach — Soli senzor bude detekovat, jestli ruka se pohybuje směrem k ní; probuzení obrazovky a aktivuje přední čelí kamery pro face-odemknout

Gesta

• Film
• Přítomnost
• Dostat
• Přejeďte

9 5 Google udělal analýzu Pokemon Vlnu dobrý den, hra, která je dodáván s 4 Pixel telefony, a objevili Jednotu plug-in ve hře, který je připojen k „Pohybu Smysl Bridge“ aplikace běží na telefonu, který dal do hry vývojáři přístup k různým gesto parametry:

Film

• flickConfidence
• flickDirection
• flickPrediction
• flickRange
• flickVelocity

Přítomnost

• presenceConfidence
• presencePrediction
• presenceRange
• presenceVelocity

Dostat

• reachAzimuth
• reachConfidence
• reachElevation
• reachPrediction
• reachRange
• reachVelocity

Přejeďte

• swipeAmplitude
• swipeConfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

teď, vývojáři třetích stran nemají přístup k MotionSense gesta, pokud jim byl dán přístup k Android interní MotionSense Mostu aplikace od Google. Doufejme, že Google otevře plný přístup k senzoru Soli, aby vývojáři mohli prozkoumat, jak mohou využívat schopnosti rozpoznávání gest, které poskytuje novými a inovativními způsoby.

Výzvy Vytváření Školení Dataset pro Radar-na základě Rozpoznávání Gest

V příspěvku na Google AI Blog, Google ATAP inženýři popsat některé problémy a úvahy pro vkládání radar do telefonu, jako je například dělat radar čip malé a modulární dost, že se to vejde na horní části telefonu, přidávat filtry na účet pro vibrační hluk, který nastane, když Hudba hraje z telefonu a algoritmy strojového učení, které jsou schopny běžet na nízké úrovni výkonu.

Jedním z problémů, s vytvoření robustní model strojového učení, zejména ten, který bude v zařízení v rukou miliony spotřebitelů, je ujistit se, že model je schopen přesně předpovědět, gesto v široké a rozmanité populace uživatelů. Na sémantické úrovni, pro lidi je snadné rozlišit, co je to švihnutí nebo švihnutí. Nicméně, protože každý člověk dělá ty gesta v mírně odlišné způsoby, jak prostřednictvím změn v rychlosti, ruku, úhel, délka gesto; model strojového učení pro vyvozování gesto, které nastane, musí být dostatečně robustní, aby bylo možné správně usuzovat uživatele gesto, bez ohledu na tyto rozdíly.

aby se ujistil, že jejich modely jsou přesné, tým Soli trénoval svůj model TensorFlow na milionech gest provedených tisíci dobrovolníků. Tyto modely byly poté optimalizovány tak, aby fungovaly přímo na jednotce DSP Pixel 4; umožňuje telefon rozpoznat gesta, i když hlavní procesor je napájen dolů — což je, jak Pixel 4 je schopen detekovat je někdo, kdo se pohybuje směrem k telefonu pomocí MotionSense, a pak se moc na FaceUnlock senzory pro odemknutí telefonu.

Partnerství s Infineon

Zatímco Google vyvinul algoritmů strojového učení, zpracování signálu, a UX vzory pro interakci s Soli, německá společnost Infineon vyvinuli radar čip, který je součástí Projektu Sóla systému. I když je možné zakoupit vývojové kity od Infineon, oni jen proud raw radarová data — ne zpracovaný signál funkce, které by mohly být použity na trénovat model strojového učení rozpoznat gesta nebo přítomnost.

V jejich SSIGRAPH papír, Soli: Všudypřítomné Gesto Snímání s Milimetrových Vln Radar, ATAP autoři popisují HAL (Hardware Abstraction Layer) jako množinu abstrakcí, které by umožnilo Projekt Soli do práce napříč různými radarový snímač architektur od různých výrobců. To by společnosti Google umožnilo flexibilně používat stejnou sadu primitiv funkcí Soli napříč různými typy radarů při zachování stejných vzorců interakce na vysoké úrovni.

Příklad Aplikace z Dev Alpha Program

Účastníci Soli Alfa Dev Programu byli vyzváni, aby publikovat své práce v akademických publikací; někteří členové také vytvořili dema pro ukázky na různé blogy, včetně:

• Nové hudební rozhraní (Demo video)
• in-air gest klávesnice
• ty nejmenší housle Na světě
• Pomocí Soli identifikovat objekty pro ovládání robotické paže

HCI oddělení na Univerzitě v St. Andrews vyrábí robustní tělo pracovat jako členové Alfa Dev programu, včetně

• Radar Kategorizace pro Vstup Uznání — autoři prezentují RadarCat, systém, který je schopen rozlišovat mezi „26 materiály (včetně složitých složených objektů), další s 16 transparentní materiály (různé tloušťky a různé barvy) a konečně 10 částí těla z 6 účastníků“
• Hmatatelné ROZHRANÍ podle Objektu a Klasifikace Materiálu s Radar — pokračuje ve své práci z RadarCat; autoři také popisují scénáře aplikací v reálném světě, ve kterých by tento systém mohl být použit, včetně samoobslužných systémů a inteligentních zdravotnických prostředků.
• Zkoumání Hmotného Interakce s Radarem Snímání — zkoumání „radar jako platforma pro snímání hmotný interakce s počítání, objednání, identifikace objektů a sledování orientace, pohyb a vzdálenost těchto objektů“.

některé projekty z programu Alpha Developer byly představeny ve videu, které bylo představeno v aktualizaci z ATAP na následující I / o akci (2016):

Google Dokumenty

Členové Google ATAP také zveřejněny dokumenty o jejich práci s Projektem Soli:

• Soli: Všudypřítomné Gesto Snímání s Milimetrových Vln Radar — SIGGRAPH 2016
• Vysoce Integrované 60 GHz 6-Kanálový Vysílač S Anténou v Balíčku pro Inteligentní Snímání a Short-Range Communications — IEEE 2016
• Interakci s Soli: Zkoumání jemnozrnné Dynamické Rozpoznávání Gest v Radio-Frekvenční Spektrum — UIST 2016
• Dva-Tón Radarový Snímač pro Souběžnou Detekci Absolutní Vzdálenost a Relativní Pohyb, Gesto Sensing — IEEE Senzory Dopisy 2017

Vlastnosti mm-wave Radar a je to Affordances

Radarové snímání je založen na detekci měnících se vzorců pohybu objektu v prostoru. Rádiové vlny jsou přenášeny z radaru, odrazem cíle (lidská ruka v pohybu) a poté znovu přijímány anténami radaru. Časový rozdíl mezi tím, kdy jsou vlny odesílány a kdy jsou přijímány, se používá k vytvoření profilu objektu, který je v cestě radaru.

v případě lidských gest se ruka pohybuje svou polohou přes 3D prostor, zatímco je v zorném poli radarového senzoru. Změny polohy vytvářejí různé profily pro odražené radarové signály, což umožňuje detekci různých gest.

protože radar detekuje gesta na základě různých pohybových charakteristik, není vhodný pro detekci statických gest, jako je znaková řeč nebo znamení míru. Je však vhodný pro detekci dynamických gest založených na pohybu, jako je snap prstu nebo pohyb otáčení kláves.

na Rozdíl od optických senzorů, radar výkon není závislý na osvětlení, může pracovat prostřednictvím materiálů, a dokonce i detekci gesta, které se vyskytují, když prsty mohou být umístím navzájem.

Mikro-gesta lze definovat jako „interakce zahrnující malé množství pohybu, a ty, které jsou prováděny především svaly jízdy prsty a formulování zápěstí, spíše než ty, zahrnující větší svalové skupiny, aby se zabránilo únavě v průběhu času“. Některé příklady těchto typů gesta dělají pohybu tlačí na tlačítko, klepnutím prsty proti palci, takže jezdec pohyb pohybem palcem proti povrchu ukazováček, a dělat pohyb podobný vytáčení s prsty a zápěstí.

tato gesta by mohla být použita v různých kontextech (IoT, AR / VR atd.) pro interakci s prvky uživatelského rozhraní.

budoucí produkty spotřební elektroniky od společnosti Google

zdá se, že Google pracuje na integraci Soli do nových produktů; pracovní místo pro „Intelligence Sensor Algorithms Engineer, Google Nest „uvádí“ zkušenosti s prací s radarem “ jako preferovanou kvalifikaci. Jedno z prvních ukázek Soli ukázalo radar integrovaný do inteligentního reproduktoru od JBL; nebylo by překvapivé, kdyby byl Soli integrován do produktu spotřební elektroniky nebo domácího spotřebiče.

Další Projekt Soli demo, které Google ukázal během stejné prezentace jako Půdy-řízené JBL reproduktor byl smartwatch s Soli uvnitř (Google dokonce podal patent na gesto založené na smartwatch, které by mohly být použity pro video konference).

V čem je s největší pravděpodobností mnohem dál scénář, Google uvedl, že za pomocí senzorů jako Soli pro rozpoznávání gest, že „V budoucnu chceme vytvořit zařízení, které může pochopit vaše řeč těla, takže jsou více intuitivní a více užitečné“. I když to je spekulace, co přesně by to mohlo znamenat a vypadat v praxi, jeden možný případ použití je, že telefon může rozpoznat emocionální stav lidí v okolí; umožňuje afektivní výpočetní rozhraní. (Důkladnější diskuse o afektivním výpočtu je nad rámec tohoto příspěvku; Doporučuji vám, abyste si přečetli toto klíčové dílo Rosalind Picardové, které tento termín vytvořilo, abyste získali nějaké další pozadí k tématu).

Google Okolní Computing Budoucnost

V první publikované práci pro Projekt Soli, autoři (z Google ATAP) seznam několik možných aplikačních oblastí:

• Virtuální Reality,
• Wearables a inteligentní oděvy
• Internet Věcí a herních zařízení
• „Tradiční Zařízení“ (mobilní telefony, tablety, notebooky)

Pokud všechny tyto typy zařízení byly integrovat Projekt Soli, Google by mohl využít univerzální pohybové rámec, který všechny z nich mají společné. To by lidem usnadnilo rychlé používání těchto nových zařízení, a to vše v interakci s řadou služeb společnosti Google.

článek Ben Thompsona o Stratechery, „Google and Ambient Computing“, analyzuje nedávný posun společnosti Google od toho, že chtějí pomoci organizovat světové informace, k tomu, který vám pomůže udělat věci.

V jeho úvodním vystoupení na Made by Google 2019, Google Senior VICEPREZIDENT Zařízení a Služby, Rick Osterloh (který byl dříve šéf Google ATAP), nastiňuje vizi Google jako společnost, která chce „přinést více užitečné Google.“Sundar Pichai uvedl v hlavní řeči 20193 I / O, že“ přecházíme ze společnosti, která vám pomůže najít odpovědi na společnost, která vám pomůže udělat věci“.

Ambient Computing byl poprvé vytvořen technologickým novinářem Waltem Mossbergem ve svém posledním sloupci „The Disappearing Computer“. Je také označována jako všudypřítomná nebo všudypřítomná výpočetní technika.

Pro některé další čtení o této oblasti výpočetní techniky, podívejte se na práci Mark Weiser, Vedoucí Vědec, v Xerox PARC, zejména jeho 1991 Scientific American článek „Počítač pro 21. Století“. Weiser vytvořil termín všudypřítomný výpočetní, který popsal jako výpočetní schopný nastat pomocí „jakéhokoli zařízení, na jakémkoli místě a v jakémkoli formátu“.

Thompson zdůrazňuje, že vize společnosti Google o ambient computing „nekonkuruje smartphonu, ale spíše jej využívá“. Google se nesnaží najít to, co další hardware platforma je (jako Facebook dělal na pořízení Oculus VR, nebo Apple-na-plný-push do AR); ratther, že se snaží vytvořit ekosystém okolní zařízení, které všichni bez problémů připojit (případně pomocí smartphone jako rozbočovač?) a jsou intuitivní pro interakci s; všechny připojené ke službám, které Google poskytuje.

mít jednotný způsob interakce se zařízeními, která existují v různých kontextech, by bylo pro Google nesmírně prospěšné při prosazování jejich ambient computing vision. Malý, snadno v jedné rovině senzor, který dokáže detekovat gesta od lidí, bez ohledu na to, osvětlení nebo jiné atmosférické podmínky by tuto vizi mnohem blíže k realitě. To by uživatelům usnadnilo interakci s celou řadou zařízení, která by nabízela přístup ke službám Google.

Stopy z Apple na Přijetí mm-Wave Radar

S nedávným vydáním LiDAR schopen iPad Pro ve službách AR schopnosti, Apple se zdá být najevo ochotu dát senzory stále rostoucí složitosti (a nástroj) do svých produktů.

Apple navíc zveřejnil alespoň jeden příspěvek pro role související s radarem; nyní neaktivní příspěvek na LinkedIn pro inženýra zpracování radarového signálu obsahuje ve svém popisu následující:

To je spravedlivé, abych řekl, že alespoň Apple se dívá na milimetrových vln radar jako snímací modality; kdy, jak, a co je nejdůležitější, pokud radar-umožnil Apple produkt, kdy opustí laboratoře v Cupertinu je pouze ten, který bude moci říct.

moje osobní spekulace je, že Apple uvolní náhlavní soupravu AR s vestavěným radarem pro detekci mikro-gest, aby rozšířil své schopnosti sledování rukou. Navíc, jako radar se stává lépe známý jako možný snímání modality (díky především díky Projektu Soli, a ať produkty Google a jejich partneři se rozhodli integrovat do), další AR a VR headset tvůrci začne integrace milimetrových vln radar čipy do jejich sluchátka jako způsob, jak vyřešit „chybí rozhraní“ problém již bylo zmíněno dříve; ujistěte se, že fyzické objekty v reálném světě, se kterými lidé komunikují prostřednictvím AR / VR, mají způsob, jak mapovat digitální informace prezentované prostřednictvím náhlavní soupravy.

Soutěže

Existuje alespoň jeden startup pracující na milimetrových vln radar pro rozhraní člověk-stroj; Tchaj-wan je KaiKuTek („CoolTech“). Tvrdí, že jejich radarový systém snímání gest se může shodovat, ne-li překonat, Projekt Google Soli.

inferenční čip strojového učení je integrován s radarovým senzorem; takže veškerá inference se provádí na výpočetní úrovni na straně senzoru, na rozdíl od systému MotionSense Pixel 4, ve kterém jsou senzor (Soli) a inferenční motor na samostatných čipových součástech. To je, tvrdí KaiKuTek, jsou schopni dosáhnout tak nízkého výkonu (1 mW).

Závěrečné myšlenky

s Project Soli Google pokročil v konverzaci o tom, jak interagujeme s počítači v široké škále modalit a kontextů. Milimetrový vlnový radar nabízí slibný způsob, jak gesticky komunikovat s počítači, aniž by se museli starat o okluzi, světelné podmínky nebo podobné omezující podmínky uložené na kamerových systémech.

S rostoucí tempo počítače jsou zakotveny ve více zařízeních, milimetrových vln radaru by mohlo skončit umožňující více univerzální znakovou řeč, které je známé napříč těmito zařízeními. Samozřejmě, že každý výrobce bude mít nevyhnutelně rozdíly mezi sebou (i když Google je první používat mm-wave radar jako senzor pro pohybové interakce, to neznamená, že bude poslední), to by mohlo skončit poskytuje „dostatečně podobné“ pohybové interakce stejným způsobem, že dotykové obrazovky jsou téměř univerzální, ale každý OEM dodavatele umožňuje různé gesta pro použití s dotykovou obrazovkou.

Dodatek:

zahrnul jsem další publikace zabývající se radarem milimetrových vln a jeho aplikacemi v HCI(nemusí nutně zahrnovat Projekt Soli). Velká část z nich se zaměřuje na techniky strojového učení používané k umožnění rozpoznávání gest pomocí radarového potrubí.

• One-Shot Učení pro Robustní Materiál Klasifikace Pomocí Milimetrových Vln Radaru Systému
• Ruční Rozpoznávání Gest Pomocí Radarové Echo I-Q Plot a Konvoluční Neuronové Sítě
• Robustní Rozpoznávání Gest pomocí Milimetrového-Wave Radar Systému
• Gesto Uznání založené na Radar Micro-Doppler Podpis Obálky
• Objevování radar: Moc 4D snímání
• Rozpoznávání Gest Pomocí mm-Wave Senzor pro Lidská-Auto Rozhraní
• Short-Range Radar na bázi Rozpoznávání Gest Systému pomocí 3D CNN s Triplet Ztráta
• Gesto Uznání založené na Radar Micro-Doppler Podpis Obálky
• Robustní Rozpoznávání Gest pomocí Milimetrového-Wave Radar Systému
• TS-I3D založené Rukou Gesto Uznání Metoda s Radar Senzorem
• Rozpoznávání znaků ve Vzduchu-Psaní na Základě Sítě Radary Pro Rozhraní Člověk-Stroj
• Doppler-Radar umístěný Rukou Gesto Uznání Systému Pomocí Konvoluční Neuronové Sítě
• Vyvolat Kontakt-based a Bezkontaktní Gesta s Radarové Senzory
• Objevování radar: moc 4D snímání
• Snímání Pohybu Pomocí Radaru: Gesto Interakce a Mimo

Patentů vztahujících se k Projektu Soli:

• Gesto-Založené Malé Zařízení, Vstup
• Radar na bázi gesto uznání přes nositelná zařízení
• Radar Uznání-Aided Vyhledávání
• Radar-based authentication
• Radar-Povoleno Senzor Fusion
• Wide-field radarové rozpoznávání gest
• Uzavřené rozpoznávání gest
• Radar-na základě gesto, snímání a přenos dat
• Smartphone na bázi Radaru Systému Usnadnit Snadnost a Přesnost Interakce Uživatele S zobrazení Objektů v Rozšířené Reality Rozhraní

Články v Tisku na Pixel 4 Spuštění a integrace s Project Soli:

• pověst: radarový čip Google Project Soli by mohl debutovat v Google Pixel 4
• Projekt Google Soli: TECH ZA PIXEL 4 MOTION SMYSL RADAR
• Project Soli je tajemství hvězda Google Pixel 4 self-únik
• Pixel 4 XL hands-na detaily Tváří odemknout,‘ zadní dokončit, více
• ovládání Gesty díky Infineon-radarové technologie v Google Pixel 4 Smartphone
• Monument Valley je ustwo vytváří Pohyb Smysl hry ‚Jih‘ pro Google Pixel 4
• S Pixel 4, Google experimentální tech sázky konečně vstoupit reflektor
• Google: Sóla Taneční DJ Swift