a Radar egy 85 éves technológia, amelyet egészen a közelmúltig nem alkalmaztak aktívan az ember — gép interfészekben. A radaralapú gesztusérzékelés lehetővé teszi a felhasználói szándék következtetését több kontextusban, mint amennyit a csak optikai alapú követés jelenleg lehetővé tesz.
a Google a radaralapú gesztusfelismerő rendszer, a project Soli használatát a Pixel 4 telefonsorozatban valószínűleg az első lépés a radar további elfogadásában, mint az eszközeinkkel való interakció bemenete.
a soli projekt háttere
a Google I/O 2015-ben az atap (Advanced Technology and Projects) csoport számos új kezdeményezést jelentett be. Ezek a következők voltak:
- Project Abacus — többtényezős felhasználói hitelesítés a felhasználó tartózkodási helye, gépelési minták és hangminták alapján
- Project Vault-biztonságos számítási környezet MicroSD kártyán, bármilyen platformon
- Project Jacquard — vezetőképes szál tömeggyártású textíliákba ágyazva Hordható alapú interakciók létrehozásához
- Project Soli — egy apró radarérzékelő, amely képes mikro-gesztus érzékelésre
ezek közül a Jacquard és a soli még mindig aktív-a jacquardot a divat számos fogyasztási cikkébe integrálták olyan márkák, mint a Levi’ s, a Saint Laurant és az Adidas.
több prototípus iteráció után a Google integrálta a Soli-t a Pixel 4-be a Motion Sense funkció részeként, amely lehetővé teszi a telefon számára, hogy elindítsa az arc-hitelesítés folyamatát, mielőtt a telefon tulajdonosának még hozzá kellene érnie a telefonjához.
röviddel az I/O-nál történt bejelentés után az ATAP felhívást tett közzé harmadik fél fejlesztőinek, hogy jelentkezzenek az Alpha Developer programra a Project Soli számára, hogy visszajelzést kapjanak a korai fejlesztési készletükről. Kitöltöttem egy jelentkezést, hogy zenei alapú interakciókat fejlesszek ki a Solival, és felvettek a programba.
az alpha fejlesztői program tagjaként szerzett tapasztalataimról itt írtam bővebben; ezzel a blogbejegyzéssel inkább áttekintést akartam adni a milliméteres hullámú radar képességeiről, és arról, hogy ezek hogyan tesznek lehetővé bizonyos új tapasztalatokat és kísérleteket az ember-számítógép interakció területén.
a Soli projekt bejelentése óta számos tudományos tanulmány készült ezen a területen, amelyek különböző alkalmazási területeket vizsgáltak meg, ezért megvizsgáljuk azokat; valamint egy gyors áttekintést arról, hogy mi a milliméteres hullámú radar, és az általa biztosított tulajdonságok típusai.
először is vessünk egy pillantást az első kereskedelmi termékre, amely a Project Soli-t használja, a Pixel 4-et.
az első kereskedelmi termék, amely integrálta a Project Soli-t, a Pixel4, amelyet a Google adott ki 2019 októberében.
a teaser-hirdetés utalt arra, hogy az új telefon lesz az első termék, amely integrálódik a Soli-val; tekintettel a benne látható érintés nélküli légmozdulatokra:
a Soli chip három új típusú képességet kínál a Pixel 4 számára:
jelenlét-a radar azon képességének köszönhetően, hogy képes érzékelni a mozgást a közeli területen, ahonnan elhelyezi, a Pixel 4 kikapcsolja a Mindig bekapcsolt kijelzőt, ha a telefon felhasználója nincs a közelben, miközben az asztalra kerül; ezért képes megtakarítani az akkumulátort, és nem zavarhatja meg a felhasználó figyelmét
Reach — a Soli érzékelő észleli, ha egy kéz mozog felé; a Képernyő felébresztése és az előlapi kamerák aktiválása az arc feloldásához
gesztusok
- Flick
- jelenlét
- Reach
- ellop
9 nak nek 5 A Google elvégezte a Pokemon Wave Hello játék elemzését, amely a Pixel 4 telefonokhoz tartozik, és felfedezett egy Unity plug-inet a játékban, amely a telefonon futó “Motion Sense Bridge” alkalmazáshoz kapcsolódott, amely a játékfejlesztőknek hozzáférést biztosított a különböző gesztusparaméterekhez:
Flick
- flickbizalom
- flickirány
- flickPrediction
- flicktartomány
- flickVelocity
jelenlét
- presenceconfidence
- presenceprediction
- presencevelocity
reach
- reachazimut
- reachconfidence
- reachelevation
- reachprediction
- reachrange
- reachvelocity
swipe
- swipeamplitude
- swipeconfidence
- swipeDirection
- swipeIntensity
- swipePrediction
- swipeTheta
jelenleg a külső fejlesztők nem férhetnek hozzá a MotionSense gesztusokhoz, hacsak a Google nem adott nekik hozzáférést az Android belső MotionSense Bridge alkalmazásához. Remélhetőleg a Google teljes hozzáférést biztosít a Soli érzékelőhöz, így a fejlesztők felfedezhetik, hogyan használhatják új és innovatív módon a gesztusfelismerő képességeket.
a Google AI Blog egyik bejegyzésében a Google ATAP mérnökei leírják a radar okostelefonba történő beágyazásának néhány kihívását és szempontját, például a radar chipet elég kicsivé és modulárisvá teszik ahhoz, hogy elférjen a telefon tetején, szűrőket adva a vibrációs zaj elszámolására, amely akkor fordul elő, amikor a radar egy okostelefonba kerül zene játszik a telefonról, és a gépi tanulási algoritmusok, amelyek képesek futtatni alacsony energiaszinten.
bármely robusztus gépi tanulási modell létrehozásának egyik kihívása, különösen az, amely egy olyan eszközben lesz, amely több millió fogyasztó kezében van, annak biztosítása, hogy a modell pontosan meg tudja jósolni a gesztusokat a felhasználók széles és változatos körében. Szemantikai szinten az emberek számára könnyű megkülönböztetni, hogy mi az ellop vagy a mozdulat gesztus. Mivel azonban minden ember ezeket a gesztusokat kissé eltérő módon hajtja végre a sebesség, a kézszög, a gesztus hosszának variációi révén; a gesztus következtetésének gépi tanulási modelljének elég robusztusnak kell lennie ahhoz, hogy e különbségektől függetlenül helyesen következtethessen a felhasználó gesztusára.
annak érdekében, hogy a modellek pontosak legyenek, a Soli csapata a TensorFlow modellt több ezer önkéntes gesztusainak millióira képezte ki. Ezeket a modelleket ezután úgy optimalizálták, hogy közvetlenül a Pixel 4 DSP egységén fussanak; annak lehetővé tétele, hogy a telefon felismerje a gesztusokat akkor is, ha a fő processzor le van kapcsolva — így képes a Pixel 4 észlelni, hogy valaki a Motionsense segítségével mozog a telefon felé, majd kapcsolja be a FaceUnlock érzékelőket a telefon feloldásához.
partnerség az Infineon-nal
míg a Google kifejlesztette a gépi tanulási algoritmusokat, a jelfeldolgozást és az UX mintákat a Soli-val való interakcióhoz, a német Infineon cég kifejlesztette a radar chipet, amely a Project Soli rendszer része. Bár fejlesztési készleteket lehet vásárolni az Infineon-tól, csak nyers radaradatokat továbbítanak — nincsenek feldolgozott jelfunkciók, amelyek felhasználhatók lennének egy gépi tanulási modell kiképzésére a gesztusok vagy a jelenlét felismerésére.
SSIGRAPH cikkükben, Soli: mindenütt jelenlévő Gesztusérzékelés milliméteres hullám radarral, az ATAP szerzői a hal-t (Hardware Abstraction Layer) absztrakciók halmazaként írják le, amely lehetővé tenné a Soli projekt számára, hogy különböző gyártók különböző radarérzékelő architektúráin dolgozzon. Ez lehetővé tenné a Google számára, hogy rugalmasan használja ugyanazokat a Soli funkcióprimitíveket a különböző típusú radarokon, miközben ugyanazokat a magas szintű interakciós mintákat tartja fenn.
példa alkalmazások az Alpha Dev programból
a Soli Alpha Dev program résztvevőit arra ösztönöztük, hogy publikálják munkánkat tudományos kiadványokban; néhány tag demókat is készített a bemutatóhoz különböző blogokon, többek között:
- új zenei interfészek (Demo videó)
- egy in-air gesztus billentyűzet
- a világ legapróbb hegedű
- segítségével Soli azonosítani tárgyak robotkar ellenőrzés
a HCI Tanszék a University of St. Andrews robusztus munkát végzett az Alpha Dev program tagjaként, beleértve a
- Radar kategorizálást a bemeneti felismeréshez — a szerzők bemutatják a RadarCat-ot, egy olyan rendszert, amely képes megkülönböztetni a “26 anyagot (beleértve a komplex kompozit objektumokat is), majd 16 átlátszó anyaggal (különböző Vastagsággal és különböző színezékekkel), végül 10 testrész 6 résztvevőtől”
- kézzelfogható felhasználói felület objektum és anyag osztályozás szerint radarral — folytatják munkájukat a RadarCat-tól; a szerzők olyan valós alkalmazási forgatókönyveket is leírnak, amelyekben ezt a rendszert fel lehet használni, beleértve az önellenőrző rendszereket és az intelligens orvostechnikai eszközöket.
- feltárása kézzelfogható kölcsönhatások Radar érzékelés — feltárása “radar, mint egy platform érzékelő kézzelfogható kölcsönhatás a számlálás, rendelés, objektumok azonosítása és nyomon követése az orientáció, mozgás és a távolság ezen objektumok”.
az Alpha Developer program néhány projektjét egy videó mutatta be, amelyet az ATAP frissítésében mutattak be a következő évi I / O eseményen (2016):
Google Papers
a Google ATAP tagjai a Project Soli-val végzett munkájukról is publikáltak cikkeket:
- Soli: mindenütt jelenlévő Gesztusérzékelés milliméteres hullám radarral-SIGGRAPH 2016
- erősen integrált 60 GHz-es 6 csatornás adó-vevő antennával a csomagban az intelligens érzékeléshez és a rövid hatótávolságú kommunikációhoz — IEEE 2016
- interakció a Soli-val: Finom szemcsés dinamikus Gesztusfelismerés feltárása a rádiófrekvenciás spektrumban-UIST 2016
- kéttónusú radarérzékelő abszolút távolság és relatív mozgás egyidejű észlelésére Gesztusérzékeléshez — IEEE Sensors Letters 2017
a Radarérzékelés az űrben lévő tárgyak változó mozgásmintáinak észlelésén alapul. A rádióhullámokat a radarról továbbítják, egy cél visszapattanását (egy emberi kéz mozgásban), majd a radar antennái újra fogadják. A hullámok küldésének és fogadásának időzített különbsége a radar útjában lévő objektum profiljának létrehozására szolgál.
emberi gesztusok esetén a kéz a radarérzékelő látószögében mozog a 3D térben. A helyzetváltozások különböző profilokat hoznak létre a visszapattant radarjelek számára, lehetővé téve a különböző gesztusok észlelését.
mivel a radar különböző mozgási jellemzők alapján érzékeli a gesztusokat, nem alkalmas statikus gesztusok, például jelnyelv vagy békejel észlelésére. Ez azonban kiválóan alkalmas dinamikus, mozgás alapú gesztusok, például ujjcsattanás vagy kulcsfordító mozgás észlelésére.
az optikai alapú érzékelőktől eltérően a radar teljesítménye nem függ a világítástól, képes az anyagokon keresztül működni, és még olyan gesztusokat is érzékel, amelyek akkor fordulnak elő, amikor az ujjak esetleg elzárják egymást.
a mikro-gesztusokat úgy definiálhatjuk, mint”kis mennyiségű mozgással járó interakciókat, és azokat, amelyeket elsősorban az ujjak mozgatásával és a csukló csuklójával rendelkező izmok hajtanak végre, nem pedig a nagyobb izomcsoportokat, hogy elkerüljék az idő múlásával a fáradtságot”. Néhány példa az ilyen típusú gesztusok, hogy a mozgás a gomb megnyomásával megérinti a mutatóujját ellen a hüvelykujját, hogy egy csúszka mozgás mozgatásával a hüvelykujját a felület a mutatóujj, és hogy egy mozgás hasonló fordult a tárcsát az ujjaival és a csuklóját.
ezeket a gesztusokat különféle kontextusokban (IoT, AR/VR stb.) Lehet használni a felhasználói felület elemeivel való interakcióhoz.
jövőbeli fogyasztói elektronikai termékek a Google-tól
úgy tűnik, hogy a Google a Soli új termékekbe történő integrálásán dolgozik; az “intelligencia-érzékelő algoritmusok mérnöke, a Google Nest” álláshirdetése a “radarral való munka tapasztalatait” preferált képesítésként sorolja fel. A Soli egyik korai bemutatója megmutatta a JBL intelligens hangszórójába integrált radart; nem lenne meglepő, ha a Soli-t beépítenék egy fogyasztói elektronikai termékbe vagy háztartási készülékbe.
egy másik Project Soli bemutató, amelyet a Google ugyanazon előadás során mutatott be, mint a Talajvezérelt JBL hangszóró, egy okosóra volt, amelynek belsejében Soli volt (a Google még szabadalmat is benyújtott egy gesztus alapú intelligens órára, amelyet videokonferenciákhoz lehetett használni).
a legvalószínűbb forgatókönyv szerint a Google kijelentette, hogy azon túl, hogy a Soli-hoz hasonló érzékelőket használ a gesztusfelismeréshez, “a jövőben olyan eszközöket akarunk létrehozni, amelyek megértik a testbeszédet, így intuitívabbak és hasznosabbak”. Bár ez akár a spekuláció, hogy pontosan mit is jelent, és úgy néz ki, mint a gyakorlatban, az egyik lehetséges felhasználási eset az, hogy a telefon képes észlelni az érzelmi állapot az emberek a közelben; amely lehetővé teszi az affektív számítási interfészek. (Az affektív Számítástechnika alaposabb megvitatása túlmutat ezen a poszton; Azt javasoljuk, hogy olvassa el ezt az alapvető munka Rosalind Picard megalkotta a kifejezést, hogy egy kis háttér a témában).
a Google környezeti számítástechnikai jövője
a Soli projekt első publikált cikkében a szerzők (a Google ATAP-tól) számos lehetséges alkalmazási területet sorolnak fel:
- Virtuális valóság
- viselhető és okos ruhák
- tárgyak internete és játékvezérlők
- “hagyományos eszközök” (mobiltelefonok, táblagépek, laptopok)
ha ezek az eszköztípusok integrálnák a Project Soli-t, a Google kihasználhatna egy univerzális gesztuskeretet, amely mindegyikben közös lenne. Ez megkönnyítené az emberek számára az új eszközök gyors használatát, amelyek mindegyike kölcsönhatásba lép a Google szolgáltatásaival.
Ben Thompson “Google and Ambient Computing” című cikke elemzi a Google közelmúltbeli elmozdulását arról, hogy segíteni akarnak a világ információinak megszervezésében, olyanra, amely segít a dolgok elvégzésében.
a Made by Google 2019 nyitóbeszédében a Google eszközök és szolgáltatások vezető alelnöke, Rick Osterloh (aki korábban a Google ATAP vezetője volt) felvázolja a Google mint olyan vállalat jövőképét, amely “hasznosabb Google-t akar hozni neked.”Sundar Pichai a 20193 I/O vitaindítójában kijelentette ,hogy”egy olyan cégtől költözünk, amely segít megtalálni a válaszokat egy olyan céghez, amely segít a dolgok elvégzésében”.
a környezeti számítástechnikát először Walt Mossberg technológiai újságíró találta ki utolsó oszlopában, “az eltűnő számítógép”. Ez is nevezik mindenütt vagy átható Számítástechnika.
a számítástechnika ezen területével kapcsolatos további olvasmányokért nézze meg Mark Weiser, a Xerox PARC vezető tudósának munkáját, különös tekintettel 1991-es tudományos Amerikai cikkére, “A számítógép a 21.századra”. Weiser megalkotta az ubiquitous computing kifejezést, amelyet úgy írt le, mint a számítástechnika, amely “bármilyen eszköz, bárhol és bármilyen formátumban”használható.
Thompson rámutat arra, hogy a Google környezeti számítástechnikai elképzelése “nem versenyez az okostelefonnal, hanem inkább kihasználja azt”. A Google nem próbálja megtalálni a következő hardverplatformot (például a Facebook az Oculus VR megvásárlásával vagy az Apple teljes bekapcsolásával az AR-ba); ratther, olyan környezeti eszközök ökoszisztémáját akarják létrehozni, amelyek mind zökkenőmentesen csatlakoznak (esetleg az okostelefont hubként használják?), és intuitív módon kölcsönhatásba lépnek; mindegyik kapcsolódik a Google által nyújtott szolgáltatásokhoz.
a különböző kontextusokban létező eszközökkel való interakció egységes módja rendkívül hasznos lenne a Google számára a környezeti számítástechnikai látásuk elfogadásának előmozdításában. Egy kicsi, könnyen beágyazható érzékelő, amely képes érzékelni az emberek gesztusait a világítástól vagy más légköri viszonyoktól függetlenül, sokkal közelebb hozná ezt a látást a valósághoz. Ez megkönnyítené a felhasználók számára, hogy sokféle eszközzel vegyenek részt, amelyek hozzáférést biztosítanak a Google szolgáltatásaihoz.
nyomokat az Apple elfogadása mm-hullám Radar
a közelmúltban megjelent egy LiDAR képes iPad Pro szolgáltatás AR képességek, Az Apple úgy tűnik, hogy mutatja a hajlandóság, hogy érzékelők egyre növekvő komplexitás (és hasznosság) a termékeiket.
ezenkívül az Apple legalább egy bejegyzést tett fel a radarral kapcsolatos szerepekre; egy Radarjelfeldolgozó mérnök számára a LinkedIn-en most inaktív bejegyzés a következőket tartalmazza leírásában:
igazságosnak érzem, ha azt mondom, hogy legalább az Apple a milliméteres hullámú radart érzékelési módként vizsgálja; mikor, hogyan és ami a legfontosabb; ha egy radar-kompatibilis Apple termék valaha elhagyja a cupertinói laboratóriumokat, azt csak az idő fogja tudni megmondani.
személyes spekulációm az, hogy az Apple kiad egy AR fejhallgatót beépített radarral a mikro-gesztusérzékeléshez, hogy növelje a kézkövetési képességeiket. Továbbá, mivel a radar jobban ismert, mint lehetséges érzékelési mód (köszönhetően leginkább a Project Soli-nak, és bármilyen terméknek, amelybe a Google és partnereik úgy döntenek, hogy integrálják), más AR és VR headset gyártók megkezdik a milliméter hullámú radar chipek integrálását a fejhallgatóikba, hogy megoldják a korábban említett” hiányzó interfész ” problémát; annak biztosítása, hogy a valós fizikai objektumok, amelyekkel az emberek AR/VR-n keresztül lépnek kapcsolatba, képesek legyenek a fülhallgatón keresztül bemutatott digitális információkra térképezni.
verseny
legalább egy startup dolgozik milliméter hullámú radaron az ember-gép interfészek számára; tajvani KaiKuTek (“CoolTech”). Azt állítják, hogy radar alapú gesztusérzékelő rendszerük megfelel, ha nem haladja meg a Google Soli projektjét.
a Radarérzékelővel egy gépi tanulási következtetési chip van integrálva; tehát minden következtetés szenzoroldali számítási szinten történik, ellentétben a Pixel 4 MotionSense rendszerével, amelyben az érzékelő (Soli) és a következtető motor külön chip alkatrészeken vannak. Ez a KaiKuTek azt állítja, hogy képesek ilyen alacsony teljesítményű (1 mW) minősítést elérni.
záró gondolatok
a Project Soli-val a Google a modalitások és kontextusok széles körében továbbfejlesztette a számítógépekkel való interakciót. A milliméteres hullámú radar ígéretes módszert kínál a számítógépekkel való geszturális interakcióra anélkül, hogy aggódnia kellene az elzáródás, a fényviszonyok vagy a kameraalapú rendszerekre vonatkozó hasonló korlátozó feltételek miatt.
a számítógépek egyre növekvő ütemével több eszközbe ágyazódnak, a milliméteres hullámú radar végül lehetővé teheti egy univerzálisabb gesztusnyelvet, amely ismerős ezeken az eszközökön. Természetesen minden gyártónak elkerülhetetlenül lesznek különbségei egymás között (bár a Google elsőként használja az mm-hullám radart a gesztus interakció érzékelőjeként, ez nem azt jelenti, hogy ez lesz az utolsó), végül “elég hasonló” gesztus interakciókat eredményezhet ugyanúgy, mint az érintőképernyők szinte univerzálisak, de minden OEM gyártó különböző gesztusokat tesz lehetővé az érintőképernyővel való használatra.
függelék:
további publikációkat is tartalmaztam, amelyek a milliméteres hullámú radarral és annak alkalmazásaival foglalkoznak a HCI-ben (nem feltétlenül a Soli projekt bevonásával). Ezek jó része a gépi tanulási technikákra összpontosít, amelyek lehetővé teszik a gesztusfelismerést egy radarvezetékkel.
- One-Shot tanulás robusztus anyag osztályozás segítségével milliméteres hullám Radar rendszer
- kézmozdulat felismerés segítségével Radar Echo I-Q telek és konvolúciós neurális hálózat
- robusztus gesztus felismerés segítségével milliméteres hullám Radar rendszer
- kézmozdulat felismerés alapján Radar mikro-Doppler aláírás borítékok
- Újrafeltalálása radar: A hatalom a 4D érzékelő
- gesztus felismerés segítségével mm-hullám érzékelő ember-autó interfész
- rövid hatótávolságú Radar-alapú gesztus felismerő rendszer segítségével 3D CNN hármas veszteség
- kéz gesztus felismerés alapján Radar mikro-Doppler aláírás borítékok
- robusztus gesztus felismerés segítségével milliméteres hullám Radar rendszer
- TS-I3D alapú kéz gesztus felismerés módszer radarérzékelővel
- karakterfelismerés légi írásban radarok hálózatán alapul ember-gép interfészhez
- Doppler-radar alapú kézmozdulat-felismerő rendszer Konvolúciós neurális hálózatok használata
- kontaktus alapú és érintés nélküli gesztusok kiváltása Radar alapú érzékelőkkel
- a radar feltalálása: a 4D érzékelés ereje
- mozgásérzékelés Radar segítségével: gesztus interakció és azon túl
a Soli projekthez kapcsolódó szabadalmak:
- gesztus-alapú kis eszköz bemenet
- Radar-alapú gesztus-felismerés Hordható eszközön keresztül
- Radar-felismerés-segített keresések
- Radar-alapú hitelesítés
- Radar-képes érzékelő fúzió
- széles terepi radar-alapú gesztusfelismerés
- elzárt gesztusfelismerés
- Radar-alapú Gesztusérzékelés és adatátvitel
- okostelefon-alapú radarrendszer, amely megkönnyíti és pontosítja a felhasználó interakcióit a megjelenített objektumokkal egy kibővített valóság felületen
sajtóközlemények a megjelenített objektumokról Pixel 4 Bevezetés és integráció a Project Soli-val:
- pletyka: a Google Project Soli radar chip debütálhat a Google Pixel 4
- GOOGLE Project Soli: A TECH mögött PIXEL 4 MOTION SENSE RADAR
- Project Soli a titkos csillag a Google Pixel 4 self-szivárgás
- Pixel 4 XL gyakorlati részletek ‘Face unlock,’ hátsó kivitelben, Több
- gesztus vezérlés köszönhetően Infineon-radar technológia a Google Pixel 4 Smartphone
- Monument Valley ustwo teremt Motion Sense játék ‘Headed South’ a Google Pixel 4
- a pixel 4, a Google kísérleti tech fogadás végre belép a reflektorfénybe
- Google: soli dance DJ swift