レーダーは85年前の技術であり、最近までヒューマンマシンインタフェースに積極的に展開されていませんでした。 レーダーベースのジェスチャセンシングにより、光学ベースの追跡よりも多くのコンテキストにわたってユーザーの意図を推定できます。
Googleがpixel4シリーズの携帯電話でレーダーベースのジェスチャー認識システムであるProject Soliを使用したことは、おそらくradarをデバイスと対話するための入力とし
プロジェクトSoliの背景
Google I/O2015では、ATAP(Advanced Technology and Projects)グループがいくつかの新しい取り組みを発表しました。 これらは含まれています:
- Project Abacus—ユーザーの位置、入力パターン、音声パターンに基づく多要素ユーザー認証
- Project Vault-あらゆるプラットフォーム用のMicroSDカード上の安全なコンピューティング環境
- Project Jacquard—大量生産可能なテキスタイルに埋め込まれた導電性スレッドにより、ウェアラブルベースのインタラクションを作成
- Project Soli—マイクロジェスチャー検出が可能な小型レーダーセンサー
- Project Soli-マイクロジェスチャー検出が可能な小型レーダーセンサー
これらのうち、Jacquardとsoliはまだアクティブです-jacquardはファッションと様々な消費者製品に統合されています リーバイス、サンローラン、アディダスなどのレーベル。
いくつかのプロトタイプの反復を経た後、Googleはモーションセンス機能の一部としてSoliをPixel4に統合し、携帯電話の所有者が携帯電話に触れる前に顔認証のプロセスを開始することを可能にした。
I/Oでの発表直後、ATAPはサードパーティの開発者に、初期段階の開発キットに関するフィードバックを得る方法として、Project SoliのAlpha Developer programに応募するよう呼び出 私はSoliとの音楽ベースの相互作用を開発するためのアプリケーションを記入し、プログラムに受け入れられました。
私はアルファ開発者プログラムのメンバーとしての私の経験についての詳細をここに書きました; 私がこのブログ記事でやりたかったのは、ミリ波レーダーの機能の概要と、人間とコンピュータの相互作用の分野での新しい経験と実験をどのように可能にするかについての詳細を提供することでした。
プロジェクトSoliが発表されて以来、この分野を探索するいくつかの学術論文が書かれているので、ミリ波レーダーとは何か、それによって与えられる特性の種類の概要だけでなく、それらを見ていきます。
最初に、Project Soli、Pixel4を使用した最初の商用製品を見てみましょう。
Project Soliを統合した最初の商用製品は、2019年10月にGoogleからリリースされたPixel4です。
ティーザー広告は、新しい携帯電話がSoliと統合する最初の製品になることを示唆しました。:
Soliチップは、ピクセル4のための機能の三つの新しいタイプを提供します:
プレゼンス—レーダーが置かれている場所から近くの領域の動きを検出する機能のおかげで、Pixel4は、携帯電話のユーザーがテーブルに置かれている間に近くに; ロック解除
ジェスチャー
- フリック
- プレゼンス
- リーチ
- スワイプ
9 to5Googleは、Pixel4携帯電話にバンドルされているPokemon Wave Helloゲームの分析を行い、ゲーム開発者にさまざまなジェスチャーパラメータへのアクセスを与えた携帯電話で実こんにちは”Motion Sense Bridge”アプリケーションに接続されたUnityプラグインを発見した。:
フリック
- フリックコンフィデンス
- フリックディレクション
- フリックプレディクション
- フリックレンジ
- フリックベロシティ
プレゼンス
- presenceconfidence
- presenceprediction
- presencerange
- presencevelocity
reach
- reachazimuth
- reachconfidence
- reachelevation
- reachprediction
- reachrange
- reachvelocity
swipe
- swipeamplitude
- swipeconfidence
- swipeDirection
- swipeIntensity
- swipePrediction
- swipeTheta
現在、サードパーティの開発者は、GoogleからAndroidの内部MotionSense Bridgeアプリへのアクセス権を与えられていない限り、MotionSenseジェスチャーにアクセスできません。 うまくいけば、GoogleはSoliセンサーへのフルアクセスを開くので、開発者は新しい革新的な方法で提供するジェスチャー認識機能をどのように使用できるか
レーダーベースのジェスチャー認識のためのトレーニングデータセットを作成するための課題
Google AIブログの記事では、Google ATAPのエンジニアは、レーダーチップを携帯電話の上部に収まるように小型でモジュール化したり、フィルタを追加したりするなど、スマートフォンにレーダーを埋め込むための課題と考慮事項のいくつかを説明している。 音楽は、携帯電話から再生され、低電力レベルで実行することができます機械学習アルゴリズム。
堅牢な機械学習モデルを作成する際の課題の1つ、特に何百万人もの消費者の手の中にあるデバイスでは、モデルが幅広く多様なユーザー集団全体でジェスチャを正確に予測できるようにすることです。 意味レベルでは、人間がスワイプやフリックジェスチャが何であるかを区別するのは簡単です。 しかし、それぞれの人が速度、手の角度、ジェスチャーの長さの変化によってわずかに異なる方法でそれらのジェスチャーを作るので、どのジェスチャーが起こ
モデルが正確であることを確認するために、Soliチームは何千人ものボランティアによって作られた何百万ものジェスチャーでTensorFlowモデルを訓練しました。 これらのモデルは、Pixel4のDSPユニットで直接実行するように最適化されました; メインプロセッサがパワーダウンされている場合でも、ジェスチャーを認識するために携帯電話を有効にする—ピクセル4は、誰かがMotionSenseを使用して電話に向
インフィニオンとのパートナーシップ
GoogleはSoliと対話するための機械学習アルゴリズム、信号処理、UXパターンを開発しましたが、ドイツのインフィニオン社はProject Soliシステムの一部であるレーダーチップを開発しました。 インフィニオンから開発キットを購入することは可能ですが、生のレーダーデータのみをストリーミングし、ジェスチャーやプレゼンスを認識するための機械学習モデルを訓練するために使用できる処理された信号機能はありません。
ATAPの著者は、SSIGRAPHの論文”Soli:Ubiquitous Gesture Sensing with Millimeter Wave Radar”で、Hal(Hardware Abstraction Layer)を、プロジェクトSoliが異なるメーカーの異なるレーダーセンサーアーキテクチャ間で動作できるようにする抽象化のセットと これにより、Googleは、同じ高レベルの相互作用パターンを維持しながら、さまざまなタイプのレーダーにわたって同じSoli機能プリミティブのセットを使用する柔軟性を持つことができるようになります。
Alpha Devプログラムのサンプルアプリケーション
Soli Alpha Devプログラムの参加者は、私たちの作品を学術出版物に公開することを奨励されました。:
- 新しい音楽インターフェース（デモビデオ）
- 空気中のジェスチャーキーボード
- 世界で最も小さいバイオリン
- ロボットアーム制御のためのオブジェ Andrewsは、Alpha Devプログラムのメンバーとして、
- 入力認識のためのレーダー分類を含む堅牢な作業体を作成しました—著者らは、「26の材料（複雑な複合物体を含む）、次は16の透明な材料（厚さが異なり、染料が変化する）、最後に6人の参加者から10の体の部分」を識別できるシステムRadarCatを提示しました。
- レーダーによるオブジェクトと材料分類による有形UI-RadarCatからの作業を続けています。; また，セルフチェックアウトシステムやスマート医療機器など，このシステムが使用できる現実世界のアプリケーションシナリオについても述べた。
- レーダーセンシングとの具体的な相互作用の探索—”オブジェクトのカウント、順序付け、識別、およびこれらのオブジェクトの向き、動き、距離を追跡することとの具体的な相互作用を検出するためのプラットフォームとしてのレーダー”を探索する。
Alpha Developer programのプロジェクトのいくつかは、翌年のI/Oイベント（2016年）でATAPからのアップデートで発表されたビデオで紹介されました。:
Google Papers
Google ATAPのメンバーは、Project Soliとの仕事に関する論文も発表しました:
- Soli：ミリ波レーダによるユビキタスジェスチャセンシング-SIGGRAPH2016
- スマートセンシングと短距離通信のためのアンテナをパッケージ化した高度に統合された60GHz6チャネルトランシーバ-IEEE2016
- Soliとの相互作用: 無線周波数スペクトルにおけるきめ細かな動的ジェスチャ認識の探索-UIST2016
- ジェスチャー検出のための絶対距離と相対移動の同時検出のためのツートーンレーダセンサー-IEEE Sensors Letters2017
mm波レーダの特性とそのアフォーダンス
レーダセンシングは、空間内の物体の動きの変化パターンを検出することに基づいています。 電波は、レーダーから送信され、ターゲット（動きの人間の手）のバウンス、その後、レーダーのアンテナによって再受信されます。 波が送信されたときと受信されたときの時間差は、レーダーの経路にあるオブジェクトのプロファイルを作成するために使用されます。
人間のジェスチャーの場合、手はレーダーセンサーの視線の中で3D空間を介してその位置を移動します。 位置の変更は検出されるべき異なったジェスチャーを可能にする反射されたレーダー信号のための異なったプロフィールを作り出す。
レーダーは異なる動き特性に基づいてジェスチャーを検出するため、手話やピースサインなどの静的なジェスチャーを検出するのには適していません。 しかし、それは、指のスナップ、またはキー回転運動のような動的な、モーションベースのジェスチャーを検出するのに適しています。
光学式センサーとは異なり、レーダーの性能は照明に依存せず、材料を介して動作し、指が互いに閉塞しているときに発生するジェスチャーを検出すること
マイクロジェスチャーは、”少量の動きを伴う相互作用と、時間の経過とともに疲労を避けるために大きな筋肉群を伴うものではなく、主に指を駆動し、手首を関節させる筋肉によって行われる相互作用”と定義することができる。 このようなジェスチャーの例としては、人差し指を親指に当ててボタンを押す動き、人差し指の表面に親指を動かしてスライダーを動かす動き、指や手首でダイヤルを回すような動きがあります。
これらのジェスチャーは、さまざまなコンテキスト（IoT、AR/VRなど）でユーザーインターフェイス要素と対話するために使用できます。
Googleの将来の家電製品
GoogleはSoliを新製品に統合することに取り組んでいるようです; “知能センサアルゴリズム技術者、Google Nest”の求人情報には、”レーダーでの作業経験”が優先資格として記載されています。 Soliの初期のデモの一つは、JBLからスマートスピーカーに統合されたレーダーを示した;Soliは、家電製品や家電製品に統合されることは驚くべきことではないだろう.
Soil-controlled JBL speakerと同じプレゼンテーションでgoogleが示した別のプロジェクトSoliデモは、Soliを内部に搭載したスマートウォッチでした（Googleはビデオ会議に使用できるジェスチャーベースのスマートウォッチの特許を申請しました）。
最も可能性の高いシナリオでは、Googleはジェスチャー認識のためにSoliのようなセンサーを使用することを超えて、”将来的には、あなたの体の言語を理解 それは正確にそれが意味し、実際にはどのように見えるかについての憶測次第ですが、ここでの潜在的なユースケースの一つは、電話が近くの人々の感情状態を検出することができるということです。 （感情計算のより徹底的な議論は、この記事の範囲を超えています; 私はあなたがトピックに関するいくつかのより多くの背景を得るために用語を造語Rosalind Picardによるこの精液の仕事を読むことをお勧めします）。
GoogleのAmbient Computing Future
Project Soliの最初の発表論文で、著者（Google ATAPから）はいくつかの可能なアプリケーション領域をリストしています:
- 仮想現実
- ウェアラブルとスマートウェア
- モノのインターネットとゲームコントローラ
- “伝統的なデバイス”（携帯電話、タブレット、ラップトップ)
これらのデバイスタイプのすべてがProject Soliを統合する場合、Googleはそれらのすべてが共通している普遍的なジェスチャーフレームワークを活用することがで これにより、人々はこれらの新しいデバイスをすばやく使用し、すべてGoogleの一連のサービスとやりとりすることが容易になります。
Ben ThompsonのStratecheryに関する記事”Google and Ambient Computing”は、Googleの最近のシフトを分析し、世界の情報を整理するのを助けたいと述べてから、物事を成し遂げるのを助けるもの
Made by Google2019での開会の挨拶で、Googleのデバイスおよびサービス担当上級副社長であるRick Osterloh（以前はGoogle ATAPの責任者でした）は、Googleを「より役立つGoogleをあなたにもた「Sundar Pichaiは20193I/Oの基調講演で、「私たちはあなたが答えを見つけるのを助ける会社から、物事を成し遂げるのを助ける会社に移行している」と述べました。
アンビエントコンピューティングは、技術ジャーナリストのウォルト-モスバーグが最後のコラム”The Disappearing Computer”で最初に造語されました。 また、ユビキタスまたは普及コンピューティングと呼ばれています。
このコンピューティング分野に関する追加の読書については、Xerox PARCの主任科学者であるMark Weiserの研究、特に1991年のScientific Americanの記事”The Computer for the21st Century”をチェックしてくださ ヴァイザーはユビキタス-コンピューティングという用語を造語し、”任意のデバイス、任意の場所、および任意の形式”を使用して発生することができるコンピューティングコンピューティングと説明した。
Thompson氏は、Googleのアンビエントコンピューティングのビジョンは”スマートフォンと競合するのではなく、むしろそれを活用する”と指摘している。 Googleは次のハードウェアプラットフォームを見つけようとしていません（FacebookがOCULUS for VRを買収したり、AppleがARに全面的にプッシュしたりしていたように）。facebookは、すべてがシームレスに接続する周囲のデバイスのエコシステムを作成しようとしています（おそらくスマートフォンをハブとして使用していますか？ すべては、Googleが提供するサービスに接続されています。
さまざまなコンテキストに存在するデバイスと対話するための統一された方法を持つことは、Googleがアンビエントコンピューティングビジョンの採用を促進する上で非常に有益であろう。 照明や他の大気条件に関係なく、人々からのジェスチャーを検出できる小型で簡単に埋め込むことができるセンサーは、このビジョンを現実にはるかに近 これにより、ユーザーがGoogleのサービスへのアクセスを提供するさまざまなデバイスに簡単に参加できるようになります。
mm波レーダーの採用に関するAppleからの手がかり
Ar機能へのサービスでLiDAR可能なiPad Proの最近のリリースでは、Appleはますます複雑さ（とユーティリティ）のセンサーを製品に入れる意欲を示しているようです。
さらに、Appleはradarに関連する役割のために少なくとも一つの投稿を掲載しています。:
それは非常に少なくとも、Appleはセンシングモダリティとしてミリ波レーダーを見ていると言って私には公正な感じ、いつ、どのように、そして最も重要なのは、レーダー対応のApple製品は、これまでクパチーノの研究所を離れる場合は、唯一の時間が伝えることができるようになります一つです。
私の個人的な推測は、Appleが手の追跡機能を強化するために、マイクロジェスチャー検出用のレーダーを内蔵したARヘッドセットをリリースするということです。 さらに、レーダーが可能なセンシングモダリティとしてよく知られるようになると（主にProject SoliとGoogleとそのパートナーがそれを統合することを決定した製品）、他のAR; 人々がAR/VRを介して対話する現実世界の物理オブジェクトが、ヘッドセットを介して提示されるデジタル情報にマップする方法を持っていることを
ヒューマンマシンインタフェース用のミリ波レーダーに取り組んでいるスタートアップが少なくとも一つあります。 彼らは、レーダーベースのジェスチャー検出システムは、GoogleのプロジェクトSoliを上回っていない場合に一致すると主張しています。
レーダセンサに機械学習推論チップを内蔵; したがって、すべての推論は、センサー（Soli）と推論エンジンが別々のチップ部品上にあるPixel4のMotionSenseシステムとは異なり、センサー側の計算レベルで行われます。 これは、KaiKuTekの主張であり、彼らはそのような低電力（1mW）定格を達成することができます。
思考を閉じる
Project Soliでは、Googleがさまざまなモダリティやコンテキストにわたってコンピュータとどのように対話するかについての会話を進めています。 ミリ波レーダーは、カメラベースのシステムに課される閉塞、照明条件、または同様の制限条件を心配することなく、コンピュータと対話する有望な方法を提供する。
コンピュータがより多くのデバイスに埋め込まれるペースが増加するにつれて、ミリ波レーダーは、これらのデバイスでよく知られているより普遍的な身振り言語を可能にすることになる可能性があります。 もちろん、各メーカーは必然的にお互いの違いを持っています（googleはジェスチャーの相互作用のためのセンサーとしてmm波レーダーを使用する最初のものですが、それが最後になるという意味ではありません）、タッチスクリーンがほぼ普遍的であるのと同じように”十分に類似した”ジェスチャーの相互作用を与えることになる可能性がありますが、各OEMベンダーはタッチスクリーンで使用するために異なるジェスチャーを可能にします。
付録:
ミリ波レーダーとHCIにおけるその応用に関する追加の出版物を含めました（必ずしもProject Soliに関係しているわけではありません）。 これらの大部分は、レーダーパイプラインでジェスチャー認識を可能にするために使用される機械学習技術に焦点を当てています。
- ミリ波レーダシステムを用いたロバストな材料分類のためのワンショット学習
- レーダーエコー I-Qプロットと畳み込みニューラルネットワークを用いたハンドジェスチャ認識
- ミリ波レーダシステムを用いたロバストなジェスチャ認識
- レーダーマイクロドップラー署名エンベロープに基づくハンドジェスチャ認識
- レーダーの再発明: 4Dセンシングのパワー
- mm波センサーを用いたジェスチャー認識
- トリプレット損失を伴う3D CNNを用いた短距離レーダーベースのジェスチャー認識システム
- レーダーマイクロドップラー署名エンベロープに基づくハンドジェスチャー認識
- ミリ波レーダーシステムを用いた堅牢なジェスチャー認識
- TS-I3Dベースのハンドジェスチャー認識方法レーダセンサ付き
- ヒューマンマシンインタフェース用レーダーネットワークに基づく空気書き込みにおける文字認識
- ドップラーレーダベースの手ジェスチャー認識シ 畳み込みニューラルネットワークの使用
- レーダーベースのセンサーで接触ベースおよび非接触ジェスチャーを引き出す
- レーダーの再発明：4Dセンシングのパワー
- レーダーを使用したモーションセンシング：ジェスチャー相互作用およびビヨンド
Project Soliに関連する特許:
- ジェスチャーベースの小型デバイス入力
- ウェアラブルデバイスを介したレーダーベースのジェスチャー認識
- レーダー認識支援検索
- レーダーベースの認証
- レーダー対応センサー融合
- 広視野レーダーベースのジェスチャ認識
- 広視野レーダーベースのジェスチャ認識
- 閉塞ジェスチャー認識
- レーダーベースのジェスチャー検出とデータ伝送
- 拡張現実インターフェイスで表示されたオブジェクトとのユーザーの相互作用の容易さと精度を容易にするスマートフォンベースのレーダーシステム
Pixel4の発売とProject Soliとの統合:
- 噂：GoogleのProject Soliレーダーチップは、Google Pixel4
- GOOGLEのPROJECT Soliでデビューする可能性があります: PIXEL4のモーションセンスレーダーの背後にある技術
- Project Soliは、GoogleのPixel4self-leakの秘密のスターです
- Pixel4XLハンズオンの詳細”顔のロック解除”、バックフィニッシュ、詳細
- Google Pixel4スマートフォン
- モニュメントバレーのustwoは、Google Pixel4
- のモーションセンスゲーム”Headed South”を作成します。>
- PIXEL4では、googleの実験的な技術ベットがついにスポットライトに入ります
- google：swiftによるsoli dance dj