프로젝트 솔리&인간-기계 인터페이스에 레이더의 향후 사용

레이더는 최근까지 인간-기계 인터페이스에 적극적으로 배치되지 않은 85 년 된 기술입니다. 레이더 기반 제스처 감지 기능을 사용하면 현재 광학 전용 기반 추적이 허용하는 것보다 더 많은 컨텍스트에서 사용자 의도를 추론 할 수 있습니다.

구글의 레이더 기반 제스처 인식 시스템인 프로젝트 솔리를 픽셀 4 시리즈의 휴대폰에서 사용하는 것은 우리 장치와의 상호작용을 위한 입력으로서 레이더를 추가로 채택하는 첫 단계일 가능성이 높다.

프로젝트 솔리 배경

이러한 포함:

• 프로젝트 주판—사용자 위치,입력 패턴 및 음성 패턴을 기반으로 한 다단계 사용자 인증
• 프로젝트 볼트-모든 플랫폼에 대한 마이크로 카드의 안전한 컴퓨팅 환경
• 웨어러블 기반 상호 작용을 만들기 위해 대량 생산 가능한 섬유에 내장 된 프로젝트 자카드 전도성 스레드
• 프로젝트 솔리—마이크로 제스처 탐지가 가능한 소형 레이더 센서

이들 중,자카드와 솔리는 여전히 활성—자카드는 패션과 소비자 제품의 다양한 통합 된 데 리바이스,세인트 로랑,아디다스와 같은 레이블.

여러 프로토 타입 반복을 통과 한 후,구글은 휴대 전화의 소유자도 자신의 휴대 전화를 터치하기 전에 전화가 얼굴 인증 과정을 시작할 수 있습니다 모션 센스 기능의 일환으로 픽셀(4)에 솔리 통합.

입출력 발표 직후,제 3 자 개발자들이 초기 단계의 개발 키트에 대한 피드백을 얻기 위한 방법으로 프로젝트 솔리의 알파 개발자 프로그램에 지원할 것을 요청했다. 나는 솔리와 음악 기반의 상호 작용을 개발하는 응용 프로그램을 작성하고,프로그램에 받아 들여졌다.

나는 알파 개발자 프로그램의 일원으로서 내 경험에 대해 더 많이 썼다; 이 블로그 게시물로 내가하고 싶었던 것은 밀리미터 파 레이더의 기능에 대한 개요를 더 많이 제공하고 인간-컴퓨터 상호 작용 분야에서 새로운 경험과 실험을 가능하게하는 방법이었습니다.

프로젝트 솔리가 서로 다른 응용 분야를 탐구 발표 된 이후이 지역을 탐구 작성 여러 학술 논문이 있었다,그래서 우리는 그 살펴 보자;뿐만 아니라 밀리미터 파 레이더가 무엇인지에 대한 간략한 개요로,그리고 그것에 의해 제공되는 속성의 종류.

먼저 프로젝트 솔리,픽셀 4 를 사용하는 최초의 상용 제품을 살펴 보자.

프로젝트 솔리를 통합한 최초의 상용 제품은 2019 년 10 월 구글이 발표한 픽셀 4 이다.

티저-광고 새 휴대 전화가 솔리와 통합 할 수있는 최초의 제품이 될 것이라고 암시;그 안에 표시된 터치리스 에어 제스처를 감안할 때:

솔리 칩은 픽셀 4 에 대한 세 가지 새로운 유형의 기능을 제공합니다:

존재-이 배치 된 곳에서 인근 지역에서 움직임을 감지하는 레이더의 능력 덕분에,화소(4)는 휴대 전화의 사용자가 근처에 있지 않은 경우이 테이블에 배치되어있는 동안 항상-에 디스플레이를 해제합니다;따라서 배터리 전원을 절약하고 사용자의 관심에 침입하지 모두 할 수있는

도달-손이 그것을 향해 이동하는 경우 솔리 센서가 감지합니다.; 화면을 깨우고 전면 카메라를 활성화하여 얼굴 잠금 해제

제스처

• 플릭
• 존재
• 도달
• 스 와이프

9 에 5 구글은 픽셀과 함께 번들로 제공 포켓몬 웨이브 안녕하세요 게임의 분석을했다 4 전화,와 연결 게임에서 유니티 플러그인을 발견”모션 센스 다리”게임 개발자에게 다양한 제스처 매개 변수에 대한 액세스를 준 전화에서 실행되는 응용 프로그램:

플릭

• 플릭 자신감
• 플릭 방향
• 플릭 예측
• 플릭 범위
• 플릭

존재

• 존재감
• 존재감
• 존재감
• 존재감

도달

• 도달감
• 도달감
• 도달감
• 도달경사
• 도달예측
• 도달범위

스 와이프

• 스 와이프신뢰
• 현재 제 3 자 개발자들은 구글에서 안드로이드 내부 모션 센스 브리지 앱에 액세스하지 않는 한 모션 센스 제스처에 액세스 할 수 없습니다. 개발자들이 새롭고 혁신적인 방법으로 제공하는 제스처 인식 기능을 사용하는 방법을 탐구 할 수 있도록 희망,구글은 솔리 센서에 대한 전체 액세스를 엽니 다.
  

  

  

  예를 들어,레이더 칩을 휴대폰의 상단에 맞출 수 있을 만큼 작고 모듈식으로 만들고,레이더를 스마트폰에 삽입할 때 발생하는 진동 잡음을 설명하기 위해 필터를 추가하는 등,레이더를 스마트폰에 삽입할 때 발생하는 몇 가지 문제점과 고려 사항을 설명합니다. 음악은 낮은 전력 수준에서 실행할 수있는 전화 및 기계 학습 알고리즘에서 재생됩니다.

  강력한 기계 학습 모델,특히 수백만 명의 소비자의 손에 맡겨지는 장치를 만드는 과제 중 하나는 모델이 광범위하고 다양한 사용자 집단에 걸쳐 제스처를 정확하게 예측할 수 있는지 확인하는 것입니다. 시맨틱 수준에서 인간은 스 와이프 또는 플릭 제스처가 무엇인지 쉽게 구별 할 수 있습니다. 그러나 각 사람이 속도,손 각도,제스처의 길이의 변화를 통해 약간 다른 방식으로 이러한 제스처를 만들기 때문에 어떤 제스처가 발생 하는지를 추론하기위한 기계 학습 모델은 이러한 차이에 관계없이 사용자의 제스처를 올바르게 추론 할 수있을 정도로 강력해야합니다.

  그들의 모델이 정확한지 확인하기 위해 솔리 팀은 수천 명의 자원 봉사자가 만든 수백만 가지 제스처로 텐서 플로우 모델을 훈련 시켰습니다. 이 모델은 픽셀 4 에서 직접 실행되도록 최적화되었습니다.; 메인 프로세서의 전원이 꺼진 경우에도 제스처를 인식 할 수있는 휴대 전화를 활성화-픽셀(4)는 누군가가 휴대 전화의 잠금을 해제하기 위해 얼굴 잠금 센서에 다음 전원을 모션 센스를 사용하여 전화를 향해 이동하고 감지 할 수있는 방법입니다.

  인피니언과의 파트너십

  구글은 솔리와의 상호작용을 위한 기계 학습 알고리즘,신호 처리 및 유엑스 패턴을 개발하는 동안,독일 회사 인피니언은 프로젝트 솔리시스템의 일부인 레이더 칩을 개발했다. 이 인피니언에서 개발 키트를 구입할 수 있지만,그들은 단지 원시 레이더 데이터를 스트리밍—제스처 또는 존재를 인식하는 기계 학습 모델을 훈련하는 데 사용할 수있는 처리 신호 기능을.이러한 추상화 계층은 프로젝트 솔리가 다른 제조업체의 다양한 레이더 센서 아키텍처에서 작업할 수 있도록 하는 일련의 추상화라고 설명한다. 이것은 구글이 같은 높은 수준의 상호 작용 패턴을 유지하면서 레이더의 다양한 유형에 걸쳐 솔리 기능 프리미티브의 동일한 세트를 사용할 수있는 유연성을 가질 수있다.

  알파 데브 프로그램의 예제 응용 프로그램

  솔리 알파 데브 프로그램의 참가자는 학술 간행물에 우리의 작품을 게시하도록 권장했다;일부 회원은 다양한 블로그에 쇼케이스 데모를 만들어,…을 포함하여:

  • 새로운 음악 인터페이스(데모 비디오)
  • 공중 제스처 키보드
  • 세계에서 가장 작은 바이올린
  • 솔리를 사용하여 로봇 팔 제어를위한 물체 식별

  “26 개의 재료(복합 복합물체 포함),16 개의 투명한 재료(다양한 두께와 다양한 염료 포함),그리고 6 명의 참가자들로부터 10 개의 신체 부위를 구별할 수 있는 시스템”

• 레이더를 이용한 객체 및 재료 분류별 유형별 사용자 인터페이스-레이더캣에서 작업을 계속함.; 저자는 또한 셀프 체크 아웃 시스템 및 스마트 의료 기기를 포함하여이 시스템이 사용될 수있는 실제 응용 시나리오에 대해 설명합니다.
• 레이더 감지와의 유형 상호 작용 탐색-“물체의 계산,순서 지정,식별 및 이러한 물체의 방향,움직임 및 거리를 추적하는 가시적 인 상호 작용을 감지하기위한 플랫폼으로서의 레이더”를 탐색합니다.

알파 개발자 프로그램의 프로젝트 중 일부는 다음 해 입출력 이벤트(2016)에서 업데이트 된 비디오에 전시되었습니다.:

구글 논문

:

• 2016 년 11 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년 12 월 15 일,2016 년: 무선 주파수 스펙트럼에서 세밀한 동적 제스처 인식 탐색 2016
• 제스처 감지를위한 절대 거리 및 상대 이동 동시 감지를위한 투톤 레이더 센서 문자 2017

레이더 감지는 공간에서 물체의 움직임의 변화 패턴을 감지하는 것을 기반으로 한다. 전파는 레이더에서 전송,대상(모션 인간의 손)의 바운스,다음 레이더의 안테나에 의해 다시 수신. 웨이브가 전송 될 때와 수신 될 때의 시간 차이는 레이더의 경로에있는 객체의 프로파일을 생성하는 데 사용됩니다.

사람의 몸짓의 경우,손은 레이더 센서의 시야에서 3 차원 공간을 통해 그 위치를 이동한다. 위치 변경은 반송 된 레이더 신호에 대해 서로 다른 프로파일을 생성하여 다른 제스처를 감지 할 수 있습니다.

레이더는 다양한 동작 특성을 기반으로 제스처를 감지하기 때문에 수화 또는 평화 표시와 같은 정적 제스처를 감지하는 데 적합하지 않습니다. 그러나 손가락 스냅 또는 키 회전 동작과 같은 동적 모션 기반 제스처를 감지하는 데 적합합니다.

광학 기반 센서와 달리 레이더의 성능은 조명에 의존하지 않고 재료를 통해 작동 할 수 있으며 손가락이 서로 가려 질 때 발생하는 제스처를 감지 할 수도 있습니다.

마이크로 제스처는”시간이 지남에 따라 피로를 피하기 위해 더 큰 근육 그룹을 포함하는 것보다 손가락을 운전하고 손목을 관절시키는 근육에 의해 주로 수행되는 소량의 움직임과 관련된 상호 작용”으로 정의 할 수 있습니다. 이러한 유형의 제스처의 몇 가지 예로는 집게 손가락을 엄지 손가락에 대고 눌러 버튼을 누르는 동작,집게 손가락 표면에 엄지 손가락을 움직여 슬라이더 동작,손가락 및 손목으로 다이얼을 돌리는 것과 유사한 동작 등이 있습니다.

이러한 제스처는 사용자 인터페이스 요소와의 상호 작용을 위해 다양한 상황에서 사용될 수 있다.

구글의 미래 가전 제품

구글은 새로운 제품에 솔리를 통합하는 작업을 할 것으로 보인다; “인텔리전스 센서 알고리즘 엔지니어,구글 둥지”에 대한 채용 공고는 선호하는 자격으로”레이더 작업 경험”을 나열합니다. 솔리의 초기 데모 중 하나는 제이빌의 스마트 스피커에 레이더가 통합 된 것을 보여 주었다;솔리가 가전 제품 또는 가전 제품에 통합되는 것은 놀라운 일이 아니다.

구글이 토양 제어 제이비블 스피커와 같은 프리젠 테이션에서 보여준 또 다른 프로젝트 솔리 데모는 솔리가 내장 된 스마트 워치였습니다(구글은 심지어 화상 회의에 사용할 수있는 제스처 기반 스마트 워치에 대한 특허를 출원했습니다).

무엇에서 가장 가능성이 훨씬 더 멀리 시나리오,구글은 제스처 인식에 대한 솔리 같은 센서를 사용하여 넘어,”미래에,우리는 당신의 신체 언어를 이해할 수있는 장치를 만들고 싶어,그래서 그들은 사용하기 더 직관적이고 더 도움이있어”고 밝혔다. 그것은 정확히 그 의미와 실제로 어떻게 보일 수 있는지에 대한 추측에 달려 있지만,여기에 하나의 잠재적 인 사용 사례는 휴대 전화의 근처 사람들의 감정 상태를 감지 할 수 있다는 것입니다;정서적 컴퓨팅 인터페이스를 가능하게한다. (정서적 컴퓨팅에 대한보다 철저한 논의는이 게시물의 범위를 벗어납니다; 나는 주제에 대한 좀 더 배경을 얻기 위해 용어를 만들어 낸 로잘린 피카 에 의해이 정액 작품을 읽어 보시기 바랍니다 것).

구글의 앰비언트 컴퓨팅의 미래

프로젝트 솔리에 대한 첫 번째 출판 논문에서 저자는 몇 가지 가능한 응용 분야를 나열합니다:

• 가상 현실
• 웨어러블 및 스마트 의류
• 사물 인터넷 및 게임 컨트롤러
• “기존 장치”(휴대 전화,태블릿,노트북)

이러한 장치 유형의 모든 프로젝트 솔리를 통합한다면,구글은 그들 모두가 공통적으로 가질 것이다 보편적 인 제스처 프레임 워크를 활용할 수 있습니다. 이것은 사람들이 신속하게 모든 서비스의 구글의 배열과 상호 작용,이 새로운 장치를 사용하는 것이 쉽게 만들 것입니다.

벤 톰슨의”구글과 앰비언트 컴퓨팅”에 대한 기사는 구글이 세계의 정보를 정리하는 데 도움이되기를 원한다는 내용의 최근 변화를 분석한다.

구글 2019 에서 만든 그의 개회식에서,장치 및 서비스의 구글 수석 부사장,릭 오스터로(이전 구글 아탭의 머리이었다),원하는 회사로 구글의 비전을 설명”당신에게 더 도움이 구글을 가지고.”선다르 피차이는 20193 년 입출력 기조연설에서”우리는 당신이 답을 찾는 데 도움을 주는 회사에서 일을 완수하는 데 도움을 주는 회사로 옮겨가고 있다”고 말했다.

앰비언트 컴퓨팅은 기술 저널리스트 월트 모스 버그 그의 마지막 칼럼 인”사라지는 컴퓨터”에서 처음 만들어졌습니다. 또한 유비쿼터스 또는 퍼베이시브 컴퓨팅이라고합니다.

이 컴퓨팅 분야에 대한 몇 가지 추가 읽기를 들어,마크 바이저,제록스 파크의 수석 과학자,특히 그의 1991 년 과학 미국의 기사,”21 세기를 위한 컴퓨터”의 작품을 확인하십시오. 바이저는 유비쿼터스 컴퓨팅이라는 용어를 만들어 냈는데,그는”모든 장치,모든 위치 및 모든 형식”을 사용하여 발생할 수있는 컴퓨팅이라고 설명했습니다.

톰슨은 주변 컴퓨팅에 대한 구글의 비전은”스마트 폰과 경쟁하지 않고 오히려 그것을 활용한다”고 지적했다. 구글은(페이스 북이 가상 현실,또는 아칸소에 애플의 풀에 푸시에 대한 마력을 인수하고 있었다처럼)다음 하드웨어 플랫폼이 무엇이든 찾기 위해 노력하지 않는;래터,그들은 모두 완벽하게 연결 주변 장치의 생태계를 만들 찾고 있습니다(아마도 허브로 스마트 폰을 사용하여?).

다양한 컨텍스트에 존재하는 장치와 상호 작용하는 통일 된 방법을 갖는 것은 자신의 주변 컴퓨팅 비전의 채택을 촉진 구글에 큰 도움이 될 것입니다. 조명이나 다른 대기 조건에 관계없이 사람들의 제스처를 감지 할 수있는 작고 쉽게 삽입 할 수있는 센서는 이러한 비전을 현실에 훨씬 더 가깝게 만듭니다. 이것은 쉽게 사용자가 구글의 서비스에 대한 액세스를 제공 할 장치의 다양한 참여 할 수 있도록합니다.최근 아이패드 프로가 아이패드 프로에 탑재되어 있어,애플은 점점 더 복잡해지는 센서(그리고 유용성)를 자사 제품에 도입하려는 의지를 보이고 있는 것으로 보인다.

또한,애플은 레이더와 관련된 역할에 대한 적어도 하나의 게시를 넣어했다;레이더 신호 처리 엔지니어에 대한 링크드 인에 현재 비활성 게시는 설명에 다음을 포함:

그것은 적어도,애플은 감지 양상으로 밀리미터 파 레이더를보고 말을 나에게 공정한 느낌;언제,어떻게,그리고 가장 중요한;레이더 지원 애플 제품은 지금까지 쿠퍼 티노에서 실험실 잎 경우 유일한 시간은 말할 수있을 것입니다 하나입니다.

내 개인적인 추측은 애플이 손 추적 기능을 강화하기 위해 마이크로 제스처 감지를위한 레이더가 내장 된 아칸소 헤드셋을 출시 할 것이라는 것이다. 또한,레이더가 가능한 감지 양상으로 더 잘 알려짐에 따라(주로 프로젝트 솔리로 인해,그리고 구글과 그들의 파트너가 그것을 통합하기로 결정한 제품),다른 아칸소 및 가상 현실 헤드셋 제조업체는 앞서 언급 한”누락 된 인터페이스”문제를 해결하는 방법으로 헤드셋에 밀리미터 파 레이더 칩을 통합하기 시작할 것입니다; 가상현실/가상현실을 통해 사람들이 상호작용하는 실제 물리적 물체가 헤드셋을 통해 제공되는 디지털 정보에 매핑할 수 있는 방법이 있는지 확인합니다.

경쟁

인간-기계 인터페이스에 대한 밀리미터 파 레이더에 적어도 하나의 스타트 업이 있습니다. 그들은 구글의 프로젝트 솔리을 능가하지 않을 경우 자신의 레이더 기반의 제스처 감지 시스템이 일치 할 수 있다고 주장한다.

기계 학습 추론 칩이 레이더 센서와 통합되어 있습니다.; 따라서 모든 추론은 센서(솔리)와 추론 엔진이 별도의 칩 구성 요소에있는 픽셀 4 의 모션 센스 시스템과 달리 센서 측 컴퓨팅 레벨에서 수행됩니다. 이것은,카이 쿠텍 주장,그들은 이러한 낮은 전력(1 백만와트)등급을 달성 할 수있다.

닫기 생각

프로젝트 솔리와 함께,구글은 우리가 양식과 컨텍스트의 넓은 범위에 걸쳐 컴퓨터와 상호 작용하는 방법에 대한 대화를 진행하고있다. 밀리미터 파 레이더는 교합,조명 조건 또는 카메라 기반 시스템에 부과 된 유사한 제한 조건에 대해 걱정할 필요없이 컴퓨터와 몸짓으로 상호 작용할 수있는 유망한 방법을 제공합니다.

컴퓨터가 더 많은 장치에 내장되는 속도가 증가함에 따라 밀리미터 파 레이더는 이러한 장치 전반에 익숙한 더 보편적 인 제스처 언어를 가능하게 할 수 있습니다. 물론,각 제조업체는 필연적으로 서로 차이가있을 것이다(구글은 제스처 상호 작용을위한 센서로 밀리미터 웨이브 레이더를 사용하는 첫 번째이지만,그것이 마지막이 될 것을 의미하지 않는다),그것은 수득 끝낼 수”충분히 유사한”제스처 상호 작용 같은 방식으로 터치 스크린은 거의 보편적이다,하지만 각 공급 업체는 터치 스크린과 함께 사용하기 위해 서로 다른 제스처를 할 수 있습니다.

부록:

밀리미터 파 레이더와 그 응용 분야를 다루는 추가 출판물을 포함 시켰습니다. 이 중 좋은 부분은 레이더 파이프 라인에서 제스처 인식을 가능하게하는 데 사용되는 기계 학습 기술에 중점을 둡니다.

• 밀리미터파 레이다 시스템을 이용한 견고한 재료 분류를 위한 원샷 학습
• 레이더 에코 아이큐 플롯과 컨볼루션 신경망을 이용한 손 제스처 인식
• 밀리미터파 레이다 시스템을 이용한 강력한 제스처 인식
• 레이더 마이크로-도플러 시그니처 엔벨로프를 기반으로 한 손 제스처 인식
• 레이더 마이크로-도플러 시그니처 엔벨로프를 기반으로 한 손 제스처 인식
• : 1612>
• 레이더 마이크로 도플러 시그니처 엔벨로프를 기반으로 한 손 제스처 인식 1612>
• 밀리미터파 레이더 시스템을 이용한 강력한 제스처 인식 1612>
• 레이더 센서를 이용한 인식 방법
• 인간-기계 인터페이스용 레이더 네트워크를 기반으로 한 공기 필기에서의 문자 인식
• 도플러 레이더 기반의 손 제스처 인식 시스템 컨볼루션 신경망 사용
• 레이더 기반 센서로 접촉 기반 및 비접촉식 제스처 유도
• 레이더 재창조:4 차원 센서의 힘
• 레이더를 이용한 모션 센싱:제스처 상호 작용 및 그 이후

프로젝트 솔리 관련 특허:

• 제스처 기반 소형 디바이스 입력
• 웨어러블 디바이스를 통한 레이더 기반 제스처 인식
• 레이더 인식 지원 검색
• 레이더 기반 인증
• 레이더 기반 센서 융합
• 와이드 필드 레이더 기반 제스처 인식
• 폐색된 제스처 인식
• 레이더 기반 제스처 감지 및 데이터 전송
• 증강 현실 인터페이스에서 표시된 물체와의 사용자 상호 작용의 용이성과 정확성을 촉진하는 스마트폰 기반 레이더 시스템

픽셀 4 출시 및 프로젝트 솔리와의 통합:

• 소문:구글의 프로젝트 솔리 레이더 칩은 구글 픽셀에 데뷔 할 수 4
• 구글의 프로젝트 솔리: 기술 뒤에 픽셀은 4 개의 모션 센더
• 프로젝트 Soli 비밀의 스타가 구글의 픽셀 4 자체 누출을
• 픽셀 4XL 손에 상세정보’얼굴을 잠금 해제,’다시 마무리 더 많은
• 제스처 제어 덕분에 Infineon-레이더 기술에 구글 픽셀 4 스마트 폰
• 기념물 계곡의 모양과 움직임을 모션 감각을 만듭 게임’남쪽으로 향했다’구글에 대한 픽셀 4
• 픽셀 4,구글의 실험적 기술 베팅을 마지막으로 입력합 스포트라이트
• 구글:Soli 댄스 DJ 여 스