Project Soli & the Coming Use of Radar in Human-Machine Interfaces

Radar is a 85-year old technology that up until recently has not been actively deployed in human-machine interfaces. O sensor de gestos baseado em Radar permite inferir a intenção do usuário em mais contextos do que o rastreamento baseado apenas em óptica permite atualmente.

o uso do projeto Soli pelo Google, um sistema de reconhecimento de gestos baseado em radar, na série Pixel 4 de telefones é provavelmente o primeiro passo na posterior adoção do radar como uma entrada para interagir com nossos dispositivos.

Antecedentes do projecto Soli

no Google I / O 2015, o grupo ATAP (Advanced Technology and Projects) anunciou várias novas iniciativas. Estes incluíram::

• Projeto Abacus — multi-fator de autenticação de usuário com base na localização do usuário, padrões de digitação, de voz e de padrões de
• Projeto da Abóbada e um ambiente de computação seguro em um Cartão MicroSD, para qualquer plataforma
• Projeto de Jacquard — fio condutor incorporado na massa produzidos têxteis para criar wearable interações baseadas
• Projeto de Soli — um minúsculo sensor de radar que é capaz de micro-gesto de detecção

destes, Jacquard e Soli ainda estão ativas — Jacquard, tendo sido integrados em uma variedade de produtos de consumo com a moda rótulos como Levi’s, Saint Laurant e Adidas.

depois de passar por várias iterações de protótipos, o Google integrou o Soli no Pixel 4 como parte da funcionalidade de Sentido de movimento, o que permite ao telefone iniciar o processo de autenticação facial antes mesmo que o proprietário do telefone tenha que tocar no seu telefone.

Logo após o anúncio de I/O, ATAP, colocar uma chamada para desenvolvedores de terceiros para aplicar para o Alpha do programa de desenvolvedores para o Projeto Soli, como uma maneira de obter feedback sobre o seu estágio inicial de desenvolvimento do kit. Eu preenchi uma aplicação para desenvolver interações baseadas em música com Soli, e foi aceito no programa.

eu escrevi mais sobre a minha experiência como membro do programa de desenvolvimento alpha aqui; o que eu queria fazer com este post no blog era fornecer mais uma visão geral das capacidades do radar de Ondas Milimétricas, e como eles permitem certas novas experiências e experimentos no campo da interação humano-computador.

houve vários trabalhos acadêmicos escritos explorar esta área desde que o Projeto Soli foi anunciada a explorar diferentes áreas de aplicação, então vamos olhar os; bem como uma rápida visão geral do que millimeter-wave radar, e os tipos de propriedades oferecidas por ele.

em primeiro lugar, porém, vamos dar uma olhada no primeiro produto comercial a usar o projeto Soli, o Pixel 4.

o primeiro produto comercial a integrar o projeto Soli é o Pixel4, lançado pelo Google em outubro de 2019.

o teaser-ad insinuou que o novo telefone seria o primeiro produto a integrar-se com Soli; dados os gestos de ar touchless mostrados nele:

o chip Soli oferece três novos tipos de capacidades para o Pixel 4:

Presença — graças ao radar capacidade de detecção de movimento na área próxima de onde é colocado, o Pixel 4 desligue o sempre em exposição, se o usuário do telefone não está por perto enquanto ele é colocado em uma tabela; portanto, sendo capaz de poupar a energia da bateria e não intrometer a atenção do usuário

Chegar — a Soli sensor irá detectar se um lado está se movendo em direção a ela; acordar tela e ativando a frente de frente para as câmeras para a cara-de desbloqueio

Gestos

• Mexa
• Presença
• Chegar a
• Deslize

9 5 o Google fez uma análise do Pokemon Onda Olá o jogo que vem com o Pixel 4 telefones, e descobriu uma Unidade plug-in no jogo que ligada a um “Sentido de Movimento Ponte” aplicativo em execução no telefone que deu ao jogo os desenvolvedores acesso a vários gesto de parâmetros:

Mexa

• flickConfidence
• flickDirection
• flickPrediction
• flickRange
• flickVelocity

Presença

• presenceConfidence
• presencePrediction
• presenceRange
• presenceVelocity

Chegar a

• reachAzimuth
• reachConfidence
• reachElevation
• reachPrediction
• reachRange
• reachVelocity

Deslize

• swipeAmplitude
• swipeConfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

agora, os desenvolvedores de terceiros não tenham acesso à MotionSense gestos, a menos que lhes foi dado acesso ao Android interno MotionSense Ponte aplicativo pelo Google. Esperemos que o Google abra o acesso total ao sensor Soli para que os desenvolvedores sejam capazes de explorar como eles podem usar as capacidades de reconhecimento de gestos que oferece de formas novas e inovadoras.

Desafios de Criar um Treinamento de um conjunto de dados de Radar baseado no Reconhecimento de Gestos

Em um post no Google AI do Blog, o Google ATAP engenheiros descrever alguns dos desafios e considerações para a incorporação de radar em um smartphone, como o radar chip pequeno e modular o suficiente para que possa caber no topo de um telefone, adicionar filtros a conta para vibracional do ruído que ocorre quando a música está tocando a partir do telefone, e algoritmos de aprendizagem de máquinas que são capazes de executar em um nível de baixa potência.

Um dos desafios com a criação de qualquer máquina robusta modelo de aprendizagem, especialmente um que vai ser em um dispositivo nas mãos de milhões de consumidores, é ter certeza que o modelo é capaz de prever com precisão um gesto através de uma ampla e diversificada população de usuários. No nível semântico, é fácil para os humanos diferenciar o que é um golpe ou um gesto de flick. No entanto, uma vez que cada pessoa faz esses gestos de formas ligeiramente diferentes através de variações na velocidade, ângulo da mão, Comprimento do gesto; o modelo de aprendizagem da máquina para inferir que gesto ocorre precisa ser suficientemente robusto para ser capaz de inferir corretamente o gesto do Usuário independentemente dessas diferenças.

para se certificar de que os seus modelos eram precisos, a equipa Soli treinou o seu modelo de fluxo de tensores em milhões de gestos feitos por milhares de voluntários. Estes modelos foram então otimizados para executar diretamente na unidade DSP do Pixel 4; activar o telefone para reconhecer gestos, mesmo quando o processador principal é desligado — que é como o Pixel 4 é capaz de detectar é alguém que está se movendo para o telefone usando MotionSense, e, em seguida, ligue o FaceUnlock sensores para desbloquear o telefone.

parceria com a Infineon

enquanto a Google desenvolveu os algoritmos de aprendizagem de máquinas, processamento de sinais e padrões UX para interagir com a Soli, a empresa alemã Infineon desenvolveu o chip de radar que faz parte do projeto Soli system. Embora seja possível comprar kits de desenvolvimento da Infineon, eles só transmitir dados de radar raw — sem recursos de sinal processados que poderiam ser usados para treinar um modelo de aprendizagem de máquina para reconhecer gestos ou presença.

In their SSIGRAPH paper, Soli: Ubiquitous Gestit Sensing with Millimeter Wave Radar, the ATAP authors describe a HAL (Hardware Abstraction Layer) as a set of abstractions that would allow Project Soli to work across different radar sensor architectures from different manufacturers. Isso permitiria ao Google ter a flexibilidade para usar o mesmo conjunto de primitivas de recursos Soli em vários tipos de radar, mantendo os mesmos padrões de interação de alto nível.

aplicações de exemplo do programa Alpha Dev

participantes do programa Soli Alpha Dev foram encorajados a publicar o nosso trabalho em publicações acadêmicas; alguns membros também criaram demos para vitrine em vários blogs, incluindo:

• Novas interfaces musicais (vídeo de Demonstração)
• Um ar gestual teclado
• mais pequena Do mundo violino
• Usando Soli para identificar objetos para o braço robótico de controle

O HCI departamento na Universidade de St. Andrews produzido um corpo robusto de trabalho, como membros do Dev Alpha programa, incluindo

• Radar Categorização para Reconhecimento de Entrada — os autores apresentam RadarCat, um sistema que é capaz de discriminar entre “26 de materiais (incluindo complexo composto de objetos), junto com 16 materiais transparentes (com espessura diferente e de diferentes corantes) e, finalmente, 10 partes do corpo a partir de 6 participantes”
• Tangíveis UI por Objeto e Classificação do Material com a Radar — de continuar a sua obra de RadarCat; os autores também descrevem cenários de aplicação do mundo real em que este sistema poderia ser usado, incluindo sistemas de auto-checkout e dispositivos médicos inteligentes.Exploring Tangible Interactions with Radar Sensing-exploring “radar as a platform for sensing tangible interaction with the counting, ordering, identification of objects and tracking the orientation, movement and distance of these objects”.Alguns dos projetos do programa Alpha Developer foram exibidos em um vídeo que foi apresentado na atualização da ATAP no evento i/O do ano seguinte (2016):
  

  o Google Papéis

  Membros da Google ATAP também publicou artigos sobre o seu trabalho com o Projeto Soli:

  • Soli: Onipresente Gesto de Detecção com longitudes de Onda do Radar — SIGGRAPH 2016
  • UM Altamente Integrada De 60 GHz, 6-Canal emissor-receptor Com Antena no Pacote Inteligente para Detecção e de Curto Alcance Comunicações — IEEE 2016
  • Interagir com Soli: Explorar refinadas Dinâmica de Reconhecimento de Gestos no Rádio-Espectro de Frequência — UIST 2016
  • UM Dois-Tom Sensor de Radar para Simultâneos de Detecção da Distância Absoluta e Relativa de Movimento do Gesto de Detecção — IEEE Sensores de Letras 2017

  Propriedades da mm-onda do Radar e as “Affordances”

  Radar de detecção é baseada na detecção da mudança de padrões de movimento de um objeto no espaço. Ondas de rádio são transmitidas a partir do radar, salto de um alvo (uma mão humana em movimento), e, em seguida, re-recebido pelas antenas do radar. A diferença temporal entre quando as ondas são enviadas e quando elas são recebidas é usada para criar um perfil do objeto que está no caminho do radar.

  no caso de gestos humanos, a mão move a sua posição através do espaço 3D enquanto na linha de visão de um sensor de radar. As mudanças de posição produzem diferentes perfis para os sinais de Radar saltados, permitindo que diferentes gestos sejam detectados.

  uma vez que o radar detecta gestos baseados em diferentes características de movimento, não é adequado para detectar gestos estáticos, como a linguagem gestual, ou um sinal de paz. No entanto, é bem adequado para detectar gestos dinâmicos, baseados em movimento, como um estalar de dedos, ou um movimento chave-girando.Ao contrário de sensores ópticos, o desempenho do radar não depende da iluminação, pode funcionar através de materiais, e até mesmo detectar gestos que ocorrem quando os dedos podem estar ocultando uns aos outros.

  micro-gestos podem ser definidos como”interações envolvendo pequenas quantidades de movimento e aquelas que são realizadas principalmente por músculos que conduzem os dedos e articulam o pulso, em vez de aquelas que envolvem grupos musculares maiores para evitar fadiga ao longo do tempo”. Alguns exemplos destes tipos de gestos estão a fazer o movimento de carregar num botão, batendo no dedo indicador contra o polegar, fazendo um movimento deslizante, movendo o polegar contra a superfície do indicador, e fazendo um movimento semelhante a rodar um mostrador com os dedos e o pulso.

  estes gestos podem ser usados em uma variedade de contextos (IoT, AR/VR, etc) para interagir com elementos de interface do Usuário.

  futuros Produtos Electrónicos de consumo do Google

  o Google parece estar a trabalhar na integração de Soli em novos produtos; um trabalho postado para um” engenheiro de algoritmos de sensores de inteligência, Google Nest “lista” experiência de trabalho com Radar ” como uma qualificação preferida. Um dos primeiros demos da Soli mostrou o radar Integrado em um altifalante inteligente da JBL; não seria surpreendente para Soli ser integrado em um produto eletrônico de consumo ou eletrodomésticos.

  outro projeto de demonstração Soli que o Google mostrou durante a mesma apresentação que o locutor JBL controlado pelo solo foi um smartwatch com Soli dentro (o Google até depositou uma patente para um smartwatch baseado em gestos que poderia ser usado para videoconferência).

  no que é mais provável um cenário muito mais distante, o Google afirmou que além de usar sensores como Soli para reconhecimento de gestos, que”no futuro, queremos criar dispositivos que possam entender a sua linguagem corporal, para que eles sejam mais intuitivos de usar e mais úteis”. Apesar de depender da especulação sobre o que exatamente isso poderia significar e parecer na prática, um caso de uso potencial aqui é que o telefone poderia detectar o estado emocional das pessoas próximas; permitindo interfaces de computação afetiva. (Uma discussão mais aprofundada da computação afetiva está além do escopo deste post; Eu encorajaria você a ler este trabalho seminal de Rosalind Picard que cunhou o termo para obter um pouco mais de fundo sobre o tema).

  o futuro da Computação ambiente do Google

  no primeiro artigo publicado para o projeto Soli, os autores (do Google ATAP) listam várias possíveis áreas de Aplicação:

  • Realidade Virtual
  • Vestuário e inteligente vestes
  • Internet das Coisas e controladores de jogo
  • “Tradicional” Dispositivos (telemóveis, tablets, computadores portáteis)

  Se todos estes tipos de dispositivo foram para integrar o Projeto Soli, o Google pode alavancar um universal gestual quadro de que todas elas têm em comum. Isso tornaria mais fácil para as pessoas usarem rapidamente esses novos dispositivos, todos interagindo com a matriz de serviços do Google.

  o artigo de Ben Thompson sobre Stratechery, “Google and Ambient Computing”, analisa a recente mudança do Google de afirmar que eles querem ajudar a organizar as informações do mundo, para um que o ajuda a fazer as coisas.

  em suas observações iniciais feitas pelo Google 2019, o Google Senior VP de dispositivos e serviços, Rick Osterloh (que era anteriormente o chefe do Google ATAP), descreve uma visão do Google como uma empresa que quer “trazer um Google mais útil para você.”Sundar Pichai afirmou na palestra de 20193 que “estamos saindo de uma empresa que o ajuda a encontrar respostas para uma empresa que o ajuda a fazer as coisas”.

  a computação ambiente foi cunhada pela primeira vez pelo jornalista de tecnologia Walt Mossberg em sua última coluna, “The Disappearing Computer”. It ‘ also referred to as ubiquitous or pervasive computing.

  For some additional reading on this area of computing, check out the work of Mark Weiser, a Chief Scientist at Xerox PARC, especially his 1991 Scientific American article, “the Computer for the 21st Century”. Weiser cunhou o termo computação onipresente, que ele descreveu como computação capaz de ocorrer usando “qualquer dispositivo, em qualquer local, e em qualquer formato”.

  Thompson afirma que a visão do Google de computação ambiente”não compete com o smartphone, mas sim alavancá-lo”. O Google não está tentando encontrar o que quer que seja a próxima plataforma de hardware (como o Facebook estava fazendo com a aquisição do Oculus para VR, ou o full-on push da Apple para AR); ratther, eles estão procurando criar um ecossistema de dispositivos ambientais que todos se conectam perfeitamente (possivelmente usando o smartphone como um hub?) e são intuitivos de interagir com; todos conectados aos serviços que o Google está fornecendo.

  ter uma forma unificada de interagir com dispositivos que existem em uma variedade de contextos seria extremamente benéfico para o Google em promover a adoção de sua visão de computação ambiente. Um sensor pequeno e facilmente embutido que possa detectar gestos de pessoas, independentemente da iluminação ou de outras condições atmosféricas, traria esta visão muito mais perto da realidade. Isso tornaria mais fácil para os usuários se envolverem com uma grande variedade de dispositivos que ofereceriam acesso aos serviços da Google.Com o recente lançamento de um iPad Pro capaz de LiDAR em serviço às capacidades AR, a Apple parece estar mostrando uma vontade de colocar sensores de crescente complexidade (e utilidade) em seus produtos.

  adicionalmente, a Apple colocou pelo menos um posto para funções relacionadas com o radar; um posto agora inativo no LinkedIn para um engenheiro de processamento de sinais de Radar inclui o seguinte na sua descrição:

  

  

  Parece justo dizer que, no mínimo, a Apple está olhando em longitudes de onda do radar como uma modalidade de sensoriamento; quando, como, e o mais importante; se um radar habilitado produto Apple sempre deixa os laboratórios em Cupertino é uma que só o tempo será capaz de dizer.

  minha especulação pessoal é que a Apple vai lançar um auscultador AR com radares embutidos para detecção de micro-gestos para aumentar suas capacidades de rastreamento manual. Além disso, como o radar se torna mais conhecido como uma possível modalidade de detecção (graças principalmente devido ao Projeto Soli, e quaisquer produtos Google e seus parceiros decidem integrá-lo em), outros fabricantes de auscultadores AR e VR vão começar a integrar chips de radar de Ondas Milimétricas em seus auscultadores como uma forma de resolver o problema de “interface faltante” mencionado anteriormente; certificando-se de que os objetos físicos do mundo real com os quais as pessoas interagem via AR/VR têm uma maneira de mapear a informação digital que é apresentada através dos auscultadores.

  concorrência

  há pelo menos uma inicialização a trabalhar no radar de Ondas Milimétricas para interfaces homem-máquina; Kaikutek de Taiwan (“CoolTech”). Eles afirmam que seu sistema de detecção de gestos baseado em radar pode combinar, se não superar, o projeto Soli do Google.Um chip de inferência de aprendizagem de máquinas é integrado com o sensor de radar.; assim, toda a inferência é feita em um nível de computação do lado do sensor, ao contrário do sistema de MotionSense do Pixel 4, no qual o sensor (Soli) e o motor de inferência estão em componentes de chip separados. Isto é, kaikutek afirma, eles são capazes de alcançar uma potência tão baixa (1 mW) classificação.

  pensamentos de encerramento

  com o projeto Soli, o Google avançou a conversa sobre como interagimos com computadores em uma ampla gama de modalidades e contextos. O radar de Ondas Milimétricas oferece uma forma promissora de interagir com computadores sem ter que se preocupar com oclusão, condições de iluminação ou condições limitativas similares impostas aos sistemas baseados em câmeras.

  With the increasing pace of computers being embedded in more devices, millimeter-wave radar could ending up enabling a more universal gestural language that’s familiarized across these devices. É claro que cada fabricante, inevitavelmente, tem diferenças entre si (embora o Google seja o primeiro a utilizar mm de onda do radar como um sensor para gestual interação, o que não significa que ele vai ser o último), ele pode acabar dando “semelhante o suficiente” interações gestuais, da mesma forma que telas sensíveis ao toque são quase universais, mas cada um fornecedor OEM permite diferentes gestos para uso com a tela de toque.

  Appendix:

  i’ve included additional publications dealing with millimeter-wave radar and its applications in HCI (not necessarily involving Project Soli). Uma boa parte destes focam-se nas técnicas de aprendizagem da máquina utilizadas para permitir o reconhecimento de gestos com um oleoduto de radar.

  • One-Shot de Aprendizagem para Material Robusto Classificação Usando Millimeter-Wave Sistema de Radar
  • Mão de Reconhecimento de Gestos Usando um Radar Echo I-Q Plot e Convolucionais Rede Neural
  • Robusto de Reconhecimento de Gestos utilizando Milimétricos de Onda do Radar do Sistema
  • Mão de Reconhecimento de Gestos baseado em Radar de Micro-Doppler Assinatura Envelopes
  • Reinventar radar: O poder de 4D de detecção
  • Reconhecimento de Gestos Utilizando mm de Onda do Sensor para o homem-Carro Interface
  • Radar de Curto Alcance, baseados no Reconhecimento de Gestos Sistema usando o 3D CNN com Trio de Perda
  • Mão de Reconhecimento de Gestos baseado em Radar de Micro-Doppler Assinatura Envelopes
  • Robusto de Reconhecimento de Gestos utilizando Milimétricos de Onda do Radar do Sistema
  • TS-I3D com base Gesto de Mão Método de Reconhecimento com Sensor de Radar
  • Reconhecimento de caracteres no Ar Escrita com Base na Rede de Radares Para a Interface homem-Máquina
  • Doppler Radar Baseado em Sistema de Reconhecimento de Gestos de Mão Usando redes neurais convolucionais
  • accionando gestos de contacto e sem contacto com sensores de Radar
  • reinventando radares: a potência da detecção 4D
  • Sensor De movimento utilizando radares: interacção gestual e para além de 1612>

  patentes relacionadas com projectos Soli:

  • Baseado em Gestos Pequeno Dispositivo de Entrada
  • Radar baseado no gesto de reconhecimento por meio de um dispositivo portátil,
  • Radar Reconhecimento Auxiliado por Pesquisas
  • Radar de autenticação baseada em
  • Radar Habilitado para Fusão de Sensores
  • Grande campo de radar baseado no reconhecimento de gestos
  • Ocluída de reconhecimento de gestos
  • Radar-com base gesto de sensoriamento e transmissão de dados
  • Smartphone baseado no Sistema de Radar Facilitando a Facilidade e a Precisão das Interações do Usuário Com os Objetos Exibidos em uma Interface de Realidade Aumentada

  Artigos de Imprensa sobre o Lançamento e integração do Pixel 4 com o Soli do projecto:

  • Rumor: o projeto do Google soli radar chip poderia estrear no Google Pixel 4
  • o projeto do GOOGLE Soli: A TECNOLOGIA por TRÁS do PIXEL 4 de SENTIDO de MOVIMENTO do RADAR
  • Projeto Soli é o segredo de estrela do Google Pixel 4 auto-vazamento
  • Pixel 4 XL mãos em detalhes ” Face unlock,’ de volta acabamento, mais
  • controlo por Gestos, graças a Infineon-tecnologia de radar no Google Pixel 4 Smartphone
  • Monument Valley ustwo cria Sentido de Movimento jogo “rumo ao Sul” para o Google Pixel 4
  • Com Pixel 4, do Google experimental tech apostas, finalmente, introduza o spotlight
  • Google: Soli Dança DJ por Swift