Proyecto Soli y el próximo Uso del Radar en Interfaces Hombre-Máquina

El radar es una tecnología de 85 años que hasta hace poco no se ha implementado activamente en interfaces hombre-máquina. La detección de gestos basada en radar permite inferir la intención del usuario en más contextos de lo que permite actualmente el seguimiento basado solo en óptica.

El uso por parte de Google del Proyecto Soli, un sistema de reconocimiento de gestos basado en radar, en la serie de teléfonos Pixel 4 es probablemente el primer paso en la adopción del radar como entrada para interactuar con nuestros dispositivos.

Antecedentes del Proyecto Soli

En Google I / O 2015, el grupo ATAP (Tecnología Avanzada y Proyectos) anunció varias iniciativas nuevas. Estos incluyen:

• Project Abacus: autenticación de usuario multifactor basada en la ubicación del usuario, los patrones de escritura y los patrones de voz
• Project Vault: un entorno informático seguro en una tarjeta microSD, para cualquier plataforma
• Hilo conductor Jacquard de proyecto integrado en textiles producibles en masa para crear interacciones basadas en dispositivos portátiles
• Project Soli: un pequeño sensor de radar capaz de realizar micro — gestos detección

De estos, Jacquard y Soli siguen activos: el Jacquard se ha integrado en una variedad de productos de consumo con moda etiquetas como Levi’s, Saint Laurant y Adidas.

Después de pasar por varias iteraciones de prototipos, Google integró Soli en el Pixel 4 como parte de la función Motion Sense, que permite que el teléfono inicie el proceso de autenticación facial antes de que el propietario del teléfono tenga que tocarlo.

Poco después del anuncio en E/S, ATAP lanzó una convocatoria para que los desarrolladores de terceros se inscribieran en el programa de Desarrolladores Alfa para el Proyecto Soli, como una forma de obtener comentarios sobre su kit de desarrollo de etapa inicial. Completé una aplicación para desarrollar interacciones basadas en música con Soli, y me aceptaron en el programa.

Escribí más sobre mi experiencia como miembro del programa de desarrolladores alpha aquí; lo que quería hacer con esta entrada de blog era proporcionar una visión general de las capacidades del radar de onda milimétrica, y cómo permiten ciertas experiencias y experimentos nuevos en el campo de la interacción humano-computadora.

Se han escrito varios artículos académicos explorando esta área desde que se anunció el Proyecto Soli, explorando diferentes áreas de aplicación, así que los veremos; así como una visión general rápida de lo que es el radar de onda milimétrica y los tipos de propiedades que ofrece.

En primer lugar, echemos un vistazo al primer producto comercial en usar Project Soli, el Pixel 4.

El primer producto comercial en integrar Project Soli es Pixel4, lanzado por Google en octubre de 2019.

El anuncio insinuaba que el nuevo teléfono sería el primer producto en integrarse con Soli; dados los gestos de aire sin contacto que se muestran en él:

El chip Soli ofrece tres nuevos tipos de capacidades para el Pixel 4:

Presencia: gracias a la capacidad del radar para detectar movimiento en el área cercana desde donde se coloca, el Pixel 4 apagará la pantalla siempre encendida si el usuario del teléfono no está cerca mientras está colocado en una mesa; por lo tanto, puede ahorrar energía de la batería y no molestar la atención del usuario

Alcance: el sensor Soli detectará si una mano se está moviendo hacia él; activación de la pantalla y activación de las cámaras frontales para desbloqueo facial

Gestos

• Flick
• Presencia
• Alcance
• Deslizar

9 to 5 Google hizo un análisis del juego Pokemon Wave Hello que viene incluido con los teléfonos Pixel 4, y descubrió un complemento de Unity en el juego que se conectaba a una aplicación de «Puente de sentido de movimiento» que se ejecutaba en el teléfono y que daba a los desarrolladores de juegos acceso a varios parámetros de gestos:

Desplázate

• flickConfidence
• flickDirection
• flickPrediction
• flickRange
• flickVelocity

Presencia

• presenceConfidence
• presencePrediction
• presenceRange
• presenceVelocity

Alcance

• reachAzimuth
• reachConfidence
• reachElevation
• reachPrediction
• reachRange
• reachVelocity

Deslice

• swipeAmplitude
• swipeConfidence
• swipeDirection
• swipeIntensity
• swipePrediction
• swipeTheta

En este momento, los desarrolladores de terceros no tienen acceso a los gestos MotionSense a menos que Google les haya dado acceso a la aplicación interna de Android MotionSense Bridge. Con suerte, Google abrirá el acceso completo al sensor Soli para que los desarrolladores puedan explorar cómo pueden usar las capacidades de reconocimiento de gestos que ofrece de formas nuevas e innovadoras.

Desafíos de Crear un Conjunto de datos de entrenamiento para el Reconocimiento de Gestos basado en Radar

En una publicación en el Blog de Inteligencia artificial de Google, los ingenieros de Google ATAP describen algunos de los desafíos y consideraciones para incrustar radar en un teléfono inteligente, como hacer que el chip de radar sea lo suficientemente pequeño y modular para que pueda caber en la parte superior de un teléfono, agregar filtros para tener en cuenta el ruido vibratorio la música se reproduce desde el teléfono y los algoritmos de aprendizaje automático pueden ejecutarse a un bajo nivel de potencia.

Uno de los desafíos de crear cualquier modelo robusto de aprendizaje automático, especialmente uno que estará en un dispositivo en manos de millones de consumidores, es asegurarse de que el modelo sea capaz de predecir con precisión un gesto en una población amplia y diversa de usuarios. A nivel semántico, es fácil para los humanos diferenciar lo que es un golpe o un gesto de movimiento. Sin embargo, dado que cada persona hace esos gestos de maneras ligeramente diferentes a través de variaciones en la velocidad, el ángulo de la mano y la longitud del gesto, el modelo de aprendizaje automático para inferir qué gesto se produce debe ser lo suficientemente robusto como para poder inferir correctamente el gesto del usuario independientemente de estas diferencias.

Para asegurarse de que sus modelos fueran precisos, el equipo de Soli entrenó a su modelo TensorFlow en millones de gestos realizados por miles de voluntarios. Estos modelos se optimizaron para ejecutarse directamente en la unidad DSP del Pixel 4; habilitar el teléfono para reconocer gestos incluso cuando el procesador principal está apagado — que es la forma en que el Pixel 4 es capaz de detectar si alguien se está moviendo hacia el teléfono usando MotionSense, y luego encender los sensores FaceUnlock para desbloquear el teléfono.

Asociación con Infineon

Mientras que Google desarrolló los algoritmos de aprendizaje automático, el procesamiento de señales y los patrones de experiencia de usuario para interactuar con Soli, la empresa alemana Infineon desarrolló el chip de radar que forma parte del sistema del Proyecto Soli. Si bien es posible comprar kits de desarrollo de Infineon, solo transmiten datos de radar sin procesar, sin funciones de señal procesadas que puedan usarse para entrenar un modelo de aprendizaje automático para reconocer gestos o presencia.

En su artículo de SSIGRAPH, Soli: Detección de Gestos Ubicuos con Radar de Onda Milimétrica, los autores de ATAP describen una Capa de abstracción de hardware (HAL, por sus siglas en inglés) como un conjunto de abstracciones que permitirían al Proyecto Soli trabajar en diferentes arquitecturas de sensores de radar de diferentes fabricantes. Esto permitiría a Google tener la flexibilidad de usar el mismo conjunto de primitivas de características Soli en varios tipos de radar, manteniendo los mismos patrones de interacción de alto nivel.

Aplicaciones de ejemplo del Programa Alpha Dev

Se animó a los participantes del Programa Soli Alpha Dev a publicar nuestro trabajo en publicaciones académicas; algunos miembros también crearon demos para mostrar en varios blogs, incluidos:

• Nuevas interfaces musicales (Vídeo de demostración)
• Un teclado gestual en el aire
• El violín más pequeño del mundo
• Utilizando Soli para identificar objetos para el control de brazo robótico

El departamento de HCI de la Universidad de St. Andrews produjo un cuerpo de trabajo robusto como miembros del programa Alpha Dev, que incluye

• Categorización de Radar para el Reconocimiento de entradas – los autores presentan RadarCat, un sistema que es capaz de discriminar entre «26 materiales (incluidos objetos compuestos complejos), a continuación con 16 materiales transparentes (con diferentes espesores y tintes variables) y finalmente 10 partes del cuerpo de 6 participantes»
• Interfaz de usuario Tangible por Clasificación de Objetos y Materiales con Radar-continuando su trabajo desde RadarCat; los autores también describen escenarios de aplicación del mundo real en los que se podría usar este sistema, incluidos los sistemas de pago automático y los dispositivos médicos inteligentes.
• Explorar las Interacciones Tangibles con la Detección por Radar-explorar «el radar como plataforma para detectar la interacción tangible con el recuento, el ordenamiento, la identificación de objetos y el seguimiento de la orientación, el movimiento y la distancia de estos objetos».

Algunos de los proyectos del programa de Desarrolladores Alpha se mostraron en un video que se presentó en la actualización de ATAP en el evento de E/S del año siguiente (2016):

Google Papers

Los miembros de Google ATAP también publicaron artículos sobre su trabajo con el Proyecto Soli:

• Soli: Detección de Gestos Ubicuos con Radar de Onda Milimétrica-SIGGRAPH 2016
• Un Transceptor de 6 Canales de 60 GHz altamente Integrado Con Antena en Paquete para Detección Inteligente y Comunicaciones de Corto Alcance – IEEE 2016
• Interactuar con Soli: Exploración del Reconocimiento Dinámico de Gestos de Grano Fino en el Espectro de Radiofrecuencia-UIST 2016
• Un Sensor de Radar de Dos Tonos para la Detección Simultánea de Distancia Absoluta y Movimiento Relativo para la Detección de Gestos-Sensores IEEE Letras 2017

Propiedades del radar de onda mm y sus Asequencias

La detección de radar se basa en detectar los patrones cambiantes de movimiento de un objeto en el espacio. Las ondas de radio se transmiten desde el radar, rebotan en un objetivo (una mano humana en movimiento) y luego son re-recibidas por las antenas del radar. La diferencia cronometrada entre el momento en que se envían las ondas y el momento en que se reciben se utiliza para crear un perfil del objeto que se encuentra en la trayectoria del radar.

En el caso de gestos humanos, la mano mueve su posición a través del espacio 3D mientras está en la línea de visión de un sensor de radar. Los cambios de posición producen diferentes perfiles para las señales de radar rebotadas, lo que permite detectar diferentes gestos.

Dado que el radar detecta gestos en función de diferentes características de movimiento, no es adecuado para detectar gestos estáticos, como el lenguaje de signos o un signo de paz. Sin embargo, es muy adecuado para detectar gestos dinámicos basados en el movimiento, como un chasquido de dedos o un movimiento de giro de teclas.

A diferencia de los sensores ópticos, el rendimiento del radar no depende de la iluminación, puede trabajar a través de materiales e incluso detectar gestos que ocurren cuando los dedos pueden estar ocluyéndose entre sí.

Los micro-gestos se pueden definir como «interacciones que involucran pequeñas cantidades de movimiento y aquellas que se realizan principalmente por músculos que impulsan los dedos y articulan la muñeca, en lugar de aquellas que involucran grupos musculares más grandes para evitar la fatiga con el tiempo». Algunos ejemplos de este tipo de gestos son hacer el movimiento de presionar un botón tocando el dedo índice contra el pulgar, hacer un movimiento deslizante moviendo el pulgar contra la superficie del dedo índice y hacer un movimiento similar a girar un dial con los dedos y la muñeca.

Estos gestos se pueden usar en una variedad de contextos (IoT, AR/VR, etc.) para interactuar con elementos de la interfaz de usuario.

Futuros productos de Electrónica de Consumo de Google

Google parece estar trabajando en la integración de Soli en nuevos productos; una publicación de trabajo para un «Ingeniero de Algoritmos de Sensores de Inteligencia, Google Nest «enumera» Experiencia Trabajando con Radar » como una calificación preferida. Una de las primeras demostraciones de Soli mostraba el radar integrado en un altavoz inteligente de JBL; no sería sorprendente que Soli estuviera integrado en un producto de electrónica de consumo o un electrodoméstico.

Otra demostración del proyecto Soli que Google mostró durante la misma presentación que el altavoz JBL controlado por el suelo fue un reloj inteligente con Soli dentro (Google incluso presentó una patente para un reloj inteligente basado en gestos que podría usarse para videoconferencias).

En lo que probablemente sea un escenario mucho más lejano, Google ha declarado que más allá de usar sensores como Soli para el reconocimiento de gestos, «En el futuro, queremos crear dispositivos que puedan comprender su lenguaje corporal, para que sean más intuitivos de usar y más útiles». Aunque depende de la especulación en cuanto a qué podría significar exactamente y cómo se vería en la práctica, un caso de uso potencial aquí es que los teléfonos podrían detectar el estado emocional de las personas cercanas; habilitando interfaces de computación afectivas. (Una discusión más exhaustiva de la computación afectiva está más allá del alcance de este post; Los animo a leer este trabajo seminal de Rosalind Picard que acuñó el término para obtener más información sobre el tema).

El futuro de la Computación ambiental de Google

En el primer artículo publicado para el Proyecto Soli, los autores (de Google ATAP) enumeran varias áreas de aplicación posibles:

• Realidad Virtual
• Wearables y prendas inteligentes
• Internet de las cosas y controladores de juegos
• «Dispositivos tradicionales» (teléfonos móviles, tabletas, computadoras portátiles)

Si todos estos tipos de dispositivos integraran Project Soli, Google podría aprovechar un marco gestual universal que todos ellos tendrían en común. Esto facilitaría a las personas el uso rápido de estos nuevos dispositivos, todos interactuando con la variedad de servicios de Google.

El artículo de Ben Thompson sobre Estratagemas, «Google and Ambient Computing», analiza el reciente cambio de Google de declarar que quieren ayudar a organizar la información del mundo, a uno que te ayuda a hacer las cosas.

En su discurso de apertura en Made by Google 2019, el Vicepresidente Sénior de Dispositivos y Servicios de Google, Rick Osterloh (anteriormente director de Google ATAP), describe una visión de Google como una empresa que quiere «ofrecerte un Google más útil. Sundar Pichai declaró en el discurso de apertura de E/S de 20193 que «Nos estamos mudando de una empresa que te ayuda a encontrar respuestas a una empresa que te ayuda a hacer las cosas».

Ambient Computing fue acuñado por primera vez por el periodista tecnológico Walt Mossberg en su columna final, «The Disappearing Computer». También se conoce como computación ubicua o omnipresente.

Para alguna lectura adicional sobre esta área de la computación, consulte el trabajo de Mark Weiser, Científico jefe de Xerox PARC, especialmente su artículo de Scientific American de 1991, «The Computer for the 21st Century». Weiser acuñó el término computación ubicua, que describió como computación capaz de ocurrir usando «cualquier dispositivo, en cualquier ubicación y en cualquier formato».

Thompson señala que la visión de Google de la computación ambiental «no compite con el teléfono inteligente, sino que lo aprovecha». Google no está tratando de encontrar la próxima plataforma de hardware (como Facebook estaba haciendo con la adquisición de Oculus para realidad virtual, o el impulso completo de Apple a la realidad aumentada); ratther, están buscando crear un ecosistema de dispositivos ambientales que se conecten sin problemas (¿posiblemente usando el teléfono inteligente como un centro?) y son intuitivos para interactuar; todos conectados a los servicios que proporciona Google.

Tener una forma unificada de interactuar con dispositivos que existen en una variedad de contextos sería enormemente beneficioso para Google para promover la adopción de su visión de computación ambiental. Un sensor pequeño y fácilmente integrable que puede detectar gestos de personas independientemente de la iluminación u otras condiciones atmosféricas acercaría esta visión mucho más a la realidad. Esto facilitaría a los usuarios interactuar con una amplia variedad de dispositivos que ofrecerían acceso a los servicios de Google.

Pistas de Apple sobre la adopción del radar mm-Wave

Con el reciente lanzamiento de un iPad Pro con capacidad LiDAR en servicio a capacidades de realidad aumentada, Apple parece estar mostrando una voluntad de poner sensores de complejidad (y utilidad) cada vez mayor en sus productos.

Además, Apple ha publicado al menos una publicación para roles relacionados con radar; una publicación ahora inactiva en LinkedIn para un Ingeniero de Procesamiento de Señales de Radar incluye lo siguiente en su descripción:

Me parece justo decir que, al menos, Apple está considerando el radar de onda milimétrica como una modalidad de detección; cuándo, cómo y, lo que es más importante, si un producto Apple habilitado para radar sale alguna vez de los laboratorios en Cupertino, solo el tiempo podrá decirlo.

Mi especulación personal es que Apple lanzará un auricular AR con radar incorporado para la detección de micro-gestos para aumentar sus capacidades de seguimiento de manos. Además, a medida que el radar se haga más conocido como una posible modalidad de detección (gracias principalmente al Proyecto Soli y a cualquier producto en el que Google y sus socios decidan integrarlo), otros fabricantes de auriculares de realidad aumentada y realidad virtual comenzarán a integrar chips de radar de onda milimétrica en sus auriculares como una forma de resolver el problema de» interfaz faltante » mencionado anteriormente; asegurarse de que los objetos físicos del mundo real con los que las personas interactúan a través de AR/VR tengan una forma de mapear la información digital que se presenta a través de los auriculares.

Competencia

Hay al menos una startup trabajando en radar de onda milimétrica para interfaces hombre-máquina; KaiKuTek de Taiwán («CoolTech»). Afirman que su sistema de detección de gestos basado en radar puede igualar, si no superar, el Proyecto Soli de Google.

Un chip de inferencia de aprendizaje automático está integrado con el sensor de radar; por lo tanto, toda la inferencia se realiza en un nivel de cómputo del lado del sensor, a diferencia del sistema MotionSense del Pixel 4, en el que el sensor (Soli) y el motor de inferencia están en componentes de chip separados. Esto es, afirma KaiKuTek, que son capaces de lograr una potencia tan baja (1 mW).

Pensamientos finales

Con Project Soli, Google ha avanzado la conversación sobre cómo interactuamos con las computadoras en una amplia gama de modalidades y contextos. El radar de onda milimétrica ofrece una forma prometedora de interactuar gestualmente con las computadoras sin tener que preocuparse por la oclusión, las condiciones de iluminación o condiciones limitantes similares impuestas a los sistemas basados en cámaras.

Con el creciente ritmo de incorporación de computadoras en más dispositivos, el radar de onda milimétrica podría terminar permitiendo un lenguaje gestual más universal que es familiar en estos dispositivos. Por supuesto, cada fabricante inevitablemente tendrá diferencias entre sí (aunque Google es el primero en usar el radar de onda mm como sensor para la interacción gestual, no significa que sea el último), podría terminar ofreciendo interacciones gestuales «lo suficientemente similares» de la misma manera que las pantallas táctiles son casi universales, pero cada proveedor OEM permite diferentes gestos para usar con la pantalla táctil.

Apéndice:

He incluido publicaciones adicionales sobre radar de onda milimétrica y sus aplicaciones en HCI (no necesariamente involucrando al Proyecto Soli). Una buena parte de estos se centran en las técnicas de aprendizaje automático utilizadas para habilitar el reconocimiento de gestos con una canalización de radar.

• Aprendizaje de un Solo Disparo para una Clasificación de Materiales Robusta Mediante un Sistema de Radar de Onda Milimétrica
• Reconocimiento de Gestos con la Mano Mediante un Gráfico I-Q de Eco de Radar y una Red Neuronal Convolucional
• Reconocimiento de Gestos Robusto mediante un Sistema de Radar de Onda Milimétrica
• Reconocimiento de Gestos con la Mano basado en Sobres de Firma Micro-Doppler de Radar
• Reinventar el radar: La potencia de la detección 4D
• Reconocimiento de Gestos Mediante Sensor de Onda mm para Interfaz Hombre-Coche
• Sistema de Reconocimiento de Gestos basado en Radar de corto Alcance utilizando CNN 3D con Pérdida de Triplete
• Reconocimiento de Gestos de Mano basado en Envolventes de Firma Micro-Doppler de Radar
• Reconocimiento de Gestos robusto mediante Sistema de Radar de Onda Milimétrica
• Mano basada en TS-I3D Método de Reconocimiento de Gestos con Sensor de Radar
• Reconocimiento de Caracteres en Escritura Aérea Basado en Red de Radares Para Interfaz Hombre-Máquina
• Sistema de Reconocimiento de Gestos Manuales Basado en Radar Doppler Uso de Redes Neuronales Convolucionales
• Obtención de Gestos basados en Contacto y Sin Contacto con Sensores basados en Radar
• Reinventar el radar: El poder de la detección 4D
• Detección de movimiento Mediante Radar: Interacción Gestual y Más Allá

Patentes relacionadas con el Proyecto Soli:

• Entrada de dispositivo pequeño basada en gestos
• Reconocimiento de gestos basado en radar a través de un dispositivo portátil
• Búsquedas asistidas por reconocimiento de radar
• Autenticación basada en radar
• Fusión de sensores habilitada para radar
• Reconocimiento de gestos basado en radar de campo amplio
• Reconocimiento de gestos ocluidos
• Detección de gestos y transmisión de datos basados en radar
• Sistema de Radar basado en teléfonos inteligentes Que Facilita la Facilidad y Precisión de las Interacciones del Usuario Con Objetos Mostrados en una Interfaz de Realidad Aumentada

Lanzamiento e integración de Pixel 4 con Project Soli:

• Rumor: El chip de radar del Proyecto Soli de Google podría debutar en Google Pixel 4
• EL PROYECTO Soli de GOOGLE: LA TECNOLOGÍA DETRÁS DEL RADAR MOTION SENSE de PIXEL 4
• Project Soli es la estrella secreta del auto-escape Pixel 4 de Google
• Detalles prácticos de Pixel 4 XL ‘Desbloqueo facial’, acabado posterior, más
• Control de gestos gracias a la tecnología Infineon-radar en el teléfono inteligente Google Pixel 4
• Ustwo de Monument Valley crea el juego Motion Sense ‘Headed South’ para Google Pixel 4
• Con Pixel 4, las apuestas tecnológicas experimentales de Google finalmente entran en el foco
• Google: Soli Dance DJ by Swift