Haptics para dispositivos móviles AR: cómo mejorar las aplicaciones ARKit con un sentido de "toque"

Estoy realmente entusiasmado con el futuro de los hápticos para AR y VR. Se siente como el eslabón perdido entre mi HTC Vive y saltar al OASIS con Parzival y Art3mis. Por lo tanto, no es sorprendente que los hápticos sean quizás la tecnología más esperada en la comunidad XR en este momento. Varias compañías como Microsoft y HTC, así como nuevas empresas como SenseGlove y HaptX, han mostrado demostraciones de iteraciones cada vez más prometedoras de guantes hápticos que estoy ansioso por probar.

Desafortunadamente, como la mayoría de los desarrolladores de AR en la actualidad, nuestro trabajo en Placenote se centra casi por completo en plataformas AR móviles como ARKit y ARCore. Naturalmente, esto nos hizo pensar: "¿Podrían los hápticos hacer algo por AR móvil?"

Los hápticos han sido una adición increíble a las pantallas táctiles, desde la simulación de clics de botones táctiles hasta notificaciones silenciosas. Pero, después de buscar en Google frenéticamente, nos dimos cuenta de que hasta el momento no ha habido una discusión real sobre los hápticos para aplicaciones AR móviles ... DESAFÍO ACEPTADO

El desafío de la AR móvil

Decidimos investigar por qué los hápticos no han llegado al AR móvil y no fue difícil ver por qué. Mobile AR es, con mucho, el medio AR menos inmersivo. El consenso en la comunidad es que es solo una brecha para la última plataforma AR: gafas inteligentes.

Pero la mentalidad no es la única barrera aquí. Descubrimos que el factor de forma móvil presenta algunos desafíos únicos para el diseñador de experiencia AR:

  • a diferencia de los auriculares, la pantalla del teléfono es la pantalla y el controlador
  • es imposible poner sus manos en la experiencia ya que está sosteniendo el teléfono.
  • todavía confiamos en las interacciones de la pantalla táctil que son ambiguas en cuanto a dimensionalidad: ¿táctil 2D o 3D?

Sin embargo, la realidad es que, durante los próximos años y tal vez más, la AR móvil está aquí para quedarse. En este momento hay mil millones de dispositivos móviles en los bolsillos de los consumidores y solo unos pocos auriculares AR en sus cabezas. Como desarrollador, la distribución de sus aplicaciones supera a la mayoría de los otros factores. De hecho, en aplicaciones como la navegación interior y los juegos, los dispositivos móviles ya han demostrado ser un medio viable para implementar experiencias AR.

Esto nos lleva al tema de los hápticos para dispositivos móviles AR. Al principio, puede parecer que no hay una esperanza real para que los hápticos mejoren las experiencias de AR móvil, pero estudios recientes han demostrado lo contrario.

En háptica, menos es más

Ha habido una miríada de métodos concebidos para lograr retroalimentación háptica. En general, se dividen en dos grandes categorías: hápticas cinestésicas (retroalimentación de fuerza) y hápticas cutáneas (sensaciones cutáneas).

La háptica kinestésica ha sido ampliamente considerada como la tecnología háptica más realista. Implica actuadores físicos, ya sea con o sin conexión a tierra. Estos empujan y jalan nuestros dedos y otros apéndices en respuesta a interacciones con objetos virtuales. Intuitivamente, la retroalimentación de fuerza realista debería funcionar mucho mejor que las viejas vibraciones simples. Pero un estudio publicado en Science Robotics este año titulado "The Uncanny Valley of Haptics" ha desafiado estos supuestos.

Los investigadores encontraron que aumentar el realismo de la sensación háptica no necesariamente aumenta la calidad de la experiencia AR. A menudo tiene un impacto negativo debido al asombroso valle del realismo en las simulaciones. Descubrieron que los hápticos cutáneos, que son esencialmente una combinación de toques ligeros y vibraciones, hicieron mucho mejor en engañar al cerebro más profundamente en la ilusión. Resultados extraños, pero básicamente se dieron cuenta de que hemos subestimado lo bueno que es nuestro cerebro para llenar los vacíos en nuestra sensación de realidad.

Las situaciones en las que nuestro cerebro interviene para llenar los vacíos es lo que me parece más interesante sobre nuestra percepción de la sensación del tacto. - Justin Brad, CEO de Osso VR

Trayendo hápticos a AR móvil

Teniendo en cuenta estos hallazgos, ¿por qué no probar lo que los hápticos cutáneos pueden hacer para la AR móvil? Después de todo, haptics en dispositivos móviles ya no se trata solo de tonos de llamada vibrantes.

Los sistemas microelectromecánicos (MEMS) en dispositivos móviles se han vuelto mucho más sofisticados y capaces de comportamientos bastante matizados. Desde el iPhone 7, Apple ha actualizado las viejas vibraciones de retumbos básicos a lo que ahora llaman el Motor Táptico. Esto es mucho más sutil y consta de siete tipos diferentes de retroalimentación háptica con diferentes patrones y fortalezas.

Los modos de retroalimentación háptica disponibles son:

  • Cambio de selección
  • Luz de impacto
  • Medio de impacto
  • Impacto pesado
  • Notificación de éxito
  • Advertencia de Notificación
  • Falla de notificación
El nuevo iOS Taptic Engine (iPhone 7 en adelante) tiene 7 tipos diferentes de retroalimentación háptica

Para obtener más información sobre el generador de comentarios de iOS, consulte esta documentación de Apple. Al final de este artículo, compartiré un código que puede usar para agregar rápidamente estos tipos de comentarios a sus aplicaciones ARKit.

Decidimos experimentar con varios de estos modos de retroalimentación háptica en nuestras aplicaciones AR y estoy realmente emocionado de decir que los resultados fueron una sorpresa agradable para nuestro equipo. Los siguientes son algunos ejemplos de implementaciones hápticas en nuestras aplicaciones AR móviles.

Ejemplos de uso de hápticos en AR móvil

En nuestros experimentos hasta ahora, hemos encontrado que la retroalimentación háptica para AR móvil funciona bien en cinco escenarios distintos. Aquí hay una descripción de cada uno.

1. Punteros magnéticos (es decir, encajar en la cuadrícula)

Un puntero bloqueado a lo largo de una superficie plana es una característica comúnmente utilizada en muchas aplicaciones de ARKit, especialmente en herramientas de medición como Air Measure y Magic Plan. Dado que su teléfono se comporta como un controlador en AR móvil, el UX estándar en aplicaciones de medición implica arrastrar un puntero a lo largo de una superficie para dibujar líneas o polígonos para medir cosas en el mundo real. Por supuesto, cuando se trata de dibujar líneas, en todas partes se ven punteros magnéticos que se ajustan a los puntos finales y los bordes de las líneas, desde PowerPoint hasta Photoshop.

Descubrimos que una respuesta háptica sutil que indica un "chasquido" en la posición del puntero es una gran mejora. Casi se siente como su teléfono, (es decir, su controlador) se mueve físicamente para encajar en su lugar.

Me alegró mucho ver que la nueva aplicación "Measure" de Apple en realidad usa retroalimentación háptica en su UX. Es una implementación increíblemente sutil y puedes ver un GIF en acción a continuación. Se dispara un "Medio de impacto" cuando el puntero se ajusta al borde del avión.

Aplicación Measure de Apple

2. Prueba de golpe (sentir las superficies del mundo real)

Otra característica común en las aplicaciones ARKit es la prueba de impacto. Esto se implementa como una proyección de rayos desde un punto en la pantalla, ya sea un punto de contacto o el centro, a una superficie en la palabra real. Generalmente se usa para agregar un objeto 3D en el punto de contacto. Una ligera sensación háptica puede ayudar al usuario a comprender que una superficie fue "golpeada". Encontramos dos métodos que funcionan bien aquí:

Fijación
En este ejemplo, se agrega un marcador a la escena en el punto de golpe. Una "luz de impacto" ayuda a los usuarios a detectar la "fijación" del marcador en el espacio 3D. Por supuesto, la desventaja de esto es que no puedes percibir la "profundidad" del punto de golpe; en otras palabras, qué tan lejos está el pin del usuario.

Pasto
Una alternativa a la fijación es el método de pastoreo de las pruebas de impacto. En este caso, un marcador que se actualiza constantemente muestra una vista previa en la que se puede agregar un marcador a una escena. Descubrimos que una serie de impulsos hápticos, basados ​​en la magnitud del desplazamiento del marcador de vista previa en cada fotograma, da la sensación de raspar un puntero a lo largo de una superficie 3D y le permite "sentir" una superficie 3D.

Aquí hay un ejemplo de código de pastoreo en Unity:

if (distanceChange> = 0.1 && distanceChange <0.2)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Light);
}
más si (distanceChange> = 0.2 && distanceChange <0.4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Medium);
}
más si (distanceChange> = 0.4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Heavy);
}

3. FPS retroceso del arma o explosiones

Este es, con mucho, el ejemplo más divertido de retroalimentación háptica. Al construir un tirador en primera persona en AR, su teléfono es la pantalla y el arma. Una excelente manera de simular un disparo con arma es un simple "Impacto pesado", que produce un solo golpe o un "Fallo de notificación", que crea un doble golpe que se parece mucho al retroceso de un arma. Por supuesto, el ejemplo a continuación es un arma láser, pero, oye, ¿no está destinado a ser demasiado realista, recuerdas?

4. Colisión con la punta del controlador

En aplicaciones de realidad virtual como Oculus Medium o Tilt Brush, uno de los controladores portátiles sirve como una punta de pincel que el usuario se mueve para dibujar en el espacio 3D. He pasado horas pintando en Tilt Brush y, naturalmente, he intentado realmente imitar esta experiencia con ARKit.

El problema es que crear una experiencia de dibujo precisa en dispositivos móviles se vuelve realmente difícil. Pierde la sensación de profundidad cuando su teléfono es tanto la pantalla como el controlador. Una de las cosas más difíciles en las aplicaciones de dibujo 3D en dispositivos móviles es saber dónde está la punta del pincel en relación con los otros objetos 3D en la escena.

Y, nuevamente, la respuesta fue háptica. Descubrimos que una forma de dar a los usuarios una sensación de profundidad es imaginar que el pincel es en realidad un bastón que puedes usar para golpear objetos 3D que ya están en escena. Al proporcionar retroalimentación háptica para que los usuarios sepan si la punta del pincel está en contacto con cualquier objeto existente en la escena, los usuarios pueden apuntar con precisión su pincel en el espacio 3D.

Detección de colisiones de puntas de pincel

5. Ajuste de reubicación en aplicaciones AR persistentes.

En Placenote, creamos principalmente aplicaciones de AR persistente o AR Cloud. La funcionalidad principal de estas aplicaciones es la capacidad de guardar contenido AR de forma permanente en un lugar físico. Los usuarios pueden cargarlo en la misma ubicación cada vez.

Este comportamiento se llama relocalización de una escena.

Localización encajando en su lugar

Para reubicar una escena AR, un usuario primero debe apuntar la cámara de su teléfono hacia el mundo real y luego esperar hasta que la cámara detecte su ubicación.

Con Placenote, la relocalización ocurre casi instantáneamente, pero todo sucede internamente. Por lo tanto, debemos diseñar una forma de notificar al usuario de una reubicación exitosa. Las señales visuales pueden ser suficientes, como se ve en el GIF anterior. Pero una indicación más sutil es proporcionar una "Luz de Impacto" háptica para sugerir que ha encajado en el mundo real.

Cómo agregar hápticos a su proyecto ARKit

Si está trabajando con Swift para el desarrollo ARKit de iOS nativo, consulte este tutorial sobre la implementación de comentarios táctiles en aplicaciones nativas.

Si está trabajando con Unity, mi paquete favorito hasta ahora es el paquete de comentarios hápticos de iOS en la tienda de activos de Unity. Cuesta $ 5 pero vale la pena porque la función incorporada Handheld de Unity. ¡Vibrate () en realidad no expone las nuevas funciones de iOS Taptic Engine!

El paquete de comentarios hápticos de iOS proporciona un prefabricado simple y scripts para agregar los 7 tipos de comentarios hápticos a su aplicación. Puede obtenerlo desde el enlace de la tienda de activos aquí:

Cosas a tener en cuenta

Al igual que con cualquier herramienta de diseño, aquí hay algunas cosas a tener en cuenta al incorporar hápticos en su aplicación AR móvil.

Usar demasiados hápticos puede arruinar el seguimiento de ARKit

Prueba el impacto de los hápticos en tu sesión de AR. Dado que ARKit se basa en la detección de inercia para rastrear el movimiento del teléfono, agregar demasiadas vibraciones durante una sesión de ARKit puede desviar ligeramente el seguimiento.

Usar demasiados hápticos puede sobrecalentar el dispositivo.

Haptics es, después de todo, un movimiento físico de su dispositivo móvil y, naturalmente, tiende a usar más energía. Use esto con moderación para asegurarse de que su teléfono no se sobrecaliente o se quede sin batería demasiado rápido.

Demasiados comentarios hápticos pueden confundir y desensibilizar a su usuario

Esto es cierto para cualquier mecanismo háptico. No te excedas. Específicamente, no lo use sin comprender claramente por qué es necesaria una retroalimentación háptica para la acción que realiza su usuario. El peligro del uso excesivo es que su usuario se confunde y, por lo tanto, se vuelve insensible a sus comentarios.

¡Y eso es! Espero que este artículo le haya dado una dosis útil de ideas de diseño y lo haya convencido de aventurarse en el mundo de los hápticos AR móviles. Realmente disfrutamos explorando las diferentes formas en que podríamos simular sensaciones táctiles en AR móvil y si tiene más ideas, nos encantaría hablar con usted al respecto. Si está interesado en probar alguno de nuestros ejemplos de código para hápticos AR móviles, envíeme un correo electrónico a neil [at] placenote.com.

Si está interesado en las aplicaciones AR persistentes o en lo que hacemos en Placenote, envíenos un mensaje en Twitter o visite Placenote.com