El seguimiento ocular de las Apple Vision Pro deja al descubierto lo que usuarios teclean
El ataque GAZEploit consta de dos partes, explica Zhan. En primer lugar, los investigadores crearon una forma de identificar cuándo alguien que lleva las Vision Pro está tecleando analizando el avatar 3D que comparte. Para ello, entrenaron una red neuronal recurrente, un tipo de modelo de aprendizaje profundo, con grabaciones de los avatares de 30 personas mientras completaban diversas tareas de mecanografía.
De acuerdo con ellos, cuando alguien teclea con las gafas puestas, su mirada se fija en la tecla que probablemente va a pulsar, antes de pasar rápidamente a la siguiente. «Cuando estamos tecleando, nuestra mirada muestra algunos patrones regulares», puntualiza Zhan.
Según Wang, estos patrones son más frecuentes al teclear que al navegar por una página web o ver un video con las Vision Pro: «En tareas como teclear con la mirada, la frecuencia del parpadeo disminuye porque estamos más concentrados». En resumen: mirar un teclado QWERTY y moverse entre las letras es un comportamiento bastante distinto.
La Policía de Colombia habría pagado 11 millones por Pegasus, un programa usado para espiar a políticos, activistas y periodistas en varios países.
Predecir el tecleado
La segunda parte de la investigación, explica Zhan, utiliza cálculos geométricos para averiguar dónde ha colocado alguien el teclado y el tamaño que le ha dado. «El único requisito es que, siempre que obtengamos suficiente información de la mirada que permita recuperar con precisión el teclado, se podrán detectar todas las pulsaciones siguientes».
Combinando estos dos elementos, fueron capaces de predecir las teclas que probablemente estaría tecleando alguien. En una serie de pruebas de laboratorio, no conocían los hábitos de tecleo de la víctima, ni su velocidad, ni sabían dónde estaba colocado el teclado. Sin embargo, los investigadores pudieron predecir las letras correctas, en un máximo de cinco intentos, con un 92.1% de precisión en mensajes, 77% de las veces en contraseñas; un 73% de las veces en PIN y un 86.1% de las ocasiones en correos electrónicos, URL y sitios online. En la primera suposición, las letras acertarían entre el 35 y el 59% de las veces, dependiendo del tipo de información que estuvieran intentando averiguar. Las letras duplicadas y los errores tipográficos añaden retos adicionales.
«Es muy potente saber dónde está mirando alguien», confiesa Alexandra Papoutsaki, profesora asociada de informática en el Pomona College, quien lleva años estudiando el seguimiento ocular y revisó la investigación GAZEploit para WIRED.
De acuerdo con Papoutsaki el trabajo destaca por basarse únicamente en el video de la Persona de alguien, lo que lo convierte en un espacio más «realista» para que se produzca un ataque en comparación con un hacker que intente acceder a los datos de seguimiento ocular de un par de Vision Pro. «Que alguien, simplemente transmitiendo su Persona, pueda exponer lo que está haciendo es lo que vuelve esta vulnerabilidad mucho más crítica».
Aunque el ataque se creó en un laboratorio y no se ha utilizado contra nadie que utilice Personas en el mundo real, los investigadores afirman que hay formas en las que los hackers podrían haber abusado de la filtración de datos. Dicen que, al menos en teoría, un delincuente podría compartir un archivo con una víctima durante una llamada de Zoom, lo que por ejemplo, le llevaría a iniciar sesión en una cuenta de Google o Microsoft. El atacante podría entonces grabar la Persona mientras su objetivo inicia sesión y utilizar el método de ataque para recuperar su contraseña y acceder a su cuenta.
Las gafas de realidad mixta de Apple son imposibles de ignorar y pueden ser un verdadero dolor de cabeza entre parejas.
Soluciones rápidas
Los investigadores de GAZEploit comunicaron sus hallazgos a Apple en abril y posteriormente enviaron a la empresa su código de prueba de concepto para que se pudiera reproducir el ataque. A finales de julio, la gigante corrigió el fallo en una actualización del software de las Vision Pro, que impide usar una Persona si alguien está tecleando virtualmente.
Un portavoz de Apple corroboró que se había corregido la vulnerabilidad en VisionOS 1.3. Las notas de actualización del software no mencionan la solución. Los investigadores aseguran que Apple ha asignado el código CVE-2024-40865 a esta vulnerabilidad y recomienda a los usuarios que descarguen las últimas actualizaciones.
