La realidad virtual no solo consiste en colocarse una unidad HMD, sino que hace uso de una serie de tecnologías de seguimiento o tracking para leer los movimientos del jugador o al menos de los mandos de control especializados en la VR. Es por ello que hemos decidido enumerar los diferentes mecanismos de tracking para la VR que han existido y cómo funciona cada uno de ellos.
Desde los inicios de la Realidad Virtual esta se ha diseñado para la inmersión del jugador en un entorno virtual. Lo cual significa que no solo se ha de conseguir la llamada telepresencia desde el punto de vista audiovisual. También se busca una correlación 1:1 entre los movimientos del jugador y el entorno. Lo cual a día de hoy es algo que tenemos muy pero que muy verde y es pura ciencia ficción a día de hoy. El día en que tengamos un entorno de Realidad Virtual en el que podamos movernos libremente sin problemas e interactuar sigue siendo una utopía
Todo ello no significa que no exista un mapa de ruta con el objetivo de llegar a dicho idea de libertad. El cual tiene relación con el desarrollo de una serie de tecnologías que han ido evolucionando en los últimos años. Muchas de ellas ya se encuentran en los diferentes sistemas de realidad virtual, pero otros los veremos a corto, medio o largo plazo.
Es por ello que hemos decidido hacer este artículo donde vamos a enumerar todas las tecnologías existentes que se utilizan para el tracking en la Realidad Virtual.
Tracking Inside-Out y Outside-In
Existen dos formas de categorizar el seguimiento del usuario en la VR, las cuales dependen de dónde se encuentren los sensores para el tracking en la realidad virtual.
- Si estos se encuentran fijos en un lugar de la habitación, pero fuera de la unidad HMD lo llamamos tracking Outside-In.
- En cambio si los sensores se encuentran dentro del propio casco de realidad virtual o HMD estos reciben el nombre de sensores Inside-Out.
Ambos tipos de sistemas de tracking no son excluyentes y se pueden combinar para obtener una mayor precisión a la hora de seguir e interpretar los movimientos del usuario de la realidad virtual.
Cámaras y visión por computador
Para realizar el tracking de movimientos se utilizan a día de hoy dos tipos de cámaras, la primera de ellas son las clásicas cámaras RGB que toman una imagen en el que cada píxel representa un color del espectro RGB. En otras palabras, una cámara de las de toda la vida. Aunque esta no es el único tipo de cámara utilizado. Dado que se complementan con cámaras de tiempo de vuelo en algunos casos o de infrarrojos por otro en las cuales cada píxel de la imagen no marca el color, sino la distancia en la que se encuentra cada objeto de la imagen.
Todo ello se combina a día de hoy con lo que llamamos Visión por Computador, lo cual consiste en redes neuronales que emulan el sistema de la visión humana en su funcionamiento. Esta es la misma tecnología que se utiliza para los coches inteligentes para que puedan conducir solos y también nos facilita aparcar. Aunque tiene otras utilidades. Por ejemplo es la que permite en la tecnología NVIDIA Broadcast descartar el fondo y dejarnos a nosotros solos cuando hacemos un vídeo en directo una de las plataformas de streaming más famosas.
Pero, ¿qué utilidad tiene la Realidad Virtual? Gracias al hecho de que podemos saber la distancia de los objetos en un tracking Outside-In podemos saber la posición relativa respecto a la cámara. En el caso de la tecnología Inside-Out es más interesante, ya que es lo que permite descartar las manos del jugador del resto y a través de una red neuronal entrenada poder interpretar los diferentes movimientos de las manos del jugador.
Esto también es posible hacerlo desde un sistema Outside-In, pero desde el momento en que sería necesario una cámara de más resolución por la distancia resulta más viable hacerlo desde las cámaras instaladas en el HMD.
Sistemas inerciales para el tracing en Realidad Virtual
Los sistemas inerciales no son una novedad y lleva tiempo utilizándose en el tracking para la realidad virtual, al menos desde el principio en forma de dispositivos MEMS. Siendo los casos más claros el acelerómetro y el giroscopio que permiten posicionar con mayor precisión el movimiento de los mandos de control y del propio HMD o casco de realidad virtual.
El trabajo del acelerómetro es medir la aceleración, la cual no es más que la variación de la velocidad en un periodo de tiempo concreto. ¿Y en qué nos puede ayudar saberlo para posicionar un objeto? Pues por el hecho que la velocidad es la variación del desplazamiento en el tiempo. Con esta información el sistema no solo puede predecir dónde se encuentra el objeto, sino que donde se encontrará en un momento determinado del tiempo.
El giroscopio por otro lado mide el grado de inclinación del objeto, junto al acelerómetro permite trazar el movimiento de los objetos. Aunque ambos requieren de otro observador, en forma de un espectador externo y es por ello que se necesita una cámara externa como la que hemos comentado en la anterior sección. Con todo ello el sistema ya puede triangular la posición de los objetos en el espacio y saber dónde se encuentran en cada momento. En algunos casos para aumentar la precisión se suelen utilizar sensores como micrófonos de ultrasonido a modo de censor o magnetómetros o más conocidos como brújulas.
Tracking ocular en la Realidad Virtual
Uno de los problemas que tiene la Realidad Virtual es la incoherencia entre lo que debería ver el jugador y la imagen que se muestra en la pantalla del HMD, dado que el único movimiento que es leído es el movimiento de la cabeza esto provoca que la imagen que se presente en pantalla no corresponda con el movimiento de los ojos del usuario.
La idea del tracking ocular es la instalación de una cámara de infrarrojos de alta frecuencia que permite seguir el movimiento de los ojos del espectador y hacerlo coincidir con el punto de vista de la cámara a la hora de renderizar. De tal manera que lo que ve el usuario corresponde al movimiento de su vista y es una forma de reducir la descoordinación en el movimiento que provoca el famoso mareo. Todo ello coordinado con los datos obtenidos por el resto de sistemas de tracking externos.
Debido a que en la Realidad Virtual los ojos del usuario se ven ocultos por la unidad HMD que él o ella lleva sobre la cabeza este tipo de sensores se encuentran en la parte interior del casco de Realidad Virtual.
