Después de que se haya desmentido la existencia de una Switch 4K ha aparecido una patente de Nintendo sobre el uso de una red neuronal, y nos da pistas de que podríamos tener una Switch 2 más cercana de lo que nos esperamos. El documento nos describe una técnica de escalado por IA que hace uso de unidades Tensor, hasta ahora inéditas en su hardware. ¿Está cerca la siguiente generación de Nintendo?
La poca información que podríamos considerar realmente fiable respecto a la siguiente consola de Nintendo hasta el momento era la que el insider Kopite7kimi, quien ya ha demostrado su fiabilidad varias veces en todo lo referente a NVIDIA, había dejado caer en su cuenta de Twitter lo siguiente hace unos meses:
T234 es el número de modelo del Tegra Orin, por lo que Nintendo hará uso de una versión personalizada del mismo conocida como T239, ambos serán fabricados bajo el nodo de 8 nm de Samsung como los actuales RTX 30, pero podrían hacer uso de una GPU basada en la arquitectura Lovelace de las futuras RTX 40.
Se ha de aclarar que Kopite no afirma que Lovelace vaya a ser la arquitectura gráfica que NVIDIA va a implementar en los siguientes Tegra. Tendría sentido que dado que el nodo de fabricación será el mismo que las actuales RTX 30 que tanto para el T234 como para el T239 hiciesen uso de la arquitectura de las actuales GeForce Ampere.
NVIDIA y Nintendo estarán juntos de nuevo en Switch 2
La aparición de una patente asignada a Nintendo bajo el nombre de SYSTEMS AND METHODS FOR MACHINE LEARNED IMAGE CONVERSION nos vienen a confirmar que la histórica empresa de videojuegos afincada en Kyoto va a tener como socio otra vez a NVIDIA para su consola de siguiente generación y por tanto sucesora a su actual Switch.
¿Cómo podemos asegurar esto? Para empezar la patente hace referencia al uso de redes neurales para aumentar la resolución y ninguna consola de Nintendo ha hecho uso de unidades de este tipo en versiones anteriores de la marca, y en segundo lugar por el hecho que el texto de la patente hace referencia a los Tensor Cores de NVIDIA.
No olvidemos que el SoC de la Nintendo Switch es el Tegra X1 con una GPU basada en la arquitectura Maxwell de NVIDIA, la cual pertenece a dos generaciones atrás a Volta, que fue la primera en implementar arrays sistólicos por primera vez en una arquitectura gráfica de la compañía de Jensen Huang. En cuanto al proceso descrito en la patente pese a ser un sistema de super-resolución a través de aprendizaje profundo como es el caso del DLSS de NVIDIA, la patente no describe dicha técnica, sino una tecnología desarrollada por la propia Nintendo a nivel interno.
Antes de definir lo que nos podemos esperar de Switch 2 hemos de aclarar que Nintendo de manera oficial no ha confirmado que tenga ningún hardware en desarrollo, pese a que la patente haya sido asignada a la compañía y sus inventores formen parte de su departamento europeo conocido como NERD, Nintendo Europe Research and Development, el cual se encuentra afincado en Francia.
¿Por qué Nintendo ha publicado una patente de red neuronal para Switch 2?
La patente describe un proceso de escalado de resolución a través de Deep Learning tomando como referencia una imagen a 540p de resolución para generar otra a 1080p, lo cual puede sorprender en medio de los rumores intermitentes de una Switch 4K que han aparecido en los últimos años, pero no olvidemos que la consola de Nintendo es principalmente una consola portátil en cuanto a hardware.
En los últimos tiempos el problema del consumo por ancho de banda de la RAM en los dispositivos de bajo consumo no se ha solventado y estamos ante la paradoja de que las GPU en los SoC de muy bajo consumo, pese a haber llegado a potencias similares a las de PS4 y Xbox One, vienen acompañados de una RAM con un ancho de banda muy bajo que hace de cuello de botella. Por lo que tiene sentido reducir la cantidad de datos con los que ha de renderizar la GPU a nivel interno para qué la baja velocidad de transferencia no sea un problema.
Lo más seguro es que Nintendo haga uso de memoria LPDDR5 o a lo sumo LPDDR5X en su siguiente consola y esto supone como mucho duplicar el ancho de banda respecto a Switch, la cual tiene una potencia equivalente a PS3 y Xbox 360 y se espera que alcance la potencia PS4 y Xbox One para la siguiente generación. El problema es la memoria, ya que la escogida no les da el suficiente ancho de banda.
Así funciona la patente de red neuronal de Nintendo para conseguir más resolución
Lo primero que hemos de tener en cuenta es que una patente de este tipo describe un proceso y lo que hace cada uno de sus elementos de manera ordenada para obtener un resultado con unos fines concretos. Es como si la patente fuese una receta de cocina en la que además individualmente se describiesen los ingredientes y los procesos de transformación de los mismos en todo el proceso.
¿Y qué nos dice la patente? Veamos esta paso por paso:
- Se genera una imagen a 960 x 540 píxeles, aunque la patente habla de que otras resoluciones son posibles, simplemente esta es la utiliza como ejemplo.
- El búfer de imagen se organiza en bloques de 4 x 4 píxeles cada uno.
- A partir de cada uno de estos bloques se genera otro de 8 x 8 píxeles, el valor de los nuevos píxeles se obtiene de aplicar una función matemática con los píxeles colindantes. La cual no es descrita en la patente, pero puede ser interpolación bicúbica, Lanczos o cualquier técnica similar.
- El siguiente paso es generar una matriz de 16 x 16 a partir de la información de cada canal RGB, el resto de la información que falta se rellena con ceros en la matriz.
Esta matriz de 16 x 16 componentes son los datos de entrada de la red neuronal de la patente de Nintendo que se ejecutará en los Tensor Cores. Como inciso, hay que aclarar que en las GPU de NVIDIA para PC estos soportan cálculos de 16 bits en coma flotante, pues bien, como detalle cada una de las ALU que forman la matriz sistólica soportan SIMD sobre registro o SWAR y pueden ejecutar 2 operaciones de 8 bits por ALU y el total de operaciones por subcore en los SM de las GPU de NVIDIA es precisamente 256 o 16 x 16.
El paso final después de haber ejecutado el algoritmo de inferencia será la conversión de la información generada a una imagen a 1080p. Recordad que el objetivo del proceso de inferencia no es otro que generar una imagen a más resolución como si hubiese sido generada de manera nativa por la GPU.
¿Actualización automática para los juegos de la actual Switch?
Al describir la patente de Nintendo un algoritmo que se ejecuta en una red neuronal y por tanto bajo inteligencia artificial necesita un proceso de entrenamiento para sacar el algoritmo de inferencia que generará la imagen a más resolución.
El problema es que debido a que cada juego tiene su estilo visual propio se hace necesario un entrenamiento personalizado para cada uno de ellos. La patente deja claro que el entrenamiento se hará con centros de datos en la nube que los desarrolladores podrán utilizar para generar los algoritmos de inferencia que podrán usar en sus juegos. Por lo que de entrada los juegos no podrán hacer uso de esta técnica de reescalado de manera directa si no están preparados, pero sí que podrán aprovecharla a través de actualizaciones concretas.
Ya para terminar, la patente hace referencia al uso de información temporal como ocurre en NVIDIA DLSS 2.0 o Intel XeSS, como por ejemplo los vectores de movimientos a partir de derivar la posición de cada objeto en varios fotogramas para obtener su velocidad, lo que supone el uso de datos con temporalidad asociada. En realidad nos dejan claro que el proceso de subida de resolución no funciona a nivel del sistema sino de cada juego y por tanto cada uno de ellos lo tendrá que implementar de manera individual.