Fue en el CES 2022 a principios de este año cuando NVIDIA reveló parte de sus novedades de cara a lo que ha presentado hoy, sus nuevos servidores basados en la plataforma Grace, el último grito para HPC e IA. Y es que estos servidores van a redefinir todos los sectores del mercado donde entren, puesto que NVIDIA ha mostrado los modelos de HGX Grace Data Center que piensa incluir y… Con más de 12.000 núcleos y 1 TB de RAM serán la referencia a batir.
Serán varias las compañías las que pongan a disposición de sus clientes cualquiera de los cuatro tipos de servidores que ha diseñado NVIDIA: ASUS, Foxconn, GIGABYTE, OCT, Supermicro, y Wiwynn, donde su personalización elevará los cuatro tipos de modelos de los de Huang a más de una docena de diferentes servidores para empresas. Llegarán en un año, 2023, pero ya tenemos el corazón y configuración máxima de todos ellos encima de la mesa: HGX Grace CPU Superchips y Grace Hopper Superchip.
NVIDIA HGX Grace: el servidor monstruoso con 12.096 Cores
Como siempre los detalles que no se dicen son los más importantes, puesto que revelan datos que la compañía no quiere evidenciar pese a que están delante nuestra. Los servidores tipo HGX Grace suponen el salto de gigante más grande dentro de este mundo que se recuerda.
Portarán la CPU NVIDIA Grace Superchip, es decir, dos procesadores conectados de forma coherente mediante NVLink C2C basados en ARM V9 Neoverse y diseñados para infraestructura de IA y HPC. Consta por lo tanto de lo que NVIDIA llama módulo CPU-CPU y cuenta por cada PCB que los integra nada menos que 144 núcleos con memoria LPDDR5X con hasta 1 TB por rack y un ancho de banda de nada menos que 1 TB/s.
Todo consumiendo 500 vatios y pudiéndose refrigerar por aire o por agua. Lo más impresionante aquí es que NVIDIA permite servidores con hasta 84 nodos por rack, lo que supone la friolera de 12.096 Cores en total. Teniendo en cuenta que HGX Grace es de entrada 1,5 veces más rápido que DGX A100, ya nos podemos imaginar la bestia que ha creado el equipo verde.
HGX Grace Hopper: CPU y GPU en un PCB
Este tipo de servidores apuesta por la segunda opción de NVIDIA. Y es que aquí tenemos no dos CPU, sino CPU y GPU en un mismo sustrato, las cuales se comunican de nuevo por NVLink C2C para poder tener un modelo de memoria coherente de alto rendimiento que se interconectará a 900 GB/s siendo 7 veces más rápida que el bus PCIe 5.0.
Lo que ha creado NVIDIA es el servidor multitrabajo definitivo, capaz de trabajar con cualquier pila de software de la compañía, sea para HPC, IA u Omniverse, por lo que es polifacético. El esquema a seguir es simple aquí con estos servidores HGX Grace Hopper, cada uno integrará una GPU Hopper a 4 nm con una CPU Grace, donde cada una dispondrá de su propia memoria, teniendo la primera nada menos que 80 GB de HBM3 y la segunda 512 GB de LPDDR5X disponibles.
Esto sumado en ancho de banda total nos daría 3,5 TB/s con un consumo total de 1000 vatios por rack y teniendo la posibilidad de ser refrigerado por aire o agua. NVIDIA asegura que se podrá instalar 42 nodos por rack en HGX Grace Hopper.
Diseños de servidores y su cartera
Habrá cuatro diseños específicos según la carga de trabajo que los fabricantes puedan necesitar, donde dentro de estos cuatro tipos cada uno puede configurar y personalizarlos según sus necesidades, lo que deja una amplia gama de prestaciones y precios:
- Los sistemas NVIDIA HGX Grace Hopper para entrenamiento de IA, inferencia y HPC están disponibles con Grace Hopper Superchip y NVIDIA BlueField-3.
- Sistemas NVIDIA HGX Grace para HPC y supercomputación: cuentan con un diseño de solo CPU con Grace CPU Superchip, BlueField-3 y GPUs NVIDIA.
- Los sistemas NVIDIA OVX para gemelos digitales y con cargas de trabajo colaborativas cuentan con Grace CPU Superchip, BlueField-3 y NVIDIA.
- Los sistemas NVIDIA CGX para gráficos y juegos en la nube cuentan con Grace CPU Superchip, BlueField-3 y GPUs NVIDIA A16.
Como era de esperar no se han desvelado precios todavía, puesto que estamos a un año de su lanzamiento oficial, así que es de esperar que a lo largo de este tiempo NVIDIA revele los costes, que de buen seguro no serán baratos.