La aceleradora Intel Gaudi3 desafía a NVIDIA y sus Hopper y Blackwell
NVIDIA se ha convertido en la referencia del mercado en GPUs para entrenar modelos de lenguaje grandes (LLM) para Inteligencia Artificial y, según las cifras económicas que anunció la empresa hace unas semanas, este mercado es mucho más lucrativo para la compañía que el mercado doméstico, donde también es una referencia. Intel y AMD hacen todo lo posible para seguir sus pasos, aunque todavía les queda mucho camino por recorrer.
La última propuesta de Intel por este mercado es Gaudi3 su aceleradora de última generación que acaba de presentar en el evento Vision 2024 y que cuenta con unas especificaciones muy superiores a la generación anterior, Gaudi2, centrándose en un mayor rendimiento con una eficiencia energética superior.
Además, según afirma Intel, son mucho más baratas que la GPU H100 de NVIDIA, lo que puede suponer un importante ahorro de costes ya que las grandes empresas no comprar unidades sueltas de este tipo de GPUs para entrenar modelos de lenguaje, siempre y cuando estén a la altura en cuanto a rendimiento.
Intel Guadi3 quiere el mercado de GPUs de NVIDIA
Intel está tan segura de Gaudi3 que durante la presentación ha comprado su rendimiento con las H100 y H200 basados en arquitectura Hopper de NVIDIA, sin embargo, se ha dejado de lado los aceleradores MI300A/X de AMD que presentó la compañía a finales de 2023 y que, según su fabricante, era más potente que la GPU H100 de NVIDIA.
La aceleradora Gaudi3 cuenta dos matrices de 5 nm fabricadas por TSM con 64 núcleos Tensor de 5ª generación. Esto supone un importante incremento en comparación con la generación anterior cuyo número de núcleos Tensor era de 40 y utilizaba un proceso de fabricación de 7 nm.
En cuanto a la memoria, la Gaudi3 cuenta con 128 GB HBM2w que ofrece un ancho de banda de 3.7 TB/s por los 2,45TB/s que ofrecía Gaudi2 que contaba con 96 GB de memoria HBM2e. Esta nueva aceleradora de Intel está disponible en factor forma PCIe con el modelo HL-388 compatible con PCIe 5.0 y tiene un TDP de entre 450 y 600W, una cifra muy elevada para este formato. También está disponible el modelo OAM en las versiones HL-328, HL-325 y HL-335 con un TDP que varía entre 450 y 900W compatible con refrigeración de aire y líquida.
Rendimiento
Según podemos ver en las comparativa que Intel ha mostrado durante la presentación, Gaudi3 es hasta 1,7 veces más rápido (depende del modelo de lenguaje utilizado) para en tareas de entrenamiento de modelos de lenguaje en comparación con la GPU H100 de NVIDIA.
En cuanto a la velocidad de inferencia, el rendimiento puede variar dependiendo del lenguaje llegando a ser hasta un 70% más alto. En cuanto a la eficiencia energética, un apartado muy importante en centros de datos y que el máximo responsable de NVIDIA no tiene en consideración según sus últimas declaraciones, Gaudi3 es entre 1,2 y 2,3 veces más eficiente.
El problema de Intel con Gaudi3 es que va un paso por detrás ya que está comparando la generación de GPU actual de gráficas de NVIDIA cuando este gigante presentó la GPU B200 basada en arquitectura Blackwell, modelo que incluye casi 3 veces más de transistores que el modelo H100 y que llegará al mercado en el segundo trimestre de 2024, cuando también está previsto el lanzamiento de Gaudi3.
