Una startup afirma tener chips para IA 20 veces más rápidos y baratos que NVIDIA
La carrera por la hegemonía de la Inteligencia Artificial tiene a casi todos los fabricantes de chips con las espadas en alto, y por el momento es NVIDIA quien está ganando la guerra, y por mucho. La compañía le saca años de ventaja al resto porque precisamente comenzó a investigar en ello años antes que los demás, y esto les ha dado una ventaja competitiva tal que la ha llevado a convertirse en la compañía más valiosa del mundo, con sus GPU H100 como buque insignia. Sin embargo, la pequeña startup Etched ha creado un chip para IA que, según afirman, es 20 veces más rápido que el H100 de NVIDIA, y además es más barato.
Etched, una startup que fabrica chips para transformadores, acaba de anunciar Sohu, un circuito integrado específico para aplicaciones (ASIC) que afirma superar al H100 de NVIDIA en términos de inferencia LLM de IA. Según afirman, un único servidor con solo 8 de estos ASIC iguala el rendimiento de 160 GPUs NVIDIA H100, lo que significa que los centros de datos podrían ahorrar una barbaridad de dinero tanto en costes iniciales como en costes operativos, siempre y cuando Sohu cumpla con las expectativas.
Cómo una startup le planta cara a NVIDIA en chips para IA
De acuerdo con la información proporcionada por la compañía, los aceleradores para IA actuales (sean CPU o GPU) están diseñados para trabajar con diferentes arquitecturas de IA. Estos diferentes diseños implican que el hardware debe ser capaz de admitir diferentes modelos, como redes neuronales de convolución, redes de memoria a corto plazo, modelos de espacio de estados, etc. Dado que estos modelos se adaptan a distintas arquitecturas, la mayoría de los chips para IA asignan gran parte de su potencia cálculo a la capacidad de programación.
La mayoría de modelos de gran lenguaje (LLM) usan la multiplicación de matrices para casi todas sus tareas de cálculo, y en Etched dicen que las GPU NVIDIA H100 solo usan el 3,3% de sus transistores para ello. Esto significa que el 96.7% del silicio se usa para otras tareas de propósito general.
Sin embargo, la arquitectura de IA por transformadores se ha hecho bastante popular, y sin ir más lejos el LLM más popular hoy en día, ChatGPT, se basa en un modelo de transformador, pero no es el único ya que otros modelos como por ejemplo Sora, Gemini, Stable Diffusion y DALL-E también lo hacen.
Etched apostó por este modelo hace ya unos años, cuando puso en marcha el proyecto Sohu. Este chip incorpora la arquitectura de transformadores al hardware, lo cual permite asignar más transistores a los cálculos puros para IA. Así pues, en lugar de fabricar un chip capaz de adaptarse a todas las arquitecturas de IA, lo que ha hecho Etched es crear un chip específicamente diseñado para los modelos por transformadores, y por eso es capaz de proporcionar un rendimiento muy superior a los demás.
En la actualidad, NVIDIA es una de las empresas más valiosas del mundo con unos ingresos de récord año tras año, gracias a la gran demanda de chips para IA que hay actualmente. Pero este lanzamiento podría, si es que son capaces de producirlo en masa acorde a las necesidades del mercado, amenazar el liderazgo de NVIDIA en el ámbito de la IA, especialmente si las empresas que utilizan IA con modelo de transformadores como ChatGPT y las demás que hemos mencionado antes deciden pasarse a Sohu.
Al final, la eficiencia es uno de los aspectos clave para ganar esta carrera por la hegemonía de la IA, y quien pueda ejecutar los modelos de hardware más rápidos y asequibles será quien se lleve el gato al agua.
