La empresa Cerebras Systems centra su actividad en el desarrollo de procesadores a gran escala diseñados para Inteligencia Artificial, empresa que acaba de lanzar la tercera generación del WSE, el WSE-3 un procesador con el tamaño de una oblea y que cuenta con 900.000 núcleos para ofrecer un rendimiento de hasta 125 PetaFLOPS.
Este gigantesco procesador ofrece el doble de rendimiento que su predecesor, el WSE-2, cuenta con 4 billones de transistores fabricados en un proceso de 5 nm, incluye 44 GB SRAM integrada, ofrece un ancho de banda de 21 PetaBytes/s y está diseñado específicamente entrenar modelos de IA.
62 GPUs H100 de NVIDIA en un procesador
De hecho, en la presentación oficial de este nuevo procesador, la compañía ha querido compararlo con la GPU más potente de NVIDIA disponibles actualmente en el mercado, la H100. El rendimiento de este procesador equivale a 62 GPUs H100 de NVIDIA.
Un apartado muy importante donde Cerebras ha prestado especial atención es el consumo energético. Si tenemos en cuenta que WSE-3 es el doble de potente que la generación anterior, el WSE-2, es de suponer que el consumo también será el doble, sin embargo, no es así, ya que el nuevo procesador tiene exactamente el mismo consumo. Aunque no lo han comentado, sería interesante conocer cuál el sistema de refrigeración del procesador.
En cuanto a las capacidades de entrenamiento de modelos de IA, el WSE-3 es capaz de trabajar con hasta 24 billones de parámetros y admite un máximo de 1,2 PetaBytes de memoria para así almacenar grandes modelos en una unidad lógica sin utilizar particiones lo que ayuda a que el proceso sea mucho más rápido.
La escalabilidad de este nuevo procesador permite configurar hasta 2048 sistemas CS-3, permitiendo crear gigantescos super ordenadores capaz de realizar tareas de IA en muchísimo menos tiempo que servidores equipados con las GPUs que actualmente vende NVIDIA en el mercado.
Con la próxima generación ya en el horno, la H-200 debería suponer un importante cambio en comparación con la primera, aunque de momento, todavía se desconocen todos los detalles de nueva generación.
Además de todas las mejoras de rendimiento que ha llegan con este nuevo procesador, donde también se ha innovado es la cantidad de código necesario para entrenar LLM, reduciéndose en hasta un 97% en comparación con la GPU H-100 de NVIDIA.
Este nuevo procesador, enfocado a grandes empresas con desarrollos en la nube, también está orientado a la investigación médica a través de un proyecto de colaboración de Cerebras con la Clínica Mayo y el Laboratorio Nacional Argonne es Estados Unidos.
No queda aquí la cosa
Este no es el único proyecto en el que Cerebras ha estado trabajando. A través de la colaboración con G42, están trabajando en la construcción del Condor Galaxy 3, un ordenador mucho más potente que el WSE-3, ya que contará con hasta 64 sistemas CS-3 lo que supone 57.600.000 núcleos. Cuando el Condor Galaxy 3 esté disponible, la potencia de cálculo combinada de estos tres superordenadores será de 16 ExaFLOPs según afirman, el CTO De G42.
Esta será su tercera colaboración entre ambas empresas, después de los modelos Condor Galaxy 1 y Condor Galaxy 2 que actualmente se encuentra ubicados en California y que ofrece un rendimiento combinado de 8 ExaFLOPs, dejando muy atrás el nuevo WSE-E.