Grok, la IA de Elon Musk, utiliza 100.000 gráficas NVIDIA para entrenar

Todos estaremos de acuerdo en que Elon Musk, el creador de SpaceX, Tesla y dueño de X (Twitter), es un tipo cuando menos… peculiar. Pero también es cierto que es una de las personas que más ha invertido en fomentar el desarrollo de la Inteligencia Artificial, y ahora ha desvelado que su modelo de IA Grok 3 está siendo entrenado (Deep Learning) con nada más y nada menos que 100.000 tarjetas gráficas NVIDIA H100. Además, también se ha dado a conocer que el modelo Grok 2 estará disponible a partir del mes que viene.
Ahora mismo, casi todas las empresas que están desarrollando sistemas de Inteligencia Artificial están centrándose en modelos LLM para satisfacer las necesidades de los clientes, que básicamente estriban en modelos de chatbots como ChatGPT. Hay sin lugar a dudas una carrera por la hegemonía en la IA, y como a Elon Musk le sobra el dinero no podía quedarse atrás y ha creado una startup llamada xAI, que se ha unido a esta carrera con el desarrollo de Grok, utilizando precisamente modelos LLM.
xAI de Elon Musk ya prepara dos modelos de su IA Grok
La startup (si es que se le puede llamar así siendo de Elon Musk) ha lanzado versiones más recientes del modelo original, y actualmente están preparando el lanzamiento de Grok 2, que estaría disponible a partir del mes de agosto de este 2024. Sin embargo, en el último tuit del dueño de X, ha empezado a promocionar la siguiente iteración, Grok 3, afirmando que va a ser mucho más grande que sus predecesores (y dejando caer que también será mucho más grande que la competencia).
Elon Musk@elonmusk@BasedBeffJezos Grok 3 end of year after training on 100k H100s should be really something special01 de julio, 2024 • 07:13
2.2K
79
Es revelador el hecho de que haya dicho abiertamente que están utilizando 100.000 tarjetas gráficas NVIDIA H100 para entrenar Grok 3, porque si tenemos en cuenta la ingente potencia de este hardware, el modelo produciría resultados que no se han visto hasta ahora en la industria. Además, el entrenamiento con Deep Learning es dependiente también del tiempo… no sabemos cuándo han empezado a entrenar a esta IA, pero Musk ha dicho que estará lista a finales de este año, y eso da muchos meses de entrenamiento, por lo que el resultado podría ser abrumador.
Para corroborar esta afirmación (que podemos considerar verídica ya que viene del propio Musk), se rumorea que el modelo GPT-4 LLM de OpenAI se entrenó utilizando 40.000 gráficas A100 de NVIDIA, que son relativamente antiguadas y desde luego mucho menos potentes que las H100 (además de ser menos de la mitad en cantidad). Seguramente ya sepas de qué es capaz ChatGPT-4, así que imagina de lo que será capaz Grok 3… una verdadera locura.
Anteriormente, Elon Musk ya afirmó que entrenar a una IA que usa modelo LLM utilizando «datos de Internet» es algo bastante caótico y que requiere mucho trabajo, especialmente en lo que se refiere a recursos de hardware. Afirmó que el modelo Grok 2, que llega el mes que viene, supone una gran mejora en este sentido y que el modelo Grok 3 LLM de próxima generación se basará en modelos anteriores.
Aparte de todo esto, Elon Musk también anunció anteriormente que planea comprar aceleradores para IA Blackwell B200 de NVIDIA para su startup xAI, valorados en unos 9.000 millones de dólares. Para poner esto en perspectiva, las 100.000 H100 para Grok 3 tienen un valor de unos 3.000 millones, y son solo para su entrenamiento.