La mayoría de usuarios usan las IA que podemos encontrar de forma online, como ChatGPT, Gemini, Grok, etc. Sin embargo, también existe la opción de ejecutarla en local, es decir, en nuestro propio equipo, pero, ¿qué hardware me hace falta para que funcione bien?
En el día de hoy veremos los componentes mínimos que tendríamos que comprar para poder usar la IA de una forma decente, con tiempos de espera aceptables y que consiga realizar lo que le pedimos, ya que, aunque parezca que no necesitan tanto, ya veremos cómo sí.
Que necesito para usar IA en local
Lo primero que hay que saber es que el hardware que necesitas depende directamente del modelo que quieras utilizar. No es lo mismo ejecutar una IA pequeña que una mucho más avanzada. Cuanto mayor sea el modelo, más memoria necesitará y más trabajo tendrá que hacer tu ordenador para generar cada respuesta, algo que es lógico, como en cualquier categoría.
Si simplemente quieres probar una IA en local o usarla para tareas del día a día, como hacer preguntas, resumir textos, traducir documentos o ayudarte a programar, los modelos de 7B son una opción muy recomendable. Hoy en día funcionan sorprendentemente bien y no hace falta tener un PC de gama alta para moverlos. Con una tarjeta gráfica de 8 GB de VRAM y 16 GB de memoria RAM ya podrás obtener una experiencia bastante buena.
Cuando empiezas a utilizar modelos más grandes, de 14B por ejemplo, ya hablamos de que es posible que necesites contar con un poco más de potencia. No solo necesitarás una gráfica con más memoria, sino también más RAM para que todo funcione con fluidez. Lo ideal en estos casos es disponer de una GPU con 12 o 16 GB de VRAM y unos 32 GB de RAM, especialmente si además tienes otras aplicaciones abiertas mientras utilizas la IA, es decir, un PC gamer de gama alta, algo que ya no es tan barato.
A partir de ahí los requisitos empiezan a crecer bastante rápido. Los modelos de 30B o superiores ya están pensados para equipos mucho más potentes y, en muchos casos, para ordenadores profesionales que no tendremos en nuestras casas. Es posible hacer que funcionen en un PC normal, pero normalmente tendrás que aceptar que las respuestas tarden bastante más en aparecer o recurrir a configuraciones más complejas, algo que, para probar, no está mal, pero para el uso del día a día es demasiado tedioso tener que esperar tanto entre mensaje y mensaje.
También hay otro tema que muchas veces pasa desapercibido, y es el almacenamiento. Los modelos ocupan bastante espacio, y algunos pueden superar fácilmente varias decenas de gigabytes. Por eso es muy recomendable instalarlos en un SSD. Si utilizas un disco duro mecánico, irá todo más lento, aunque en ciertos modelos es posible que no nos quede otra, ya que los HDD son más económicos.
En cuanto al procesador, no hace falta comprar el más caro del mercado. Si vas a utilizar una tarjeta gráfica para ejecutar la IA, que es lo habitual, la mayor parte del trabajo recaerá sobre ella. Un procesador de gama media relativamente moderno será suficiente para la mayoría de usuarios, ya que, como decíamos, no influye directamente en el uso de inteligencias locales.
En resumen, deberemos elegir un modelo que se adapte a nuestro ordenador, y no al revés, salvo que necesitemos cierto modelo y queramos comprar el hardware necesario para moverlo. Muchas veces merece más la pena utilizar una IA algo más pequeña que responde en pocos segundos que intentar ejecutar un modelo enorme que tarde medio minuto en generar cada respuesta, aunque dependerá de cada uno.