- Como usar ChatGPT para comprobar el estado de salud de tu PC
- NVIDIA RTX Spark se dispara: más IA, agentes inteligentes y juegos con DLSS 4.5
- Microsoft quiere alquilar tu tarjeta gráfica para entrenar IA y pagarte por ello
Todos usamos ChatGPT y otras IAs cuando necesitamos consultar algo, sin embargo, necesitamos internet, tienen límites y no siempre nos gusta dejar rastro de preguntas personales en la red, por lo que tener una propia podría ser lo que muchos están buscando.
Es por ello que, en el día de hoy, veremos cómo ejecutar un modelo de lenguaje (LLM) de forma local y privada en nuestros ordenadores, sin necesidad de recurrir a una externa, pese a que dependerá de la potencia del PC, lo rápida y eficiente que podrá ser.
Cómo montar un LLM en nuestro ordenador
Para ejecutar localmente un modelo de lenguaje no hace falta ser un experto en inteligencia artificial, ni tener un ordenador especialmente potente. Hay herramientas como LM Studio u Ollama que harán todo prácticamente solas, ya que permiten descargar modelos y usarlos directamente en nuestro equipo sin tener que configurar todo de cero.
Una de las opciones más sencillas para iniciar es LM Studio. Una vez instalada la app, podemos buscar entre los modelos compatibles, descargarlos y ejecutarlos desde una interfaz gráfica similar a un chatbot de los que estamos acostumbrados. Modelos como Llama, Mistral, Gemma o Qwen tienen distintas versiones y tamaños, por lo que tendremos que escoger uno que se ajuste a la memoria y potencia de nuestro ordenador, ya que no todos funcionarán igual.
Y es que es un punto muy importante, ya que a mayor tamaño del modelo, mejor hardware tendremos que tener. Un equipo con 16 GB de RAM puede ejecutar algunos modelos pequeños, pero otros más grandes pueden requerir bastante más memoria y, preferiblemente, una GPU con suficiente VRAM. Lo primero que se debe hacer es probar con un modelo relativamente pequeño y comprobar su velocidad antes de irnos a por otro mejor.
Otra opción es Ollama, que resulta muy interesante para aquellas personas que prefieran usar la terminal, o bien integrar la IA local con otras aplicaciones. Una vez instalado podemos descargar un modelo con un comando sencillo y comenzar a conversar con él desde nuestro ordenador. Ollama también permite conectar fácilmente estos modelos con distintas herramientas o proyectos.
La principal ventaja de ambas opciones es que, una vez descargado el modelo, las consultas pueden procesarse localmente, sin necesidad de enviarlas a un servidor externo. Esto resulta de especial interés si vamos a trabajar con documentos privados, información personal o simplemente queremos experimentar con IA sin depender de una conexión a internet, ya que puede que no siempre la tengamos.
Pero que el modelo funcione localmente no significa que sea el mismo que ChatGPT u otros servicios en la nube. Los modelos más pequeños pueden dar respuestas menos precisas y la velocidad está directamente ligada al hardware disponible. A cambio, tendremos más control sobre nuestros datos y podremos utilizar nuestra IA incluso sin conexión a internet. Sin embargo, muchos acaban optando de nuevo por opciones online y externas, ya que al final serán mejores que nuestro propio ordenador, pese a que perdamos algunas de las ventajas por las que puede que, en su momento, nos decidiésemos a instalar.