Si utilizas habitualmente una Inteligencia Artificial para analizar textos, estudiar, crear contenido o para cualquier otro fin a través de una única conversación, llega un momento en el que la IA empieza a perder el hilo, a ignorar determinada información que le hemos facilitado o que nos ha respondido previamente.
Lo primero que nos puede venir a la cabeza es que se trata de un problema con la IA o simplemente de un fallo aleatorio, pero no es así. Para sacarle el máximo a una Inteligencia Artificial, ya sea ChatGPT, Gemini, Claude o cualquier otra, especialmente para peticiones que nos llegan mucho tiempo hasta dar con el objetivo que estamos buscando, es necesario entender cómo funciona su mente que se basa en tres pilares:
- Tokens
- Ventana de contexto
- Mecanismos de memoria
Token: la moneda que utiliza la IA
Una IA no lee palabras completas como nosotros, ni caracteres individuales. Lee tokens. Un token es la unidad básica de procesamiento textual de un LLM (Modelo de Lenguaje Grande). Puede ser una palabra entera, una sílaba o, en idiomas como el español (donde hay más flexión de género y número), fragmentos de palabras. Para el español, podemos utilizar la siguiente tabla de equivalencias
- 1 token equivale a unos 4 caracteres
- 100 palabras equivalen a unos 130/140 caracteres
Cada vez que escribes un prompt, la IA fragmenta tu texto en tokens para poder calcular estadísticamente qué tokens deberían ir después (su respuesta). El problema es que procesar cada uno de estos fragmentos cuesta potencia de cálculo (cómputo) y memoria RAM en los servidores. Por este motivo, todo modelo tiene un límite de cuántos puede manejar a la vez.
Ventana de contexto: la cantidad de datos que es capaz de procesar
Para entender fácilmente qué es la ventana de contexto de una IA, debemos imaginarnos una mesa de trabajo. Es la cantidad máxima de tokens que el modelo puede «tener en mente» en un único instante al generar su siguiente respuesta, es decir, toda la información que puede tener sobre la mesa de trabajo de forma ordenada.
Es importante señalar que tanto los prompts como las respuestas, consumen tokens. Conforme seguimos haciendo preguntas para obtener nuevas respuestas sobre un mismo tema, se van utilizando tokens.
[Mensaje Inicial] + [Respuesta 1] + [Tu feedback] + [Respuesta 2] + [Nuevo feedback] + [Respuesta 3] + … = Ventana de contexto
¿Por qué parece la IA «olvida» contenido?
Aquí es donde tenemos que hablar del número de tokens que es capaz de ofrecer una IA. Si un modelo tiene una ventana de contexto de, por ejemplo, 50.000 tokens, y nuestra conversación alcanza los 50.001 tokens, el sistema tiene que tomar una decisión arquitectónica para no colapsar, olvidando el contenido más antiguo, es decir, el principio de la conversación y lo que se denomina FIFO (First In, First Out).
Continuando con el ejemplo de la mesa de trabajo, por esto, la IA olvida lo que le pedimos al principio o ignora las limitaciones / observaciones que hemos establecido en el primer mensaje. Simplemente, ya no existen en su mesa de trabajo.
Memoria, no confundir con la ventana de contexto
Es importante no confundir los términos memoria a largo plazo con ventana de contexto.
- Ventana de contexto: Es volátil, como la RAM. Es lo que el modelo retiene de forma activa dentro de ese chat específico. Si abres un chat nuevo, esa ventana vuelve a estar completamente vacía, lo que permite todos los tokens que la IA nos ofrezca.
- Memoria a largo plazo / Personalización: Algunos modelos modernos cuentan con una capa de memoria transversal. Son bases de datos vectoriales que guardan datos clave sobre ti (tu estilo de escritura, tu profesión o tus preferencias) de manera fija. Esta información se inyecta de forma invisible en la ventana de contexto de cada nuevo chat para que no tengas que repetir quién eres, pero no recuerda el hilo exacto de conversaciones pasadas.
Cómo saltarse el límite de tokens de una IA
Hoy en día contamos con ventanas de contexto gigantescas (algunos modelos alcanzan el millón o los dos millones de tokens, permitiendo procesar libros enteros), pero la gestión eficiente sigue siendo clave para evitar que el modelo se «distraiga» o pierda precisión en la mitad del texto. Si queremos exprimir al máximo los límites de la IA que utilicemos habitualmente, podemos aplicar alguna de las tácticas que os mostramos a continuación:
- Practica el «Prompt Inverted» (Resúmenes periódicos): Si vas por la mitad de una sesión muy larga de trabajo, pídele explícitamente a la IA: «Haz un resumen estructurado con todos los puntos clave, reglas y conclusiones a las que hemos llegado hasta ahora». Copia ese resumen, abre un chat nuevo y pégalo al principio. Habrás vaciado la ventana de contexto, empezando nuevamente de cero con los apartados más importantes, borrando la paja del proceso de debate, quedándote solo con lo esencial en un chat limpio.
- Estrategia «Divide y Vencerás»: Si tienes que analizar un documento de 100 páginas, no se lo lances entero pidiéndole que extraiga conclusiones de todo a la vez. Es mucho más eficiente pedirle que analice el documento por bloques o capítulos y luego analizar los resultados.