Hilos · 3 noticias en 12 días
vercel-labs/agent-desktop explota en GitHub: computer use por árbol de accesibilidad en vez de píxeles (05/11)
- Noticias
- 3
- Briefings
- 3
- Empieza
- Última
-
agent-desktop pasa a Vercel Labs: computer use leyendo el árbol de accesibilidad del sistema operativo en vez de screenshots (30/10)
La v1.0.2, del 30/10 a las 21:17 UTC, mueve el proyecto a la organización vercel-labs, unifica las instrucciones de agente en un solo AGENTS.md y estrena sitio de documentación con la referencia de los 60 comandos. La idea de fondo es la que vale copiar: un CLI en Rust que lee cada app por la API de accesibilidad del SO —AX en macOS, UI Automation en Windows, AT-SPI en Linux— y devuelve elementos con referencias estables entre pasos, así las acciones se pueden reintentar sin que el agente adivine desde una imagen. Para comparar el costo, la documentación de Anthropic pone cada screenshot en unos 1.000 a 1.800 tokens de entrada más unos 4.500 por la definición del toolset. Si estás armando algo que maneje apps nativas, probalo antes de meterle un modelo de visión. Repo · Releases
-
vercel-labs/agent-desktop explota en GitHub: computer use por árbol de accesibilidad en vez de píxeles (05/11)
Es el repo que más estrellas sumó en el día entre los de infraestructura de agentes —unas 2.470, para un total de 11.800— y la idea es la que conviene robar incluso si no se usa la herramienta: en lugar de screenshots y matching de píxeles, consulta el árbol de accesibilidad del sistema operativo y devuelve JSON donde cada elemento accionable tiene un ref; el agente actúa sobre el ref y vuelve a tomar snapshot para verificar. Es un CLI más una librería C con FFI (libagent_desktop_ffi) para llamarla en proceso, Apache 2.0, con unos 56 comandos entre observación, acciones sobre refs, teclado y mouse, manejo de apps y ventanas, notificaciones, clipboard y sesiones. Todo comando devuelve un sobre único con ok más data o error, y es headless por defecto: las acciones sobre refs no mueven el puntero ni roban foco, y hay un flag global --headed para input físico de verdad. Corre en macOS, Windows y Linux en x64 y ARM64 con soporte desparejo —Linux necesita sesión gráfica con at-spi2-core—, se instala con npm install -g agent-desktop, y en macOS hay que darle permiso de Accesibilidad con agent-desktop permissions --guide. Trae documentación para agentes incorporada en agent-desktop skills get desktop. En el mismo listado del día, NVIDIA/auto-ontology —la capa semántica que aterriza el SQL de los agentes sobre metadata de bases— sumó otras 2.050 estrellas. GitHub · agents-radar
-
agent-browser: Vercel libera un CLI de automatización de navegador pensado para agentes y suma unas 780 estrellas en el día (11/11)
La diferencia con browser-use o Playwright crudo es el envoltorio: viene como agent skill, con un SKILL.md listo para enganchar, así que el agente no necesita que alguien le escriba el scaffolding de navegación. Entra a trending el mismo día que la categoría de skills explota en GitHub —anthropics/skills sumó unas 1.680 estrellas, mattpocock/skills unas 1.225 y addyosmani/agent-skills anda por 465—, lo que da una pista bastante clara de dónde está poniendo el esfuerzo la comunidad esta semana: no en modelos nuevos sino en empaquetar conocimiento operativo en un formato que los agentes lean solos. Para alguien que mantiene agentes de coding, la combinación de este repo con las guías de Chrome del primer ítem es una tarde de trabajo con retorno medible. GitHub · agents-radar
El hilo se arma solo en cada build: junta noticias de días distintos que nombran a la misma entidad y repiten vocabulario que casi no aparece en el resto del archivo. Nadie lo edita a mano, así que puede dejar afuera una noticia o sumar una de al lado.