AI-агенты получили «руки» без скриншотов

31 октября 2026 года Vercel Labs выпустила agent-desktop — open-source CLI и C-библиотеку, которая даёт любому AI-агенту возможность управлять рабочим столом на macOS, Windows и Linux. В отличие от традиционных инструментов computer use, которые полагаются на анализ скриншотов и пиксельные координаты, agent-desktop читает дерево доступности операционной системы. Крис Тейт, создавший agent-browser от Vercel, анонсировал инструмент 31 октября, описав его как «agent-browser для всего компьютера».

Как это работает

Инструмент читает дерево доступности (accessibility tree) десктопного приложения и возвращает его в виде JSON, где каждому интерактивному элементу присвоен уникальный ref. Агент кликает или вводит текст по ref, снова считывает интерфейс для проверки результата, и повторяет цикл. При этом логика цикла живёт в самом агенте — внутри agent-desktop нет никакой модели.

Оба варианта использования — CLI и C-библиотека — проходят через agent-desktop-core и трейт PlatformAdapter к платформенному крейту, который на macOS читает целевое приложение через AX API, на Windows — через UI Automation, на Linux — через AT-SPI.

ℹ Что такое accessibility tree?
Дерево доступности (accessibility tree) — структура данных, которую операционная система предоставляет программам-скринридерам. Оно описывает роли, состояния и имена всех элементов интерфейса без обращения к пикселям экрана.

Цикл работы агента с agent-desktop выглядит следующим образом:


sequenceDiagram
    participant Agent as AI-агент
    participant CLI as agent-desktop CLI
    participant OS as ОС (AX / UIA / AT-SPI)

    Agent->>CLI: snapshot --app Finder -i
    CLI->>OS: читает дерево доступности
    OS-->>CLI: дерево элементов с ref
    CLI-->>Agent: JSON с ref для каждого элемента
    Agent->>CLI: click @s8f3k2p9:e8
    CLI->>OS: выполняет действие по ref
    OS-->>CLI: результат
    CLI-->>Agent: JSON-ответ
    Agent->>CLI: snapshot (проверка результата)

Установка и быстрый старт

Установить agent-desktop можно через npm, Homebrew или скачать нативный бинарник:

# Установка через npm
npm install -g agent-desktop

# Проверка статуса платформы и прав
agent-desktop status
agent-desktop permissions --guide

# Снимок интерактивных элементов приложения
agent-desktop snapshot --app Finder -i

# Клик по элементу через ref
agent-desktop click @s8f3k2p9:e8

# Повторный снимок для проверки результата
agent-desktop snapshot --app Finder -i
⚠ Безопасность
Снимки, содержимое буфера обмена, скриншоты и отладочные артефакты могут содержать приватные данные рабочего стола. Не передавайте их в публичные логи и не выгружайте в открытые хранилища.

Поддерживаемые платформы

ПлатформаТребованияAccessibility API
macOSmacOS 13+, Intel или Apple SiliconAX API
WindowsWindows 10 1809+, x64 или ARM64UI Automation
LinuxUbuntu 24.04+, x86_64 или aarch64, X11/WaylandAT-SPI

MCP и интеграция с агентами

agent-desktop поддерживает протокол MCP (Model Context Protocol): команда agent-desktop mcp запускает сервер, который предоставляет каждую команду как MCP-инструмент через stdio. Инструменты называются по образцу команд: desktop_snapshot, desktop_click, desktop_session_start.

Для интеграции с агентским харнессом достаточно одной команды:

npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop

Или добавить в AGENTS.md проекта соответствующую инструкцию — и агент сам найдёт нужные навыки.

Набор команд

agent-desktop содержит 56 рабочих команд, разбитых по группам:

ГруппаКоманды
Наблюдениеsnapshot, find, get, screenshot, list-surfaces
Действия по refclick, type, set-value, scroll, expand, toggle
Клавиатура и мышьpress, hover, drag, mouse-move, mouse-wheel
Приложения/окнаlaunch, close-app, list-windows, resize-window, minimize
Уведомленияlist-notifications, dismiss-notification
Сессии и системаsession, trace, status, batch, skills
💡 Параллельные агенты
agent-desktop поддерживает мультиагентный режим: несколько агентов могут работать с рабочим столом одновременно через session start --cursor --multi-agent, каждый со своим изолированным курсором.

Почему это важно для индустрии

«Этот релиз — чёткий публичный сигнал о том, что desktop computer use движется от подхода “vision model + синтетическая мышь” к подходу “структурированное дерево доступности + паттерн-инвокация”.»

То же дерево, которое годами использовали программы для людей с ограниченными возможностями, становится источником истины для AI-агентов. Действия по умолчанию выполняются в headless-режиме: они проходят через accessibility API без перемещения указателя и без кражи фокуса; флаг --headed переключает на реальный физический ввод.

Vercel Labs выпустила agent-desktop под лицензией Apache-2.0, что разрешает коммерческое использование, модификацию и распространение без роялти. Инструмент поставляется как единый нативный бинарник с npm-обёрткой и предоставляет C ABI, так что его можно загрузить один раз из Python, Go или Rust вместо того, чтобы форкать процесс при каждом вызове.