Claude научился смотреть видео: плагин /watch для Claude Code
Открытый плагин claude-video даёт Claude возможность смотреть YouTube и локальные видео: извлекает кадры, транскрибирует аудио и отвечает на вопросы по содержимому.
Claude получил возможность смотреть видео
Разработчик Brad Bonanno выпустил открытый плагин claude-video, который буквально даёт Claude глаза и уши для видеоконтента. Claude умеет читать веб-страницы, запускать скрипты и работать с репозиториями — но из коробки он не умел смотреть видео. Плагин закрывает эту брешь: достаточно передать URL или путь к файлу и задать вопрос, и Claude проанализирует видео так же, как это сделал бы человек, который его посмотрел.
Репозиторий уже набрал более 3500 звёзд на GitHub — интерес к инструменту очевидный.
Как это работает
После передачи URL плагин скачивает видео, извлекает кадры с автоматически подобранной частотой, получает транскрипт с временными метками (бесплатные субтитры, если доступны, иначе Whisper API в качестве запасного варианта) и передаёт каждый кадр Claude как изображение. К моменту ответа модель уже видела видео и слышала аудио.
graph LR
A[URL или локальный файл] --> B[yt-dlp: загрузка / субтитры]
B --> C{Есть субтитры?}
C -- Да --> D[Транскрипт готов]
C -- Нет --> E[Whisper API: Groq / OpenAI]
E --> D
B --> F[ffmpeg: извлечение кадров]
F --> G[Дедупликация кадров]
G --> H[Кадры + транскрипт → Claude]
D --> H
H --> I[Ответ на вопрос]
Источники видео
Плагин принимает URL любого сайта, который поддерживает yt-dlp (YouTube, Loom, TikTok, X, Instagram и сотни других), а также локальные файлы форматов .mp4, .mov, .mkv, .webm.
Транскрипция
Сначала yt-dlp пытается получить нативные субтитры из источника — это бесплатно и почти мгновенно. Если субтитры недоступны или нужна транскрипция через Whisper, плагин скачивает только то, что нужно для текущего запуска. Субтитры покрывают большинство публичных видео бесплатно, а ключ Whisper API нужен лишь тогда, когда субтитров нет.
Кадровый бюджет
Стоимость токенов определяется прежде всего кадрами: каждый кадр — это изображение, и токены накапливаются быстро. Автоматическая логика подбора fps существует для того, чтобы не тратить весь контекст на разреженное сканирование 30-минутного видео там, где лучше работал бы сфокусированный 30-секундный фрагмент.
| Длительность видео | Кадров по умолчанию | Плотность покрытия |
|---|---|---|
| ≤ 30 сек | ~30 | Почти каждый момент |
| 30 сек – 1 мин | ~40 | Высокая |
| 1 – 3 мин | ~60 | Комфортная |
| 3 – 10 мин | ~80 | Умеренная |
| > 10 мин | 100 (с ограничением) | Разреженная, лучше использовать --start/--end |
Режимы детализации (--detail)
Плагин предлагает три режима извлечения кадров, которые балансируют между скоростью и качеством:
| Режим | Метод | Кадров | Лимит | Токенов (изображения) |
|---|---|---|---|---|
transcript | только субтитры, без загрузки | 0 | — | 0 (~26 600 текст.) |
efficient | ключевые кадры (keyframes) | 50 | 50 | ~9 800 |
balanced | обнаружение смены сцен | 100 | 100 | ~19 700 |
token-burner | смена сцен, без ограничений | 116+ | нет | ~22 800+ |
Если вас интересует конкретный момент видео, используйте флаги --start и --end. Например:
/watch https://youtu.be/abc --start 2:15 --end 2:45
Фокусированный режим даёт более плотный кадровый бюджет и стоит дешевле, чем разреженное сканирование всего видео.
Дедупликация кадров
Одна из нетривиальных деталей — автоматическое удаление дублирующихся кадров. Для каждого кадра вычисляется среднее абсолютное отклонение от последнего сохранённого кадра. Если разница не превышает порог (2.0), кадр считается почти дублем и отбрасывается. Иначе кадр сохраняется и становится новым эталоном. Лимит бюджета применяется уже после дедупликации — так бюджет расходуется на уникальные кадры.
6 selected from 14 candidates (8 near-duplicates dropped).Установка
Для Claude Code плагин устанавливается через маркетплейс двумя командами. Для Codex, Cursor, Copilot, Gemini CLI и других агентов, поддерживающих Agent Skills, используется npx.
# Claude Code (рекомендуется)
/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video
# Codex, Cursor, Copilot, Gemini CLI и 50+ других
npx skills add bradautomates/claude-video -g
Никакой начальной настройки не требуется — yt-dlp и ffmpeg устанавливаются автоматически при первом запуске через brew на macOS (для Linux и Windows выводятся точные команды).
Практические сценарии использования
Claude видел кадры. Claude слышал транскрипт. Он отвечает так, как ответил бы человек, который посмотрел видео.
Вот типичные задачи, которые решает плагин:
- Анализ контента конкурентов —
/watch <URL> what hook did they open with?позволяет Claude изучить первые кадры, прочитать вступительный транскрипт и разобрать структуру. - Диагностика бага по записи экрана — достаточно передать
.mov-файл с воспроизведением бага, и Claude находит кадр, где проблема появляется, и описывает, что происходит на экране. - Конспектирование плейлистов — запуск команды по серии видео создаёт набор конспектов для каждого, превращая целый курс или канал в структурированную базу знаний.
- Удаление маркетингового шума — запрос
what's actually new — skip the hypeпревращает «революционный анонс» в список конкретных изменений.
Контекст: конкуренция в нише видеоанализа для AI-агентов
Claude в 2026 году может анализировать YouTube-видео, но не из коробки: Claude Code и Claude Desktop не имеют нативного доступа к YouTube. При вставке URL модель либо галлюцинирует контент, либо сообщает, что не умеет смотреть видео.
На этом фоне появилось несколько инструментов: форк mathiaschu/watch использует локальный mlx-whisper вместо API, благодаря чему транскрипция работает полностью на устройстве без отправки аудио на внешние серверы и без API-ключей. Также существует плагин TwelveLabs для семантического поиска по видеоиндексу.
bradautomates/claude-video выделяется из этого ряда балансом между простотой установки, нулевой начальной конфигурацией и поддержкой более 50 агентских хостов — от Claude Code до Gemini CLI.