HuggingFace Speech-to-Speech: стройте голосового ИИ-агента прямо у себя на сервере

«Полностью открытая и модульная альтернатива GPT-4o Voice Mode — без привязки к одному вендору и без утечки аудиоданных в облако.»

Что это такое и для кого

HuggingFace Speech-to-Speech — это низколатентный, полностью модульный пайплайн для голосовых агентов: VAD → STT → LLM → TTS, экспонируемый через OpenAI Realtime-совместимый WebSocket API. Проект использует библиотеку Transformers и интегрирует несколько open-source моделей в единый речевой конвейер.

Совместный проект HuggingFace и Cerebras был открыт 1 июля 2026 года: он объединяет Parakeet от NVIDIA для распознавания речи, Gemma 4 31B от Google DeepMind на железе Cerebras для генерации ответов и Qwen3-TTS от Alibaba для синтеза голоса.

Кому подойдёт:

• Разработчикам голосовых ассистентов и чат-ботов
• Командам, строящим роботизированные системы (стек уже обеспечивает работу более 9 000 роботов Reachy Mini в production)
• Компаниям, которым важна приватность данных и работа без облака
• Исследователям, экспериментирующим с мультиязычными речевыми пайплайнами

Архитектура пайплайна

Пайплайн состоит из четырёх компонентов, каждый из которых работает в отдельном потоке и связан очередями: Voice Activity Detection (VAD) — Silero VAD v5 определяет границы речи и смену реплик; Speech to Text (STT) — транскрибирует реплику пользователя; Language Model (LLM) — генерирует ответ, стримит текст и вызовы инструментов; Text to Speech (TTS) — синтезирует аудио и стримит его обратно клиенту.

graph LR
    A[🎙️ Микрофон] --> B[VAD\nSilero v5]
    B --> C[STT\nParakeet / Whisper]
    C --> D[LLM\nGemma 4 / Qwen / любой OpenAI-совместимый]
    D --> E[TTS\nQwen3-TTS / Kokoro / ChatTTS]
    E --> F[🔊 Аудиовывод]
    style A fill:#4f8ef7,color:#fff
    style F fill:#4CAF50,color:#fff

LLM-слот поддерживает OpenAI-совместимые протоколы, так что можно подключить как хостируемого провайдера, так и HF Inference Providers, или vLLM/llama.cpp-сервер на собственном железе — для полностью локального и полностью открытого стека.

Ключевые возможности

1. Полная модульность — меняй любой компонент

Каждый компонент заменяемый. Каждый этап имеет несколько взаимозаменяемых бэкендов, выбираемых через CLI-флаги.

Доступные модели по слотам:

2. OpenAI Realtime-совместимый WebSocket API

Если вы строите приложение или устройство на основе стандартного голосового API — любой OpenAI Realtime-совместимый клиент может подключиться прямо к этому серверу. Это означает совместимость с существующими инструментами без переписывания кода.

3. Клонирование голоса

Pocket TTS от Kyutai Labs предоставляет потоковый TTS с клонированием голоса: доступны голосовые пресеты (alba, marius, jean, fantine и др.), а также пользовательские голосовые файлы и пути HuggingFace.

4. Мультиязычность

Поддерживаются английский, французский, испанский, китайский, японский и корейский языки. Можно запускать пайплайн в однояязычном режиме или с флагом auto для автоматического определения языка.

5. Несколько режимов деплоя

Параметр --mode поддерживает следующие значения: realtime (по умолчанию), local, socket или websocket.

6. Рекордная скорость при использовании с Cerebras

По данным Cerebras, Gemma 4 31B работает со скоростью 1 851 токен/с на их чипах — примерно в 35 раз быстрее типичного GPU-эндпоинта, устраняя многосекундные паузы, которые делают разговорный AI ненадёжным.

Быстрый старт

Установка (1 команда)

pip install speech-to-speech
export OPENAI_API_KEY=...
speech-to-speech

Это запустит OpenAI Realtime-совместимый сервер на ws://localhost:8765/v1/realtime, используя Parakeet TDT для локального STT, OpenAI-совместимую LLM и Qwen3-TTS для локального синтеза речи.

Полностью локальный запуск с llama.cpp

# Терминал 1: запускаем llama.cpp с Gemma 4
llama-server -hf ggml-org/gemma-4-E4B-it-GGUF -np 2 -c 65536 -fa on --swa-full

# Терминал 2: speech-to-speech на локальной LLM
speech-to-speech \
  --mode realtime \
  --stt parakeet-tdt \
  --llm_backend responses-api \
  --tts qwen3 \
  --model_name "ggml-org/gemma-4-E4B-it-GGUF" \
  --responses_api_base_url "http://127.0.0.1:8080/v1" \
  --responses_api_api_key ""

Пример с облачным провайдером (Together AI)

speech-to-speech \
  --mode local \
  --stt parakeet-tdt \
  --llm_backend responses-api \
  --tts qwen3 \
  --model_name "Qwen/Qwen3.5-9B:together" \
  --responses_api_base_url "https://router.huggingface.co/v1" \
  --responses_api_api_key "$HF_TOKEN" \
  --enable_live_transcription

Тарифы и цены

Speech-to-speech — полностью бесплатный open-source проект (Apache 2.0). Никаких подписок нет.

Потенциальные затраты возникают только при использовании внешних провайдеров:

Плюсы и минусы

Сравнение с альтернативами

OpenAI Realtime привязывает вас к моделям OpenAI — нет возможности замены LLM, TTS или STT. HuggingFace Speech-to-Speech устраняет этот vendor lock-in полностью.

Команды, строящие голосовые агенты или продукты для робототехники, могут использовать этот проект как эталонную архитектуру для оценки собственного бюджета задержек — вместо того чтобы сравнивать себя с черным ящиком закрытого API.

Реальные сценарии применения

Вердикт

HuggingFace Speech-to-Speech — это наиболее зрелое open-source решение для построения голосовых агентов корпоративного уровня без привязки к облачным провайдерам.

Для практиков это конкретная, воспроизводимая эталонная архитектура для голосовых агентов и воплощённого AI, не требующая привязки к моделям или инфраструктуре одного вендора.

Кому однозначно подойдёт:

• Разработчикам, строящим приватные локальные голосовые решения
• Командам, которым нужна гибкость замены моделей на каждом этапе
• Компаниям с требованиями к data residency (GDPR, HIPAA)
• Исследователям и робототехникам

Кому лучше выбрать альтернативу:

• Если нужен быстрый старт без настройки и минимальная задержка — рассмотрите OpenAI Realtime API
• Если нужен готовый телефонный агент — Vapi или Retell

Рейтинг: 8.5 / 10