Первая речевая модель без единого слова текста

Компания Block Джека Дорси представила Dessa — новую голосовую AI-модель, обученную исключительно на записях человеческих разговоров, а не на письменных текстах. Dessa работает в режиме full-duplex (полный дуплекс): она одновременно слушает и говорит, умеет перебивать и вставлять реплики в естественном темпе, и при этом работает быстрее реального времени. Руководитель проекта Рагаван Тураиратнам назвал это «GPT-3 моментом для голоса».

Как устроена Dessa

Dessa обучена с нуля исключительно на человеческих разговорах — без текста и без предобученных моделей. Она научилась вести беседу в реальном времени просто слушая. По заявлению команды, это первый в мире ИИ, с которым можно реалистично разговаривать вживую, обученный только на речи.

Такой подход позволяет Dessa распознавать смех, сарказм, смену тона и эмоциональные сигналы, которые теряются при конвертации речи в текст.

ℹ Техническая деталь
Full-duplex — режим двусторонней связи, при котором передача и приём происходят одновременно. В контексте голосового ИИ это значит, что модель не ждёт, пока вы договорите, а реагирует в реальном времени, как в живом диалоге.

По данным Block, модель обучена на единственном кластере NVIDIA GB200 NVL72 и использовала в сотни раз меньше слов, чем обычные языковые модели. При этом Dessa способна работать локально на MacBook Pro с чипом Apple M4 Max или более мощном устройстве — без облачной инфраструктуры.

Демо: разговоры с «неловким другом»

В одном из показательных диалогов, которым поделился руководитель проекта Рагаван Тураиратнам, модель и человек ведут вполне естественный разговор — хотя сначала Dessa ошибочно принимает собеседника за некоего «Роналдо».

Другие примеры на сайте Dessa включают дискуссию о фильмах Кристофера Нолана (с неожиданным отступлением о картинах Брайана Сингера про Супермена), а также реакцию модели на рассказ о поездке в Париж — сайт описывает её ответ как «звучащую со слезами благодарность».

Команда также опубликовала запись голосовой игры в угадайку и разговора Dessa с голосовой моделью GPT-Live-1 от OpenAI — в этом диалоге Dessa звучит более естественно.

📝 Реакции сообщества
Ранние слушатели отмечают, что модель понимает темп, эмоции, смех и паузы. Один из них назвал это «самым настоящим голосом ИИ из всех, что он слышал».

Зачем Block это сделала

Команда Dessa назвала три причины создания модели:

ПричинаСуть
Curiosity (любопытство)Можно ли обучить модель говорить, не видя ни одного слова — как ребёнок? Оказалось, да. Но это очень сложно.
Понимание между людьми и ИИРечь — самый естественный интерфейс для любого интеллекта. Современный голосовой ИИ «уплощает» её до текста и не успевает за человеческим темпом.
БезопасностьBlock указала на ситуации, когда человек испытывает сильную боль, а ИИ-система не замечает его страдания. Dess-подход помогает интерпретировать эмоциональные сигналы напрямую из голоса.

«Дети учатся говорить, никогда не видя написанного слова. Мы хотели проверить, сможет ли модель — тоже. Смогла. Просто это очень трудно.» — команда Dessa, block.xyz


graph TD
    A[Записи человеческих разговоров] --> B[Обучение с нуля\nбез текста и претренинга]
    B --> C[Dessa: full-duplex модель]
    C --> D[Понимает эмоции,\nпаузы, смех]
    C --> E[Работает локально\nна MacBook Pro M4 Max]
    C --> F[Ранний доступ\nдля AI-safety исследователей]

Кто стоит за проектом

Dessa создана очень небольшой AI-исследовательской лабораторией внутри Block, основанной бывшими участниками одноимённого торонтского стартапа по глубокому обучению и подчиняющейся напрямую Джеку Дорси. Команда разрабатывает модели глубокого обучения с 2012 года и занимается генеративными голосовыми моделями уже более восьми лет.

Доступ и планы

Модель, обучившаяся говорить только по звуку, — это новая территория, и команда хочет взглядов со стороны. Block планирует дать небольшой группе исследователей в области безопасности ИИ ранний доступ, чтобы найти риски, которые сами разработчики не предусмотрели.

Компания пока не раскрыла дату широкого релиза, веса модели или подробные бенчмарки производительности. Один из членов команды упомянул, что скоро появится приложение.

⚠ Осторожно: не всё проверено
Block не опубликовала стандартных бенчмарков, и независимой оценки модели пока нет. Демо — это тщательно отобранные записи, а не систематические тесты. Часть заявленных характеристик (например, параметры обучения) официально не подтверждена.

Что это значит для отрасли

Десса бросает прямой вызов подходу, который используют OpenAI, Google и другие: конвертировать речь в текст, обрабатывать его языковой моделью и синтезировать обратно в голос. Такая цепочка неизбежно теряет интонацию, паузы и эмоциональный контекст.

Eсли заявления Block подтвердятся независимыми исследователями, Dessa может стать отправной точкой нового поколения голосовых ИИ — более человечных, более чувствительных к контексту и потенциально более безопасных в ситуациях, где эмоции пользователя критически важны.