Голосовой AI-ассистент: Whisper + LLM + TTS на своём сервере

from faster_whisper import WhisperModel

# Загружаем модель один раз при старте
model = WhisperModel(
    "large-v3-turbo",
    device="cuda",          # или "cpu", или "mps" (Apple Silicon)
    compute_type="float16"  # int8 для CPU, float16 для GPU
)

def transcribe(audio_path: str) -> str:
    segments, info = model.transcribe(
        audio_path,
        language="ru",      # явно указываем язык для скорости
        beam_size=5,
        vad_filter=True     # фильтр тишины — важно для реального применения
    )
    return " ".join(segment.text for segment in segments)

# Установка (Linux/macOS)
curl -fsSL https://ollama.com/install.sh | sh

# Скачать и запустить модель
ollama pull llama4:scout      # Llama 4 Scout — 17B MoE, ~8 ГБ VRAM
ollama pull qwen3:14b         # Qwen3 14B — отличный русский язык
ollama pull gemma3:12b        # Gemma 3 12B — сбалансированный вариант

import requests

OLLAMA_URL = "http://localhost:11434/api/generate"

def ask_llm(prompt: str, system: str = "") -> str:
    payload = {
        "model": "qwen3:7b",
        "prompt": prompt,
        "system": system or "Ты голосовой помощник. Отвечай кратко и по делу — твой ответ будет озвучен. Избегай списков, скобок и специальных символов.",
        "stream": False,
        "options": {
            "temperature": 0.7,
            "num_predict": 256  # ограничиваем длину для TTS
        }
    }
    response = requests.post(OLLAMA_URL, json=payload)
    return response.json()["response"]

# Пример с Kokoro (через kokoro-onnx)
from kokoro_onnx import Kokoro
import sounddevice as sd

kokoro = Kokoro("kokoro-v1.0.onnx", "voices.bin")

def speak(text: str, voice: str = "af_bella"):
    samples, sample_rate = kokoro.create(
        text,
        voice=voice,
        speed=1.0,
        lang="en-us"  # для русского: используйте Piper с ru-моделью
    )
    sd.play(samples, sample_rate)
    sd.wait()

# Пример с Piper (через subprocess — самый простой способ)
import subprocess
import tempfile
import sounddevice as sd
import soundfile as sf

def speak_piper(text: str):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        output_path = f.name

    subprocess.run([
        "piper",
        "--model", "ru_RU-ruslan-medium.onnx",
        "--output_file", output_path
    ], input=text.encode(), check=True)

    data, samplerate = sf.read(output_path)
    sd.play(data, samplerate)
    sd.wait()

import sounddevice as sd
import soundfile as sf
import numpy as np
import tempfile
import time
from faster_whisper import WhisperModel
import requests
import subprocess

# --- Инициализация ---
stt_model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")

SYSTEM_PROMPT = """Ты голосовой помощник Уча. Отвечай на русском языке кратко 
и естественно — как в живом разговоре. Без списков и разметки."""

def record_audio(duration: int = 5, sample_rate: int = 16000) -> str:
    """Запись с микрофона в временный WAV-файл"""
    print("🎤 Слушаю...")
    audio = sd.rec(int(duration * sample_rate), samplerate=sample_rate, 
                   channels=1, dtype="float32")
    sd.wait()
    
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        sf.write(f.name, audio, sample_rate)
        return f.name

def transcribe(audio_path: str) -> str:
    segments, _ = stt_model.transcribe(
        audio_path, language="ru", beam_size=5, vad_filter=True
    )
    return " ".join(s.text for s in segments).strip()

def ask_llm(text: str) -> str:
    resp = requests.post("http://localhost:11434/api/generate", json={
        "model": "qwen3:7b",
        "prompt": text,
        "system": SYSTEM_PROMPT,
        "stream": False,
        "options": {"temperature": 0.7, "num_predict": 200}
    })
    return resp.json()["response"]

def speak(text: str):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        subprocess.run(["piper", "--model", "ru_RU-ruslan-medium.onnx",
                        "--output_file", f.name], input=text.encode(), check=True)
        data, sr = sf.read(f.name)
        sd.play(data, sr)
        sd.wait()

# --- Основной цикл ---
print("Голосовой ассистент запущен. Ctrl+C для выхода.")
while True:
    audio_path = record_audio(duration=5)
    user_text = transcribe(audio_path)
    
    if not user_text or len(user_text) < 3:
        continue
        
    print(f"Вы: {user_text}")
    t0 = time.time()
    
    response = ask_llm(user_text)
    print(f"Ассистент: {response}")
    print(f"⏱ Latency: {time.time() - t0:.2f}s")
    
    speak(response)

# Запуск с поддержкой Whisper
docker compose --profile whisper up -d

# Переменные окружения
STT_PROVIDER=whisper
TTS_ENGINE=piper