Otari: Open-source LLM-шлюз от Mozilla.ai

Что такое Otari и для кого он создан

Mozilla.ai — стартап, основанный Mozilla с целью создания открытой AI-экосистемы — выпустил Otari в июле 2026 года как open-source control plane для эффективной работы с большими языковыми моделями (LLM).

Otari — это OpenAI-совместимый LLM-шлюз, который маршрутизирует запросы к 40+ провайдерам, управляет API-ключами, применяет бюджетные ограничения и фиксирует использование.

Mozilla.ai считает, что разработчики должны иметь возможность строить открытые, гибкие и самостоятельно управляемые AI-системы, — именно с этим принципом создавался Otari.

Для кого: инженерные команды и разработчики, которые используют несколько LLM-провайдеров, хотят централизовать управление ключами и контролировать расходы, не отдавая данные сторонним платформам.

Ключевые возможности

1. Единый эндпоинт для 40+ провайдеров

Шлюз выступает как транслятор протоколов и слой управления, позволяя переключаться между провайдерами — OpenAI, Anthropic, Mistral, Vertex AI и другими — без изменения кода приложения.

2. Виртуальные API-ключи

Виртуальные ключи — хэшированные, именованные, опционально устаревающие — привязаны к конкретному пользователю, так что клиенты никогда не видят реальных учётных данных провайдеров.

3. Управление бюджетами и трекинг расходов

Система поддерживает лимиты расходов на каждого пользователя с настраиваемыми периодами сброса, а также расчёт стоимости в реальном времени по всем провайдерам.

4. Rate limiting и метрики

Настраиваемые ограничения RPM на пользователя экспортируются как метрики Prometheus при достижении лимита.

5. Интеллектуальная маршрутизация и failover

Otari поддерживает локальные политики маршрутизации: failover, взвешенное распределение и «обученный» выбор модели.

6. Встроенные инструменты

Опционально доступны выполнение кода, веб-поиск, MCP (Model Context Protocol), guardrails для инференса и работа с файлами.

7. Три режима работы

Otari работает в трёх режимах: Standalone — управление и инференс с локальным хранилищем; Hosted — мультитенантная плоскость управления, а инференс выполняется в другом месте; Hybrid — инференс с подключённой внешней плоскостью управления, например otari.ai.

docker run --rm -p 8000:8000 \
  -e OTARI_MASTER_KEY=SET_A_MASTER_KEY \
  -e OPENAI_API_KEY=YOUR_OPENAI_KEY \
  -e OTARI_CONFIG_YAML='
default_pricing: true
providers:
  openai:
    api_key: ${OPENAI_API_KEY}
' \
  ghcr.io/mozilla-ai/otari:latest

Архитектура работы

graph LR
    A[Приложение / Агент] -->|OpenAI-совместимый запрос| B[Otari Gateway]
    B -->|Аутентификация + бюджет-проверка| C{Политика маршрутизации}
    C -->|Primary| D[OpenAI]
    C -->|Fallback| E[Anthropic]
    C -->|Weighted| F[Mistral / Vertex AI]
    B -->|Логирование использования| G[(SQLite / PostgreSQL)]
    B -->|Метрики| H[Prometheus]

Otari располагается между приложениями и провайдерами моделей: аутентифицирует запросы, разрешает учётные данные провайдера, проверяет бюджет до отправки и фиксирует использование после выполнения.

Тарифы и цены

Через платформу otari.ai можно подключаться к frontier-моделям без собственных API-ключей провайдеров — расходы списываются с кошелька по прозрачной поцелочной цене.

В Standalone-режиме шлюз использует локальный SQLite или PostgreSQL для хранения пользователей, API-ключей и бюджетов.

Плюсы и минусы

Сравнение с альтернативами

Главный конкурент Otari в open-source сегменте — LiteLLM, а среди managed-решений — Portkey.

LiteLLM по-прежнему остаётся одним из самых простых способов поставить унифицированный OpenAI-style API перед многими провайдерами, управлять виртуальными ключами, отслеживать расходы и балансировать нагрузку. Однако Otari предлагает более сфокусированный и опрятный пользовательский опыт, встроенный sandbox для выполнения кода и прямую связь с платформой Mozilla.ai.

# otari-config.yaml — failover между провайдерами
default_pricing: true
routing:
  fallback_order:
    - openai/gpt-4o
    - anthropic/claude-opus-4
    - mistral/mistral-large

providers:
  openai:
    api_key: ${OPENAI_API_KEY}
  anthropic:
    api_key: ${ANTHROPIC_API_KEY}
  mistral:
    api_key: ${MISTRAL_API_KEY}

Вердикт: кому подойдёт Otari

Otari отлично подойдёт:

• Командам разработки, использующим 3+ LLM-провайдеров и уставшим от ротации ключей
• Компаниям с требованиями к data residency — все ключи и логи остаются на вашем сервере
• DevOps/MLOps-инженерам, строящим AI-инфраструктуру с нуля
• Стартапам, желающим контролировать расходы на LLM до того, как они выйдут из-под контроля

Otari не лучший выбор, если:

• Нужна максимальная широта провайдеров прямо сейчас (LiteLLM покрывает 140+)
• У команды нет ресурсов на поддержку self-hosted инфраструктуры
• Требуется production-ready решение с многолетней историей и большим комьюнити

Рейтинг: 7.5 / 10

Otari — свежий, хорошо продуманный open-source проект от Mozilla.ai с правильными приоритетами: privacy-first, self-hosted, с реальным контролем над расходами. Пока он уступает LiteLLM по ширине поддержки провайдеров и зрелости, но развивается очень активно и уже сегодня является достойной альтернативой для команд, которым важна прозрачность и независимость от вендоров.