Локальный AI-сервер без боли: ODS разворачивает всё за вас

Osmantic Deployment System (ODS) — это инструмент, который превращает разворачивание локального AI-стека в одну команду, автоматически устанавливая и связывая всё необходимое для запуска полноценного AI-сервера на обычном компьютере, домашнем сервере или рабочей станции. Вместо часов чтения документации ODS сам определяет железо, скачивает подходящую модель, запускает инференс, поднимает интерфейс чата и отдаёт полный AI-стек — всё из единого инсталлятора. Текущий стабильный релиз — v2.6.0.

Что входит в стек

ODS объединяет: локальный инференс моделей, ChatGPT-подобный веб-интерфейс, панель управления для контроля GPU и сервисов, голосовые агенты и воркфлоу-автоматизации, RAG (Retrieval-Augmented Generation) с поиском по локальным документам, генерацию изображений без отправки промптов во внешние API, а также инструменты приватности и наблюдаемости — всё в одном локальном стеке.

ODS — это self-hosted AI-платформа, построенная вокруг 24 сервисных манифестов, Docker Compose-сервисов и нескольких host-managed помощников с поддержкой NVIDIA, AMD, Apple Silicon, Intel Arc и CPU/cloud fallback.

ℹ Быстрый старт
После установки достаточно открыть http://localhost:3000 — и можно начинать общение с моделью прямо из браузера.

Как установить

Для Linux и macOS — одна строка в терминале:

curl -fsSL https://install.osmantic.com/ods.sh | bash

Достаточно скопировать блок под свою систему и запустить в обычном терминале — ODS установит стек, выберет модель под ваше железо, стартует сервисы и откроет локальный веб-интерфейс.

⚠ Требования
Обязательное условие — установленный и запущенный Docker. На Windows нужен Docker Desktop с бэкендом WSL2. Команду curl | bash из PowerShell запускать не следует — для Windows есть отдельный PowerShell-инсталлятор.

По умолчанию ODS использует bootstrap-режим: сразу стартует с компактной моделью 1.5B (загружается менее чем за минуту), и уже через 2 минуты после запуска инсталлятора можно начать общение.

Поддерживаемые платформы

ПлатформаGPUСтатус
LinuxNVIDIA, AMD, Intel Arc✅ Поддерживается
WindowsNVIDIA, AMD✅ Поддерживается
macOS (Apple Silicon M1+)Metal GPU✅ Поддерживается

На macOS инсталлятор определяет чип, выбирает подходящую модель под объём unified memory, запускает llama-server нативно с Metal-ускорением, а все остальные сервисы поднимает в Docker.

Протестированные Linux-дистрибутивы: Ubuntu 24.04/22.04, Debian 12, Linux Mint 21.3, Fedora 41+, Rocky Linux 9, Arch Linux, Manjaro, CachyOS и openSUSE Tumbleweed.

Архитектура ODS


graph LR
    A[Инсталлятор] --> B[Определение железа]
    B --> C[Выбор модели]
    C --> D[llama-server / Ollama]
    D --> E[Open WebUI :3000]
    D --> F[Dashboard :3001]
    D --> G[n8n Workflows]
    D --> H[ComfyUI Images]
    D --> I[RAG / Search]
    D --> J[Voice Agents]

Архитектура построена на layered compose-модели: базовый compose-файл определяет ключевые сервисы, GPU-specific overlays настраивают аппаратное ускорение, а дополнительные compose-файлы подключают опциональные сервисы.

Что нового в v2.6.0

ODS 2.6.0 обновляет стабильную ветку: добавлена поддержка удалённых провайдеров, Model Switchboard с выбором контекста, откат GPU-переназначения, исправление rootless Linux, фиксы для Windows/macOS native-runtime, улучшения дашборда и ужесточение безопасности.

Ключевые изменения:

  • Поддержка remote provider через прямое подключение и SSH, туннельный надзор, а также стабильная маршрутизация Model Switchboard с верифицированной передачей контекста между LLM-приложениями.
  • Верифицированное переназначение NVIDIA и Linux AMD/ROCm GPU с поддержкой отката, а также исправление bind-mount ownership для rootless Docker на Linux.
  • Метрики llama-server и флаги reasoning для Windows native, плюс более безопасная обработка stale-PID в Lemonade.
💡 Нет GPU?

ODS работает и в cloud-режиме — тот же полный стек, но инференс идёт через API OpenAI/Anthropic/Together:

./install.sh --cloud

Сравнение с аналогами

Если вы знаете…ODS добавляет…
Ollama / llama.cppЧат, дашборд, голос, RAG, воркфлоу, агенты, управление сервисами
Open WebUIПолный инсталлятор и control plane вокруг Open WebUI с локальными сервисами
AnythingLLMИнференс, чат, голос, воркфлоу, генерацию изображений и ops
n8n self-hosted AIАвтоматизация воркфлоу как часть большого приватного AI-сервера

Признание сообщества и лицензия

ODS получил признание в сообществе локального AI: стал AMD Featured Developer, победил в AMD Lemonade Developer Challenge (май 2026) и был представлен на (Co)nnect: Philly’s AI Ecosystem Summit в Pennovation Works.

ODS объединяет полный стек локального AI в одном open-source решении: инференс, чат, агенты, воркфлоу, RAG, поиск, генерацию изображений, инструменты приватности и управление сервисами — и пользуется доверием тысяч пользователей.

«Владеть интеллектом, а не арендовать его» — именно такой принцип лежит в основе ODS.

Проект выпущен под лицензией Apache 2.0 — его можно использовать, модифицировать и встраивать в собственные решения. Исходный код доступен на GitHub.

📝 Конфигурация портов

Порты можно менять через переменные окружения:

WEBUI_PORT=9090 ./install.sh

Полный список переменных — в файле .env.example репозитория.