/tags/inference-server/Recent content in Inference Server on AI-Uchi — Всё об искусственном интеллектеHugoruThu, 14 May 2026 11:00:00 +0300/tools/omlx-llm-server-apple-silicon-macos/Thu, 14 May 2026 11:00:00 +0300/tools/omlx-llm-server-apple-silicon-macos/<h1 id="omlx-llm-инференс-сервер-для-apple-silicon-с-ssd-кешем-и-управлением-из-меню-macos">oMLX: LLM-инференс сервер для Apple Silicon с SSD-кешем и управлением из меню macOS</h1> <p>oMLX — это LLM-инференс сервер, оптимизированный для Mac: с continuous batching и многоуровневым KV-кешированием, управляемый прямо из меню macOS. Проект выложен на GitHub под лицензией Apache 2.0 и полностью бесплатен.</p> <blockquote> <p>«Every LLM server I tried made me choose between convenience and control» — автор проекта о причинах его создания.</p> </blockquote> <h2 id="что-это-и-для-кого">Что это и для кого</h2> <p>oMLX — это локальный LLM-инференс сервер, специально разработанный для Apple Silicon (M1/M2/M3/M4), достигающий высокой производительности через continuous batching и многоуровневое KV-кеширование.</p>