Langfuse: open source платформа для LLM-наблюдаемости

«Langfuse brings observability, prompts, evals, experiments, and human annotation into one connected workflow — so you can move from prototype to production and keep improving with real usage data.»

Langfuse — наиболее широко используемая open source платформа для LLM-инжиниринга. Проект вышел из акселератора Y Combinator (W23) и набрал более 19 000 звёзд на GitHub. А в январе 2026 года произошло важное событие: ClickHouse приобрела Langfuse, одновременно закрыв раунд Series D на $400 млн. Продукт сохранил лицензию MIT и не добавил новых платных ограждений.

Что такое Langfuse и для кого он?

Langfuse — open source LLM engineering platform, которая помогает командам создавать, мониторить и улучшать AI-приложения. Она охватывает полный цикл разработки: трейсинг, управление промптами, оценки и аналитические дашборды — всё в одном месте.

Langfuse — open source платформа LLM-инжиниринга, которая помогает командам совместно разрабатывать, мониторить, оценивать и отлаживать AI-приложения. Развернуть её можно самостоятельно за считаные минуты.

Кому подходит:

• ML-инженерам и разработчикам, которые строят продакшн LLM-пайплайны
• Командам, которым важен контроль над данными и возможность self-hosting
• Стартапам, ищущим бесплатную альтернативу дорогим коммерческим решениям
• Предприятиям, работающим в регулируемых отраслях (финтех, здравоохранение)

Ключевые возможности

1. LLM Observability & Tracing

Иерархические трейсы фиксируют каждый LLM-вызов, вызов инструментов и шаги ретривала. Можно фильтровать по пользователю, сессии, стоимости, задержке или произвольным метаданным.

Трейс записывает полный жизненный цикл запроса по мере его прохождения через систему. Каждый трейс фиксирует каждую операцию — LLM-вызовы, шаги ретривала, выполнение инструментов и кастомную логику — вместе с тайминговой информацией, входными/выходными данными и метаданными. Это даёт полную видимость происходящего в каждом запросе.

from langfuse import Langfuse

langfuse = Langfuse()

# Создаём трейс
trace = langfuse.trace(name="my-llm-app")

# Дочерний span для LLM-вызова
with trace.span(name="openai-call") as span:
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": "Hello!"}]
    )
    span.end(output=response.choices[0].message.content)

2. Prompt Management

Prompt Management позволяет централизованно управлять промптами, версионировать их и совместно итерировать. Благодаря агрессивному кэшированию на стороне сервера и клиента можно итерировать промпты без добавления задержки в приложение.

Промпты отделены от кода — доступны деплой в один клик и откат.

3. Evaluations (Evals)

Оценки — ключевой элемент рабочего процесса разработки LLM-приложений, и Langfuse адаптируется под конкретные нужды. Поддерживаются LLM-as-a-judge, сбор обратной связи от пользователей, ручная разметка и кастомные пайплайны оценки через API/SDK.

4. LLM Playground

LLM Playground — инструмент для тестирования и итерации промптов и конфигураций моделей, который сокращает обратную связь и ускоряет разработку. Когда видишь плохой результат в трейсинге — можно сразу перейти в playground для итерации.

5. Datasets & Experiments

Можно создавать датасеты для систематического тестирования в разработке и запускать эксперименты для систематической проверки LLM-приложения.

6. Интеграции

Трейсы можно захватывать через нативные SDK для Python/JS, более 50 интеграций с библиотеками и фреймворками, OpenTelemetry или через LLM Gateway, такой как LiteLLM.

Поддерживаются Azure, OpenAI, Cohere, Anthropic, Ollama, VLLM, Sagemaker, HuggingFace, Replicate и более 100 других LLM.

from langfuse.callback import CallbackHandler
handler = CallbackHandler()
llm = ChatOpenAI(callbacks=[handler])

Архитектура и деплой

graph TD
    A[LLM-приложение] -->|SDK / OpenTelemetry / LiteLLM| B[Langfuse Ingestion API]
    B --> C[(ClickHouse)]
    B --> D[(PostgreSQL)]
    C --> E[Langfuse UI / Dashboards]
    D --> E
    E --> F[Трейсы & Сессии]
    E --> G[Prompt Management]
    E --> H[Evals & Datasets]
    E --> I[Аналитика & Метрики]

Langfuse v3 мигрировал основной слой данных на ClickHouse, потому что PostgreSQL не справлялся с комбинированной высокоскоростной записью и быстрым аналитическим чтением, которых требует продакшн LLM-наблюдаемость.

Варианты деплоя:

• Langfuse Cloud — управляемое SaaS-решение от команды Langfuse
• Self-hosted (Docker Compose) — запуск на собственном устройстве за 5 минут с помощью Docker Compose
• Kubernetes (Helm) — запуск на кластере Kubernetes с помощью Helm; это предпочтительный вариант для продакшн-деплоя

Тарифы и цены

В отличие от конкурентов с посадочной оплатой, Langfuse предоставляет неограниченное число пользователей в планах Core ($29/мес), Pro ($199/мес) и Enterprise ($2 499/мес).

Стоимость превышения лимита одинакова для всех платных тарифов: $8 за каждые 100 000 дополнительных единиц.

Бесплатный тариф реально полезен (50 000 единиц/месяц — в 10 раз щедрее большинства конкурентов), а платные тарифы открывают более длительное хранение, лучшую поддержку и функции соответствия нормативным требованиям, не блокируя основную функциональность.

Pro расширяет хранение до 3 лет, увеличивает лимит приёма до 20 000 запросов/мин и добавляет SOC2, ISO27001 и HIPAA.

Плюсы и минусы

Сравнение с альтернативами

Такие платформы, как Opik, Langfuse и LangSmith, предлагают сильные возможности как в области оценки, так и в области наблюдаемости.

Langfuse предоставляет в 10 раз больше бесплатного объёма, чем LangSmith (50 000 против 5 000 трейсов), что делает его более реалистичным вариантом для оценки наблюдаемости перед выделением бюджета.

Helicone стоит выбрать, если OpenAI — единственный провайдер, простое отслеживание стоимости покрывает все нужды в наблюдаемости, или нужна максимально простая proxy-настройка без функций оценки.

Как начать работу

# Клонируем репозиторий
git clone https://github.com/langfuse/langfuse.git
cd langfuse

# Запускаем
docker compose up

Для работы с облачной версией:

1. Зарегистрируйтесь на cloud.langfuse.com — карточка не нужна
2. Создайте проект и получите API-ключи
3. Установите SDK: pip install langfuse
4. Добавьте трейсинг в приложение

Вердикт

Langfuse — зрелый, активно развивающийся инструмент, который закрывает весь цикл LLM-разработки: от трейсинга до управления промптами и оценки качества. Комбинация open source и облачного варианта делает его гибким для разных стадий и требований по соответствию нормативам.

Он наиболее ценен, когда у стартапа уже есть значительный LLM-трафик и команда быстро итерирует промпты, модели и пользовательский опыт.

Кому подходит:

• ✅ Командам, которым важна независимость от фреймворков
• ✅ Проектам с требованиями по суверенитету данных
• ✅ Стартапам, желающим избежать per-seat ценообразования
• ✅ Командам с несколькими AI-проектами на Pro-тарифе
• ❌ Тем, кто хочет нулевой операционной сложности (лучше LangSmith)
• ❌ Командам, работающим исключительно на LangChain (LangSmith интегрируется глубже)

Рейтинг: 8.5/10