OpenAI Privacy Filter: защита персональных данных с ИИ

Что такое OpenAI Privacy Filter?

OpenAI выпустила Privacy Filter — open-weight (открытую по весам) модель для обнаружения и скрытия персональных данных (PII — personally identifiable information, персонально идентифицирующая информация) в тексте. Этот релиз является частью более широкой инициативы по созданию устойчивой программной экосистемы: Privacy Filter — компактная модель с возможностями frontier-уровня в области обнаружения персональных данных.

Поводом для создания инструмента стала распространённая проблема: пользователи регулярно вставляют персональные данные в AI-инструменты вроде ChatGPT. Privacy Filter призван эту ситуацию исправить — причём кардинально.

Ключевые возможности

Локальный запуск — данные не покидают ваш компьютер

Модель может работать полностью локально, а значит, маскировка и удаление персональных данных происходит без отправки информации куда-либо за пределы вашего устройства. Privacy Filter — компактная эффективная модель с 1,5 млрд суммарных параметров и 50 млн активных параметров, спроектированная для высокопроизводительных рабочих процессов. Благодаря лёгкому дизайну организации могут обрабатывать чувствительные данные, не передавая их ни на какой сервер.

Контекстно-осознанное обнаружение

В отличие от традиционных инструментов на основе правил, Privacy Filter использует глубокое понимание языка и контекста для идентификации конфиденциальной информации, которую стандартные инструменты часто пропускают.

В отличие от устаревших решений, опирающихся на детерминированные регулярные выражения (например, поиск символа «@» в email-адресе), Privacy Filter анализирует окружающий текст, чтобы определить, является ли строка частной информацией, секретом или общедоступными сведениями.

Ключевое преимущество Privacy Filter — способность отличить, является ли конкретное имя или адрес частной информацией или публичной. Именно это делает модель полезной в реальных сценариях, а не только в лабораторных тестах.

Высокая скорость обработки

Модель эффективно обрабатывает длинные тексты, принимая решения об их маскировке за один быстрый проход. Контекстное окно составляет до 128 000 токенов — это примерно 90–100 страниц текста.

Восемь категорий персональных данных

Privacy Filter классифицирует конфиденциальные данные по восьми категориям: имена, адреса, email-адреса, номера телефонов, URL-адреса, даты, номера счетов и секреты. Категория «номера счетов» охватывает кредитные карты и банковские счета, а «секреты» — пароли и API-ключи.

graph TD
    A[Входной текст] --> B[Privacy Filter]
    B --> C[Имена]
    B --> D[Адреса]
    B --> E[Email / Телефон]
    B --> F[URL-адреса]
    B --> G[Даты]
    B --> H[Номера счетов]
    B --> I[Секреты / API-ключи]
    B --> J[Прочие идентификаторы]
    C --> K[Маскированный текст]
    D --> K
    E --> K
    F --> K
    G --> K
    H --> K
    I --> K
    J --> K

Как это работает технически

OpenAI Privacy Filter — это двунаправленная модель классификации токенов для обнаружения и маскировки PII в тексте. Модель предобучена авторегрессивно, получив чекпоинт с архитектурой, схожей с gpt-oss, но меньшего размера. Затем чекпоинт был преобразован в двунаправленный классификатор токенов с таксономией меток конфиденциальности и дообучен с использованием функции потерь классификации с учителем.

Система использует подход классификации токенов, размечая входной текст за один проход, а не генерируя его токен за токеном. На этапе инференса предсказания модели на уровне токенов декодируются в связные спаны с помощью ограниченного последовательного декодирования. Такой подход сохраняет широкое языковое понимание предобученной модели, специализируя её для обнаружения конфиденциальных данных.

Пример работы модели

Представьте такое сообщение (типичный пример из деловой переписки):

Добрый день! Уточняю детали по проекту №4829-1037-5581.
Ответьте на адрес ivan.petrov@company.ru или позвоните: +7 (916) 555-01-24.
Дата запуска — 18 сентября 2026 года.

После обработки Privacy Filter:

Добрый день! Уточняю детали по проекту №[ACCOUNT_NUMBER].
Ответьте на адрес [PRIVATE_EMAIL] или позвоните: [PRIVATE_PHONE].
Дата запуска — [PRIVATE_DATE].

Точность и бенчмарки

На бенчмарке PII-Masking-300k Privacy Filter достигает F1-метрики 96% (точность — 94,04%, полнота — 98,04%). На исправленной версии бенчмарка, учитывающей проблемы с аннотацией датасета, F1 составляет 97,43% (точность — 96,79%, полнота — 98,08%).

В самой OpenAI используют дообученную версию Privacy Filter в собственных рабочих процессах, связанных с защитой персональных данных.

Ограничения модели

Несмотря на впечатляющие результаты на бенчмарках, у Privacy Filter есть и слабые места, о которых стоит знать.

Сама OpenAI задокументировала ряд ограничений: недостаточное обнаружение редких имён и доменно-специфических идентификаторов; избыточная редакция публичных сущностей при неоднозначном контексте; снижение производительности на текстах не на английском языке.

OpenAI намеренно настраивает модель на высокую точность, поскольку избыточная редакция снижает полезность последующих систем. При этом карточка модели прямо указывает, что настройки по умолчанию консервативны, а для пользователей, желающих повысить полноту (recall), предусмотрен специальный параметр калибровки Viterbi.

Где найти и как использовать

Модель доступна под лицензией Apache 2.0 на Hugging Face и GitHub. OpenAI открыла модель под лицензией Apache 2.0, приглашая разработчиков экспериментировать, дообучать и разворачивать её под свои конкретные нужды.

Установить модель через Python можно следующим образом:

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

# Загружаем официальную модель
tokenizer = AutoTokenizer.from_pretrained("openai/privacy-filter")
model = AutoModelForTokenClassification.from_pretrained("openai/privacy-filter")

text = "Позвоните Ивану Петрову по номеру +7-916-555-0124"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

# outputs.logits содержат предсказания по каждому токену

Для кого полезен Privacy Filter

Модель поддерживает длинные входные данные с контекстным окном в 128 000 токенов и размечает текст за один проход, что делает её полезной для журналов, внутренних документов, тикетов поддержки, фрагментов кода и других неструктурированных данных в AI-конвейерах.

Вот типичные сценарии применения в российских реалиях:

Место в экосистеме

Теперь в распоряжении разработчиков есть модель с открытой лицензией и 1,5 млрд параметров, созданная специально для этой задачи. Это ещё один сильный вариант в арсенале базовых моделей — наряду с BERT, RoBERTa, DeBERTa и другими.

OpenAI разработала Privacy Filter, поскольку верит, что с последними возможностями ИИ можно поднять стандарт конфиденциальности выше того, что уже присутствовало на рынке.

Итог

OpenAI Privacy Filter — это практичный, бесплатный и открытый инструмент, который закрывает реальную проблему: случайная передача персональных данных в AI-системы становится всё более серьёзным риском. Модель запускается локально, не требует интернет-соединения в процессе работы и показывает точность уровня лучших коммерческих решений.

Для команд, работающих с чувствительными данными — медиков, юристов, финансистов, разработчиков — это весомый аргумент для интеграции в существующие пайплайны. А открытая лицензия Apache 2.0 делает его доступным даже для стартапов и исследователей без бюджета на коммерческие инструменты.