Классический ML против ИИ-текстов: точность 85% без нейросетей
Разработчик lyc8503 показал, что TF-IDF + LinearSVC из scikit-learn обнаруживают ИИ-сгенерированный текст с точностью 85% — без тяжёлых нейросетей.
Классический ML справляется с задачей лучше, чем ожидалось
По состоянию на начало 2026 года тексты, генерируемые современными LLM (Large Language Models — большими языковыми моделями), обладают настолько устойчивыми статистическими паттернами, что их можно эффективно отличать от написанных человеком с помощью традиционных методов машинного обучения. Именно это доказал разработчик под ником lyc8503, опубликовавший детальный разбор своего эксперимента на личном блоге. Онлайн-демо проекта доступно по адресу lyc8503.github.io/AITextDetector, а точность классификации на уровне отдельного предложения составила около 85% на тестовой выборке.
Почему перплексия не сработала
Автор начал с интуитивно очевидного подхода — text perplexity (текстовая перплексия). Идея проста: использовать уже существующую LLM для оценки вероятности каждого слова в предложении. Если почти каждое слово входит в топ предсказаний модели (Top-N), предложение скорее всего сгенерировано ИИ. Если же много слов неожиданны — текст, вероятно, написан человеком.
Однако на практике метод разочаровал. Результаты оказались неудовлетворительными — много ложных срабатываний в обе стороны, невозможность выбрать разумный порог. К тому же подход страдает от высокой стоимости инференса, плохой кросс-модельной обобщаемости и сложностей с локальным развёртыванием.
«Старый добрый ML рвёт — намного лучше, чем тупые онлайн-инструменты, которые просто спрашивают у самой LLM: “Эй, этот текст сгенерирован ИИ?"» — lyc8503
Решение: TF-IDF + LinearSVC из scikit-learn
Для обучения автор разбил все тексты на предложения с помощью китайской пунктуации, очистил не-китайские/не-английские символы, а затем применил связку TF-IDF → LinearSVC из библиотеки scikit-learn.
TF-IDF (Term Frequency–Inverse Document Frequency) — метод векторизации текста, присваивающий словам веса на основе их частоты в документе и редкости в корпусе. LinearSVC — линейный классификатор на основе метода опорных векторов (Support Vector Machine), хорошо работающий с высокоразмерными разреженными данными.
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipeline
pipeline = Pipeline([\n ('tfidf', TfidfVectorizer()),\n ('clf', LinearSVC()),\n])
pipeline.fit(X_train, y_train)
print(f"Accuracy: {pipeline.score(X_test, y_test):.2%}")
После очистки шумовых данных точность на уровне предложения достигла ~85%. Даже первая «сырая» версия показала 88% — а это означает: для длинного текста система с высокой уверенностью определяет его ИИ-происхождение.
Как устроен пайплайн
graph LR
A[Входной текст] --> B[Разбивка на предложения]
B --> C[Очистка символов]
C --> D[TF-IDF векторизация]
D --> E[LinearSVC классификатор]
E --> F{Результат}
F --> G[🤖 ИИ-текст]
F --> H[🧑 Текст человека]
Попытка мультиклассовой классификации провалилась
Автор также попробовал обучить 8-классовую модель (человек + 7 различных LLM), но языковые модели оказались слишком похожи друг на друга — вероятно, из-за взаимной дистилляции. Точность составила лишь около 50%.
Альтернативные классификаторы — MultinomialNB и SGDClassifier — также тестировались, но показали несколько меньшую точность.
Сравнение подходов к детекции AI-текстов
| Метод | Точность | Стоимость | Развёртывание |
|---|---|---|---|
| Перплексия (LLM-based) | Низкая | Высокая | Сложное |
| TF-IDF + LinearSVC | ~85% | Очень низкая | Простое |
| Fine-tuned RoBERTa | ~95% | Средняя | Умеренное |
| Вотермаркинг | Высокая | Низкая | Требует интеграции в LLM |
Контекст и значение для отрасли
Актуальность проблемы трудно переоценить: по имеющимся данным, не менее 15,8% рецензий на конференцию ICLR 2024 были написаны с помощью ИИ, а минимум 13,5% аннотаций в статьях PubMed за 2024 год обработаны языковыми моделями.
В целом существующие подходы к детекции AI-текстов делятся на три категории: основанные на вотермаркинге, на машинном обучении и на статистике. Работа lyc8503 показывает, что ML-подход можно реализовать с минимальными ресурсами и при этом получить практически полезный результат.
Автор предполагает, что именно так работает большинство так называемых «детекторов ИИ-плагиата» под капотом. Эксперимент демонстрирует: для задачи бинарной классификации (человек vs. ИИ) тяжёлые трансформеры не всегда нужны — классические методы NLP справляются неожиданно хорошо и при этом остаются прозрачными и воспроизводимыми.