В силу того, что мы уже почти вошли в эпоху, когда у нас, как у человечества, фундаментально меняется подход к поиску информации (замена стандартных поисковых машин на нейросети), возникают новые риски и прикладные задачи. В данном случае - это валидация информации, потому что нейросети прекрасно умеют генерировать тексты. Есть ощущение, что в скором времени мы вообще можем столкнуться с ситуацией, когда подавляющая часть информации будет сгенерирована (звуки брюзжания).
В общем, если уйти от мрачных картин будущего, то сегодня точно нужно иметь в арсенале навык по определению "человечности текста". Вот об этом мы и поговорим.
▪︎ ▪︎ ▪︎
Основные признаки для анализа
Нейросети пишут текст по определенным правилам. Текст будет складным, но все равно имеет определенный набор "артефактов".
Общая насмотренность. Чем больше вы работаете с разными языковыми моделями, тем у вас больше шансов определить сгенерированный текст по дефолту, просто потому что вы начинаете замечать многие паттерны уже подсознательно, не задумываясь об этом.
Признаки повторов и однообразие в тексте. Похожие конструкции и обороты, однотипные начала и окончания (особенно хорошо это видно, когда в начале и конце предложения повторяются одинаковые слова), частое использование одних и тех же слов без синонимов.
Признаки галлюцинациий в тексте. Подается, как что-то естественное, информация не находится в других источниках через перекрестный анализ. Иными словами, если мы пойдем перепроверять какой-то факт из текста и не найдем ВООБЩЕ ничего - это тоже звоночек.
Мало сложных конструкций в тексте. Человек чаще их использует, нейросеть же все обобщает. ИИ впринципе склонен к суммаризации.
Мало примеров из личного опыта и практики. Так как нейросети учатся на больших выборках людей и пытаются обобщить опыт, конкретных деталей или примеров из жизни, мы не увидим. Этот же пункт касается общей эмоциональности текста - у ИИ с этим плохо.
Отсутствие грамматических ошибок. В сгенерированных текстах мы такого не встретим по понятным причинам. Человек писать идеально не может (естественно, бывают исключения).
Длинное тире, вместо стандартных дефисов. Если такое встречается постоянно, то это тоже яркий признак.
Как и в любой аналитике, тут важен симптомо-комплексный подход. Это значит, что по одному признаку мы выводов не делаем и рассматриваем все только в совокупности.
▪︎ ▪︎ ▪︎
Готовые инструменты
Оговоримся, что у любой системы анализа очень высокий процент ошибок. Для понимания:
В 2024 году было проведено интересное исследование, которое показало, что точность детекции текста у разных ИИ-детекторов составляет не больше 39,5%
На сегодняшний день, наверняка, точность улучшилась, но в любом случае - это практически гадание на кофейной гуще. Поэтому, ключевой тезис заключается в том, что пока что стоит совмещать одновременно два подхода - "анализ глазами" на предмет возможных признаков выше + прогонять текст через разные ИИ-детекторы. В такой конфигурации шансы определить "робота" в тексте сильно возрастают.
Теперь посмотрим некоторые инструменты:
1. Crossplag - один из самых базовых и простых сервисов
Из плюсов: работает с объемом до 3000 слов, бесплатный.
Из минусов: если текст как-то редактировали после генерации (даже немного), то результат будет очень сильно фолзить.
2. Undetectable AI - комплексный инструмент
Из плюсов: с помощью этого инструмента не только можно выявлять след нейросетей в текстах, но и создавать тесты, которые максимально похожи на человеческие (естественно, с большими ограничениями).
Из минусов: не до конца узкопрофильный инструмент, если сгенерированный текст редактировался, то тоже будут фолзы.
3. Originality AI - наверное, самый крутой сервис из тех, которые я потестил
Из плюсов: самое маленькое кол-во фолзов (даже, если сгенерированный текст потом редактировался человеком).
Из минусов: платно и не дешево.
4. GPTZero - один из самых первых ИИ-детекторов
Из плюсов: "ядро GPT", хорошая точность, умеет работать с документами
Из минусов: 5000 слов бесплатно, потом подписка
5. "Брат против брата" - в любую языковую модель можно скормить интересующий текст и поинтересоваться, не сгенерирован ли он нейросетью. Я тестировал с GPT, DeepSeek, Qwen и LeChat. Лучше всего в этой задаче показал себя GPT (ожидаемо).
▪︎ ▪︎ ▪︎
В сухом остатке имеем следующее: сегодня лучше проверять любую информацию и не только на предмет "фейковости", но и вообще, кем эта информация была написана.