В силу того, что мы уже почти вошли в эпоху, когда у нас, как у человечества, фундаментально меняется подход к поиску информации (замена стандартных поисковых машин на нейросети), возникают новые риски и прикладные задачи. В данном случае - это валидация информации, потому что нейросети прекрасно умеют генерировать тексты. Есть ощущение, что в скором времени мы вообще можем столкнуться с ситуацией, когда подавляющая часть информации будет сгенерирована (звуки брюзжания).
В общем, если уйти от мрачных картин будущего, то сегодня точно нужно иметь в арсенале навык по определению "человечности текста". Вот об этом мы и поговорим.
▪︎ ▪︎ ▪︎
Основные признаки для анализа
Нейросети пишут текст по определенным правилам. Текст будет складным, но все равно имеет определенный набор "артефактов".
- Общая насмотренность. Чем больше вы работаете с разными языковыми моделями, тем у вас больше шансов определить сгенерированный текст по дефолту, просто потому что вы начинаете замечать многие паттерны уже подсознательно, не задумываясь об этом.
- Признаки повторов и однообразие в тексте. Похожие конструкции и обороты, однотипные начала и окончания (особенно хорошо это видно, когда в начале и конце предложения повторяются одинаковые слова), частое использование одних и тех же слов без синонимов.
- Признаки галлюцинациий в тексте. Подается, как что-то естественное, информация не находится в других источниках через перекрестный анализ. Иными словами, если мы пойдем перепроверять какой-то факт из текста и не найдем ВООБЩЕ ничего - это тоже звоночек.
- Мало сложных конструкций в тексте. Человек чаще их использует, нейросеть же все обобщает. ИИ впринципе склонен к суммаризации.
- Мало примеров из личного опыта и практики. Так как нейросети учатся на больших выборках людей и пытаются обобщить опыт, конкретных деталей или примеров из жизни, мы не увидим. Этот же пункт касается общей эмоциональности текста - у ИИ с этим плохо.
- Отсутствие грамматических ошибок. В сгенерированных текстах мы такого не встретим по понятным причинам. Человек писать идеально не может (естественно, бывают исключения).
- Длинное тире, вместо стандартных дефисов. Если такое встречается постоянно, то это тоже яркий признак.
Как и в любой аналитике, тут важен симптомо-комплексный подход. Это значит, что по одному признаку мы выводов не делаем и рассматриваем все только в совокупности.
▪︎ ▪︎ ▪︎
Готовые инструменты
Оговоримся, что у любой системы анализа очень высокий процент ошибок. Для понимания:
В 2024 году было проведено интересное исследование, которое показало, что точность детекции текста у разных ИИ-детекторов составляет не больше 39,5%
На сегодняшний день, наверняка, точность улучшилась, но в любом случае - это практически гадание на кофейной гуще. Поэтому, ключевой тезис заключается в том, что пока что стоит совмещать одновременно два подхода - "анализ глазами" на предмет возможных признаков выше + прогонять текст через разные ИИ-детекторы. В такой конфигурации шансы определить "робота" в тексте сильно возрастают.
Теперь посмотрим некоторые инструменты:
1. Crossplag - один из самых базовых и простых сервисов
- Из плюсов: работает с объемом до 3000 слов, бесплатный.
- Из минусов: если текст как-то редактировали после генерации (даже немного), то результат будет очень сильно фолзить.
2. Undetectable AI - комплексный инструмент
- Из плюсов: с помощью этого инструмента не только можно выявлять след нейросетей в текстах, но и создавать тесты, которые максимально похожи на человеческие (естественно, с большими ограничениями).
- Из минусов: не до конца узкопрофильный инструмент, если сгенерированный текст редактировался, то тоже будут фолзы.
3. Originality AI - наверное, самый крутой сервис из тех, которые я потестил
- Из плюсов: самое маленькое кол-во фолзов (даже, если сгенерированный текст потом редактировался человеком).
- Из минусов: платно и не дешево.
4. GPTZero - один из самых первых ИИ-детекторов
- Из плюсов: "ядро GPT", хорошая точность, умеет работать с документами
- Из минусов: 5000 слов бесплатно, потом подписка
5. "Брат против брата" - в любую языковую модель можно скормить интересующий текст и поинтересоваться, не сгенерирован ли он нейросетью. Я тестировал с GPT, DeepSeek, Qwen и LeChat. Лучше всего в этой задаче показал себя GPT (ожидаемо).
▪︎ ▪︎ ▪︎
В сухом остатке имеем следующее: сегодня лучше проверять любую информацию и не только на предмет "фейковости", но и вообще, кем эта информация была написана.
