Как ChatGPT ошибается: исследователь нашел способ ловить ложь
Исследователь попробовал собрать для языковой модели что-то вроде «детектора лжи» и посмотрел, можно ли понять по внутренним состояниям ИИ, когда он врет. Эксперимент показал: у модели иногда есть правильный ответ внутри, но в конце она все равно выдает ошибку.
Почему вообще понадобился детектор лжи для ИИ
Повод для такой работы понятен даже без технического бэкграунда. В 2023 году адвокат из Нью-Йорка принес в суд ссылку на прецеденты, которые ему подсказал ChatGPT, но судья не нашел ни одного из этих дел. Позже похожая история случилась с Air Canada: чат-бот компании пообещал пассажиру возврат денег по правилу, которое сам же и выдумал.
Такие ошибки особенно неприятны тем, что модель отвечает очень уверенно. По одному только тексту сложно понять, это честная путаница или уже «привирание», когда ИИ как будто знает верный ответ, но все равно говорит не то. Автор эксперимента решил проверить, можно ли заметить это по внутренним состояниям нейросети, а не только по итоговой фразе.
Что именно исследовали на домашней видеокарте
В качестве подопытной модели использовали Qwen2.5-1.5B-Instruct — она помещалась на GTX 1660 Super с 6 ГБ памяти. Модель состоит из 28 слоев, а на каждом шаге обрабатывает состояние из 1 536 чисел. Исследователь сохранял эти состояния и отдельно снимал активации нейронов в MLP-блоках: по 8 960 нейронов на слой, всего 250 880.
Сначала модель пытались заставить врать простой командой, но это не сработало: на обычные вопросы она все равно отвечала правильно. Тогда исследователь пошел обходным путем и подложил в историю переписки несколько уже «неправильных» ответов ассистента. После этого модель начинала продолжать линию лжи.
Что показал эксперимент с ложью
Чтобы проверить поведение модели, автор собрал 339 коротких вопросов по восьми темам: столицы, арифметика, цвета, антонимы, химические символы, языки, переводы и общие факты. В обычном режиме модель отвечала верно в 95–97% случаев. А вот в режиме вранья результат сильно зависел от формулировки: одна версия инструкции дала 73% ложных ответов, две другие — только 11% и 22%.
Самое интересное оказалось в том, что среди неудачных попыток были ответы, где модель, если смотреть на внутренние слои, как будто еще «знала» правильный вариант. Например, про цвет банана на одном из ранних слоев у нее еще просматривался правильный ответ, а финальные слои уже меняли его на неверный. Именно это и позволило автору дальше строить простой классификатор, который ищет разницу между состояниями лжи и правды.
По сути, такой подход может помочь в двух вещах: во-первых, лучше понимать, когда языковая модель просто ошибается, а когда уходит в уверенную выдумку; во-вторых, тестировать ИИ-системы перед тем, как использовать их в работе, учебе или клиентской поддержке. Это не волшебная защита от всех галлюцинаций, но полезный инструмент для тех, кто хочет проверять модели, а не верить им на слово.