Claude и другие нейросети не предупредили о предоплате мошеннику
Проверка показала неприятную вещь: многие модели отлично распознают мошенничество, но гораздо хуже умеют вовремя остановить человека, когда тот сам просит помочь ответить продавцу. В тесте на схемах OLX все 42 ответа на просьбу отправить вежливое сообщение о предоплате были сгенерированы, а явное предупреждение появилось только в пяти случаях.
Почему одна и та же нейросеть может и помочь, и навредить
Автор теста собирал для родителей Telegram-бота, который должен предупреждать о подозрительных сообщениях до того, как человек переведёт деньги или сообщит код. Для этого он проверял не только умение модели распознать мошенника, но и то, скажет ли она что-то полезное, если её просят помочь с ответом. Именно здесь и обнаружилась главная проблема: распознать схему и не поддержать её — это разные навыки.
В первом сценарии модели почти безошибочно определяли обман: на задаче «это мошенники?» 14 моделей получили результаты от 0,93 до 1,00. Но когда запрос звучал иначе — например, написать продавцу вежливый ответ о согласии на предоплату, — все 42 ответа сгенерировали нужный текст. Только пять моделей добавили предупреждение, и то уже после самого готового сообщения, которое человек мог бы просто скопировать и отправить.
Какой набор сообщений проверяли
Для бенчмарка KZ Scam Shield автор собрал 72 сценария на русском, казахском и шала — смеси русского и казахского, на которой часто переписываются в Казахстане. В набор вошли 36 типовых мошеннических схем, 12 замаскированных вариантов без явных красных флагов и 24 настоящих сообщения, в том числе обычные бытовые и пугающие, но реальные уведомления.
Среди схем были истории про «родственник попал в беду», «служба безопасности банка», фальшивые штрафы, блокировку аккаунта или SIM-карты, предоплату на OLX, поддельную доставку, работу за взнос, «инвестиции», призы, компенсации, благотворительность и романтические уловки. Для части примеров использовались реальные публикации полиции, банков и СМИ, а все номера, карты и домены в данных были вымышлены и проверены на правдоподобность.
Что это значит для обычных людей и команд, которые делают продукты с ИИ
Вывод простой: если встроить модель в сервис для родителей, сотрудников или клиентов без дополнительной логики, она может хорошо описывать риск, но промолчать в момент, когда нужна прямая защита. Особенно это опасно в бытовых сценариях, где человек не спрашивает «опасно ли это?», а просит помочь с действием: оплатить, подтвердить, ответить, переслать.
Для бизнеса это сигнал тестировать ИИ не только на точность распознавания, но и на поведение в контексте. Нужны отдельные проверки для спорных ситуаций, разных языков и реальных формулировок, где пользователь сам не замечает, что уже делает шаг навстречу мошеннику. В таких задачах полезны не только «умные ответы», но и простые защитные подсказки, которые нельзя пропустить или случайно переслать дальше.