Пентест AI-компонентов: где искать уязвимости в компании
ИИ в корпоративных системах уже не ограничивается чат-ботами: он ищет данные в документах, помогает в CRM и даже выполняет действия в других сервисах. Это удобно для бизнеса, но для CISO и специалистов по безопасности меняет саму логику пентеста.
Почему обычного веб-пентеста уже недостаточно
Раньше AI в приложении чаще всего воспринимался как простой чат-бот, который отвечает на вопросы. Теперь его все чаще подключают к внутренним базам знаний, почте, CRM и корпоративным документам, а иногда и к инструментам, которые умеют менять данные в других системах.
Для сотрудников это выглядит как улучшение привычных сервисов: появился умный поиск, помощник в CRM или автоматическая обработка обращений в поддержке. Но для безопасности это уже не просто удобная надстройка, а новый слой, через который можно добраться до информации и действий, недоступных напрямую обычному пользователю.
Какие риски появляются у RAG и AI-агентов
Самый простой AI-компонент — чат-бот, который только формирует ответ. Если у него нет доступа к закрытым данным и внешним сервисам, то и последствия атак обычно ограничены самим диалогом.
Совсем другая ситуация у систем с RAG и у AI-агентов. RAG подтягивает сведения из внешних источников, например из корпоративной базы знаний, а агент уже может не только искать, но и создавать задачи, писать письма, менять записи в календаре или вызывать внутренние API. Поэтому при проверке важно смотреть не на название модели, а на то, какие данные она видит и какие действия ей разрешены.
Как AI может обойти ограничения доступа
Источник отдельно подчеркивает важный риск: у AI-помощника могут быть более широкие права, чем у пользователя, который с ним работает. Например, сотрудник не может открыть закрытый документ напрямую, потому что авторизация настроена правильно, но AI использует сервисную учетную запись и способен прочитать этот файл.
В итоге пользователь узнает содержимое через ответ помощника, хотя сам доступ к документу ему запрещен. Для пентеста это означает, что мало проверить стандартный API и права на файл — нужно понимать, какие документы находит RAG-компонент и учитываются ли ограничения пользователя до передачи данных в модель.
Prompt injection и что с этим делать
Еще одна угроза связана с тем, что модель получает не только полезные данные, но и любой текст из найденного документа. Если злоумышленник может подменить или изменить содержимое, он способен спрятать внутри него инструкции вроде просьбы игнорировать прежние правила и показать чужие данные.
Это называется prompt injection. Для бизнеса вывод простой: документы и знания, которые читает AI, тоже должны проходить проверку на безопасность, а сама система — уметь отделять обычный текст от скрытых команд. Именно на этом этапе CISO стоит смотреть не только на доступы, но и на защиту источников, логику обработки запросов и контроль действий AI-агента.