Всё про ChatGPT

ChatGPT получит предупреждения и блокировки за попытки доступа к CSAM

Стол с распечатками, планшетом и телефоном в комнате модерации контента для ИИ

OpenAI добавила новые меры безопасности, чтобы лучше останавливать попытки создания и поиска материалов, связанных с сексуальной эксплуатацией детей. В ChatGPT появятся предупреждения, временная блокировка аккаунта и дополнительные инструменты для проверки таких изображений.

Что именно добавила OpenAI

Компания представила новый классификатор изображений, который должен находить CSAM, включая картинки, сгенерированные нейросетью. OpenAI говорит, что инструмент умеет замечать визуальные признаки насилия даже на тех изображениях, которые раньше не встречались системе, и выдаёт оценку, помогающую модераторам быстрее принимать решение.

Доступ к классификатору OpenAI выдаёт избранным компаниям через API бесплатно. По словам компании, она создавала этот инструмент вместе с National Center for Missing and Exploited Children, а также работает с Tech Coalition и ROOST, чтобы расширить его использование.

Как это повлияет на пользователей ChatGPT

В ChatGPT появятся новые экраны с предупреждением для тех, кто пытается искать или создавать материалы, сексуализирующие детей. Система будет не только показывать уведомление, но и направлять пользователя к специализированной помощи, чтобы остановить вредное поведение.

Если попытка повторится, аккаунт могут заблокировать на 24 часа как предупреждение. OpenAI уже блокирует CSAM и связанные с ним запросы, а при повторных нарушениях аккаунт могут удалить навсегда. Для обычных пользователей это означает, что сервис станет жёстче пресекать опасные сценарии ещё на раннем этапе.

Инструменты для разработчиков и правоохранителей

OpenAI также публикует рекомендации для разработчиков, которые работают с её инструментами. В этих правилах объясняется, как предотвращать, выявлять и сообщать о CSAM, а в ранних тестах такие рекомендации уже помогли части команд подключить защитные инструменты и зарегистрироваться для отчётов в NCMEC.

Отдельный набор функций компания готовит для правоохранительных органов: это специализированные плагины, инструменты для расследований и анализ сложных данных. Кроме того, OpenAI обещает обучение для следователей и практическое руководство по использованию ИИ в таких делах.

Частые вопросы

Зачем OpenAI вводит новые ограничения именно сейчас?
Компания усиливает защиту на фоне растущих опасений вокруг безопасности ИИ и того, что нейросети могут использовать для вредного контента. OpenAI хочет раньше обнаруживать такие попытки и быстрее передавать полезные сигналы модераторам и специалистам.
Что будет, если пользователь попробует искать такой контент в ChatGPT?
Сначала он увидит предупреждение и рекомендации обратиться за помощью. Затем аккаунт могут временно заблокировать на 24 часа, а за повторные нарушения — удалить.
Какой смысл у нового классификатора изображений для бизнеса и модерации?
Он помогает быстрее отсеивать подозрительные изображения и снижает нагрузку на проверяющих людей. По данным OpenAI, в тестах инструмент находил столько же вредных изображений, но при этом помечал на 48% меньше картинок, а значит, работу можно делать точнее и экономнее.
Что это даёт обычным пользователям и компаниям, которые используют ИИ?
Пользователи получают более жёсткую защиту от опасного контента, а компании — дополнительные инструменты для модерации и отчётности. Это особенно важно для сервисов, где есть картинки, чат или пользовательский контент.

Читайте также

Попробовать Lord GPT бесплатно →