Gemini 4 Argon и 26 LLM проверили на JSON, инъекции и закон
Исследователь прогнал 27 языковых моделей в слепом тесте и сравнил не красивые обещания, а то, как они ведут себя в реальных рабочих сценариях: ломают ли JSON, поддаются ли скрытым подсказкам и не галлюцинируют ли на юридических вопросах. Для бизнеса, маркетинга и продуктовых команд это полезно как ориентир, какие модели можно пускать в рабочие процессы, а какие пока опасно включать без дополнительной защиты.
Что именно проверяли и зачем это важно
Автор статьи напомнил, что прошлой зимой уже делал большой аудит 14 нейросетей на галлюцинации, а теперь вернулся к теме спустя девять месяцев, когда рынок заметно изменился. В этот раз он дождался выхода Google Gemini 4 Argon и добавил к тесту ещё одну свежую модель, Muse Wonder, чтобы сравнение было актуальным для конца 2026 года.
Смысл эксперимента — не в синтетических бенчмарках, а в том, как модель ведёт себя в живом продакшене. В таких задачах важны не абстрактные баллы, а устойчивость к грязным данным, умение не ломать формат ответа, сопротивление prompt injection и аккуратность в вопросах по российскому праву. Именно это обычно влияет на то, можно ли доверить модели CRM, поддержку клиентов или внутренние автоматизации.
Как устроили тест: 6 шагов и слепой аудит
Для проверки собрали 27 моделей: среди них были западные флагманы вроде Claude Opus 5.5, GPT-6 Astra, Muse Wonder и Gemini 4 Argon, китайские модели Qwen 3.8 Max, DeepSeek V4.1, Kimi K3, GLM-5.3, а также Yandex Alice AI и Sber GigaChat. Все ответы прогнали через единый Python-пайплайн, а затем скрыли названия моделей за кодами M01–M27.
Тест состоял из шести этапов. Сначала модели проверяли на живой русский язык и глубину рассуждений, потом — на этическую позицию и способность обосновать собственный выбор, затем — на проектирование прикладного ИИ-продукта. После этого шёл строгий JSON без права на лишний текст, затем — сценарий с скрытой инъекцией в клиентском письме, и в конце — юридический разбор с вопросами по 152-ФЗ, локализации данных, КоАП и УК РФ. Итоговые ответы оценивали три независимых ИИ-судьи, которые тоже не знали, какая модель стоит за номером.
Что это даёт на практике
Такой формат полезен тем, кто выбирает модель для рабочих процессов, а не для демонстраций. Если сервис должен автоматически создавать структурированные заявки, отвечать клиентам, собирать данные в CRM или подсказывать по комплаенсу, важно заранее понять, умеет ли он держать формат и не принимает ли вредные инструкции из чужих писем.
Автор отдельно отмечает, что все модели тестировались «из коробки» — без специальных системных промптов и без внешних костылей для принудительного JSON. Это делает сравнение жёстче, но честнее: видно не то, как модель можно «дотянуть» настройками, а то, насколько она готова к реальной эксплуатации сразу после подключения.