Claude и другие ИИ часто знают лучшее решение, но отвечают не туда
Исследователи Allen Institute for AI показали, что языковые модели нередко понимают проблему слишком буквально: они дают правильные советы по форме запроса, но пропускают настоящую причину ошибки. Для тех, кто использует ИИ в работе, это важный сигнал — нейросети полезно не только отвечать, но и уметь уточнять контекст.
Что такое XYBench и зачем его сделали
13 ноября 2026 года команда из Allen Institute for AI представила XYBench — набор задач, который проверяет, умеют ли языковые модели замечать ситуацию, когда человек спрашивает не о корне проблемы, а о выбранном им способе решения. В датасет вошло 8 115 вопросов из программирования, технической поддержки и бытовых сценариев.
Авторы хотели оценить не просто точность ответа, а умение ассистента понять скрытую цель пользователя. Это особенно важно там, где буквальный ответ выглядит разумно, но на деле помогает мало — например, когда человек пытается исправить симптом, а не причину.
Что показали тесты Claude, GPT и других моделей
В исследовании проверили Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. На вопросах из Stack Overflow модели в 71–84% случаев выбирали более полезный вариант из двух предложенных ответов. Но когда их просили самостоятельно сформулировать ответ, они фокусировались именно на реальной цели пользователя только в 35–41% случаев.
Иными словами, модель может заметить лучший путь, но все равно продолжить объяснять тот способ, который был назван в вопросе. Для пользователя это означает лишние шаги, потраченное время и ответ, который выглядит вежливым и логичным, но не решает задачу.
Почему это важно в обычной работе и жизни
Авторы описывают это через классическую XY-проблему: X — настоящая задача, Y — способ, который человек ошибочно считает правильным. Пример с капкейками хорошо это показывает: если крем сползает не из-за рецепта, а потому что выпечка еще горячая, советы по изменению пропорций могут быть бесполезны. Сначала нужно разобраться с температурой, а уже потом с кремом.
Такая же логика работает и вне кухни. Можно искать более мощный пылесос, когда проблема в засоренном шланге, или пытаться переустановить систему, не выяснив, откуда вообще берутся ошибки. Для тех, кто применяет ИИ в работе, вывод простой: хороший помощник должен не только следовать инструкции, но и уметь поставить под сомнение исходное предположение.
Как собрали датасет XYBench
Часть вопросов взяли из Stack Overflow и Stack Exchange: исследователи искали обсуждения, где участники уже указывали на XY-проблему. После фильтрации осталось 1 557 вопросов из Stack Overflow, а также набор из 17 тематических сообществ Stack Exchange. Чтобы лучше понять реальную цель автора, команда анализировала лучшие ответы и принятый ответ, если он был.
Самая большая часть XYBench построена на материалах WikiHow. Исследователи использовали около 2 500 инструкций по еде, уходу за животными, ремонту и другим бытовым действиям. Затем примеры дорабатывали: убирали слишком явные подсказки, добавляли правдоподобные детали и проверяли, можно ли по контексту восстановить настоящую проблему.