Почему LLM отлично пишут тексты, но путаются в логике

Большие языковые модели умеют быстро собирать связный текст, но при сложных рассуждениях часто ошибаются. Новая статья объясняет, почему так происходит, и как использовать ИИ аккуратнее в работе с документацией, аналитикой и инструкциями.

LLM хорошо имитируют речь, но не думают как человек

Автор материала, технический писатель-аналитик, каждый день использует ИИ для текстов, структуры и документации, но регулярно сталкивается с логическими сбоями. Чтобы понять причину, он обратился к работам по когнитивным наукам и исследованиям MIT.

В центре внимания — лаборатория Ev Lab при Массачусетском технологическом институте под руководством нейробиолога Эвелины Федоренко. Учёные сравнивают, как мозг человека и большие языковые модели, вроде ChatGPT и Claude, реагируют на одни и те же тексты. Их вывод простой: современные LLM очень сильны в языковой имитации, но с логическим выводом у них заметно хуже.

Что показали исследования MIT

В одной из работ учёные пришли к выводу, что мышление не сводится к языку: при решении логических, математических и инженерных задач языковая сеть мозга не активируется так же, как при обычной речи. То есть слова — это инструмент для передачи мысли, но не сама мысль.

Другое исследование показало, что LLM учатся на статистике и предсказании следующего токена. На уровне грамматики и синтаксиса они могут очень точно повторять человеческие языковые паттерны, но если от них одновременно требовать и рассуждений, и красивого текста, модель начинает путаться.

Третья работа касается контекста: языковые зоны мозга тесно связаны с памятью, поэтому человек легко достаёт нужные ассоциации. У LLM похожий эффект достигается через удержание контекста, но это не означает настоящего понимания смысла. Итог исследований такой: модель может звучать умно, но внутри всё равно чаще угадывает наиболее вероятное продолжение, а не рассуждает как человек.

Как применять это на практике

Из этой идеи автор делает полезный вывод для тех, кто работает с ИИ каждый день: не стоит просить модель сразу и разобраться в сути задачи, и написать идеальный текст. Лучше разделять работу на этапы: сначала логика и структура, потом — оформление словами.

Второй совет — сужать рамки запроса. Чем абстрактнее промпт, тем выше шанс, что модель уйдёт в случайные ассоциации и начнёт фантазировать. Поэтому полезно задавать ограничения, давать примеры и чётко формулировать, что именно нужно получить на выходе. Это особенно помогает в документации, поддержке, переводе сложных материалов и подготовке рабочих текстов.