DeepSeek и другие LLM проверили на русских отзывах
Автор сервиса для ответов на отзывы на Wildberries, Ozon и Яндекс Маркете сравнил 13 языковых моделей на синтетическом наборе из отзывов и вопросов. Главный вывод: для разных задач одной «лучшей» модели не хватает — где-то важнее точность, а где-то умение не отправить покупателю лишнее сообщение.
Что именно проверяли и почему это важно
Сервис автора помогает магазинам отвечать на отзывы покупателей автоматически. Но в такой задаче ошибка может стоить репутации: модель способна пообещать «проверку партии», хотя никакой проверки на самом деле не будет, или отправить покупателю ответ, который по правилам площадки вообще не должен уходить автоматически.
Поэтому сравнение шло не по ощущению «нравится — не нравится», а по жёстким правилам. В тесте участвовали Alice AI LLM Flash, YandexGPT Pro 5.1 и Lite 5, несколько версий GigaChat, а также DeepSeek и Qwen. Автор отдельно проверял ответы на отзывы, классификацию обращений и проверку фактов в готовом тексте.
Почему DeepSeek оказался не единственной опцией
Главная идея теста оказалась очень практичной: одна модель может хорошо отвечать на отзывы, но хуже справляться с проверкой фактов или вопросами покупателей. Поэтому резерв выбрали не один на всё, а разный для разных сценариев. Основной моделью стала Alice AI LLM Flash, а в запасе для разных задач держат GigaChat 3.5 Ultra и GigaChat 3 Pro.
Отдельно автор смотрел, не галлюцинируют ли модели. Например, нельзя писать покупателю, что товар «передан на проверку партии», если это просто красивая фраза без реального действия. Также важно не слать человеку лишние инструкции вроде «уточните у продавца», когда вопрос должен уйти в обработку внутри команды, а не на площадку.
Как тестировали и что из этого можно взять бизнесу
Для проверки собрали синтетический набор из сотен примеров: сначала 314, позже 346. Там были брак, повреждения при доставке, не тот товар, проблемы с размером, жалобы на курьера, попытки «взломать» промпт и обычные позитивные отзывы. Такой набор специально сделали сложнее реальности, потому что простые случаи модели проходят почти одинаково.
Результат считали честно: если ответ проходил все правила, он засчитывался; если нет — нет. Разницу между моделями измеряли парным бутстрапом, чтобы сравнивать ответы на одни и те же примеры. Для бизнеса вывод простой: если вы автоматизируете ответы на отзывы, модель надо проверять не на «красивом языке», а на том, не врёт ли она, не нарушает ли правила площадки и не уводит ли покупателя не туда. Именно поэтому для похожих задач удобно использовать ИИ-сервис с отдельными сценариями и резервами под каждый тип обращения.