GigaChat и модель решений: как быстро автоматизировать выбор
Открытые модели решений научились быстро разбирать типовые бизнес-ситуации: кому отправить заявку, что согласовать и когда подключать человека. Автор статьи проверил такой подход на русском языке, дообучив небольшую модель за вечер аренды GPU и сравнив её с GigaChat, YandexGPT и открытыми аналогами.
Что вообще умеют модели решений
В бизнесе многие задачи сводятся не к написанию текста, а к выбору варианта ответа. Это может быть маршрутизация обращения в нужный отдел, проверка жалобы на срочность, согласование командировки или определение, положена ли компенсация.
Для таких сценариев обычную большую языковую модель часто заставляют отвечать абзацем, а потом отдельно вытаскивают из ответа нужный вариант. Это работает, но выходит медленно, дорого и не всегда предсказуемо. Модели решений устроены проще: на вход они получают описание ситуации и список вариантов, а на выходе сразу дают вероятности каждого ответа без генерации текста.
Что сделал автор и почему это важно
Автор взял открытую модель на 4 миллиарда параметров, дообучил её на русских задачах и уложился в несколько сотен рублей за аренду видеокарты. Затем он сравнил результат с OpenJev-подобными решениями, а также с YandexGPT и GigaChat, включая тесты на задачах, которых не было в обучении ни у одной из моделей.
На своих задачах модель показала 84,5% точности и смогла перевести почти две трети потока на автоматическую обработку при пороге 95% правильных решений. На чужих тестах она вошла в сильную группу, но лидером не стала. Для бизнеса это хороший ориентир: такие системы могут разгрузить сотрудников, если заранее понять, где модель уверена достаточно, а где лучше оставить ручную проверку.
Где у подхода есть ограничения
У модели решений есть и слабые места. Сами веса закрыты у оригинального Jev, поэтому решение нельзя нормально объяснить постфактум. Для сфер вроде найма, кредитов и других чувствительных процессов это серьёзный минус.
Ещё одна проблема — доверие к метрикам. Автор отдельно подчёркивает, что от подрядчика стоит требовать не только красивую точность, но и калибровку уверенности, тесты на новых задачах и понятный способ определить порог автоматизации. В статье также отмечено, что данные у внешнего сервиса и у компаний сразу возникают вопросы по 152-ФЗ, оплате зарубежных сервисов и доступности решения в будущем.