Qwen и FRIDA Decisions ускоряют выбор ответов на русском

Сбер представил FRIDA Decisions — открытую модель, которая быстро принимает решения на русском языке без генерации текста. Она подходит для модерации, маршрутизации обращений, разметки данных и ранжирования в RAG, а по качеству на своем бенчмарке почти догоняет коммерческий API и большую LLM.

Что умеет FRIDA Decisions

FRIDA Decisions отвечает не текстом, а выбором из заранее заданных вариантов. Модель может определить один класс из списка, поставить оценку по шкале, ответить «да» или «нет», а также упорядочить кандидатов в одном проходе энкодера.

Это делает её полезной там, где раньше для простого решения использовали большую языковую модель: при сортировке тикетов, проверке спама, выборе нужного инструмента, модерации сообщений и поиске релевантных фрагментов для RAG. Вместо длинного ответа и разбора JSON система сразу возвращает вероятности и итоговый вариант.

Почему это быстрее и дешевле

По данным статьи, модель отвечает за 28–34 мс на RTX 5060 Ti. Для сравнения, у коммерческого API независимые замеры показывают около 430 мс с учетом сети. Авторы также указывают, что при полной загрузке арендуемой карты один запрос выходит почти в 20 раз дешевле.

Есть и практический плюс по объему задач: несколько вариантов ответа кодируются одной последовательностью, поэтому токенов тратится меньше. В примере с тремя вопросами это примерно в 6 раз экономнее, а каталог из 243 интентов модель разбирает за 0,44 секунды вместо 4,65 секунды.

Что внутри и как это запустить

Основа FRIDA Decisions — FRIDA, русскоязычная эмбеддинг-модель на архитектуре FRED-T5. Её дообучили из эмбеддера в кросс-энкодер: модель смотрит на текст, вопрос и каждый вариант ответа вместе, а на выходе оценивает, какой вариант подходит лучше.

Проект выложен открыто: веса и код инференса доступны под MIT, есть ONNX-версия для CPU, запуск на Mac через MLX и vLLM-сервер. Для работы хватает примерно 2 ГБ видеопамяти, а без видеокарты int8-версия в ONNX работает примерно за 0,9 секунды на шести потоках.

Как оценили качество

Для русского языка авторы собрали бенчмарк razvilka: 735 примеров, 15 задач, все четыре типа вопросов и разметка из опубликованных русских корпусов. Спорные примеры удалили, а вместе с репозиторием выложили скрипт подсчета и тетрадку для прогона любой модели.

На этом тесте FRIDA Decisions набрала 0,893. Коммерческий API TypeSafe Jev показал 0,897, то есть разница минимальна. При этом модель заметно опережает открытые решения того же класса и может стать удобной заменой LLM там, где нужен быстрый и недорогой автоматический выбор ответа.