Claude и локальная Qwen: как 16 ГБ видеопамяти дали рывок
Локальная Qwen на рабочей станции с RTX 5080 и 16 ГБ видеопамяти сначала заметно проигрывала облачным моделям, но после настройки сервера и полной сборки весов смогла резко прибавить. На практике это важно всем, кто хочет запускать ИИ у себя и не зависеть от облака.
Что не сработало в первых тестах
Авторы уже проверяли модели на реальных задачах: работе с данными в электронном лабораторном журнале и исправлении ошибок в закрытых Delphi-проектах, включая X-Ray Calc и систему управления лабораторией. Результаты были разными, но локальные сборки уступали облачным лидерам.
В тесте по журналу ранняя версия Qwen 3.8 IQ2_XS набрала 8 из 24, то есть 33%, а gpt-oss-20b — 40%. В задачах по Delphi специализированная Qwen 3.8 Coder IQ1_M решила 16 из 20, но Claude Sonnet 5.5 взяла 19 из 20, так что запас для улучшения был заметный.
Где пряталась проблема
Разница оказалась не только в железе. При запуске урезанная сборка Qwen 3.8 Flash Next Coder IQ1_M была сильно сжата, а часть экспертов в слоях просто убрали, чтобы модель поместилась в память. На простых правках это почти не мешало, но на сложных задачах, где нужно удерживать несколько подсистем сразу, она начинала ошибаться.
Проблемы проявлялись, например, в сценариях с вложенными транзакциями FireDAC, пересчётом интерфейса трибометра, перепаковкой архивов проекта и проверкой обновлений с SHA-256. После этого авторы решили не мириться с урезанной версией и перешли на полную сборку Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS от ISTA-DASLab.
Что изменили и почему стало лучше
На том же компьютере нашли сразу две узкие настройки. Первая касалась памяти: сервер одновременно резервировал слишком много ОЗУ, из-за чего отключался кэш диалогов, а длинные сессии тормозили. После включения режима resident-experts и правильной настройки conversation-cache у модели осталось больше места для работы без лишних задержек.
Вторая проблема была в лимите ответов: рассуждение обрывалось слишком рано, и модель не успевала закончить план или вызвать нужный инструмент. Когда увеличили maxTokens до 16384 и отключили answer_room, локальная Qwen перестала застревать на полуслове и стала выдавать более полезные ответы. В итоге на том же железе она смогла работать заметно увереннее, чем раньше.