Claude дома: как запустить быстрый локальный LLM на ПК
Автор заметки показал, что на обычном игровом компьютере можно поднять локальную модель для кода без дорогого сервера. Для этого он использовал Strata, 16 ГБ видеопамяти и 64 ГБ оперативной памяти, а затем проверил систему на реальных задачах вроде написания игр и работы с проектом в OpenCode.
Почему обычные локальные LLM часто разочаровывают
В начале заметки описан знакомый сценарий: ставишь текстовую нейросеть дома, запускаешь относительно небольшую модель, получаешь нормальную скорость на простых демо-задачах, а потом пробуешь работать с реальным проектом — и всё начинает разваливаться. Когда модель не помещается целиком в 16 ГБ видеопамяти, часть её слоёв уезжает в оперативную память, из-за чего производительность резко проседает.
Автор сравнил это на примере Qwen3.8-27B в LM Studio. При контексте 8K модель работала со скоростью около 5–8 токенов в секунду, но уже через 23 минуты выдала ошибку, потому что ей не хватило контекста, чтобы нормально завершить задачу. Для игрушек вроде сапёра или змейки этого ещё хватает, а вот для серьёзной разработки — уже нет.
Что даёт Strata и чем он отличается
Решением в статье стал движок Strata, рассчитанный на архитектуры Qwen3.8-Flash-Next и будущую Qwen4. Его идея в том, что самые нужные эксперты остаются в видеопамяти, менее востребованные лежат в RAM, а большая справочная таблица хранится на SSD. За счёт этого модель объёмом больше 50 ГБ может работать даже на обычном игровом ПК и при этом держать контекст до 512K — а для работы с кодом это очень важно.
Автор отдельно подчёркивает, что Strata не делает магию и не “переизобретает” LLM. Это скорее удобный и более простой способ распределять память между VRAM и RAM. Похожие механизмы есть и в других инструментах, но здесь упор сделан на простоту запуска, особенно для новичков.
Что получилось на практике и кому это пригодится
В тесте на Strata автор запустил Qwen3.8-Flash-Next в IQ3_S-квантовании с контекстом 512K. На задачу ушло 56 секунд и 24,7K контекста, а скорость держалась примерно от 70 до 35 токенов в секунду. Сначала модель собрала рабочую версию сапёра, потом наводила визуальный порядок, а затем ещё и сделала бильярд — тоже в два шага: сначала прототип, потом улучшение внешнего вида.
Интересно, что всё это демонстрировалось не на RTX 5060 Ti, а на RTX 2000 ADA 16 GB с 64 ГБ DDR5 и Ryzen 7945HX. Автор прямо указывает: на RTX 5060 Ti результат должен быть ещё лучше. Для разработчиков это полезно тем, что локальная модель может помогать с кодом без постоянной потери контекста, а для обычных пользователей — тем, что экспериментировать с ИИ можно дома, не покупая дорогую рабочую станцию или удалённый сервер.