Новости Claude

Claude дома: как запустить быстрый локальный LLM на ПК

Рабочее место с двумя мониторами, кодом, видеокартой и комплектующими для запуска локальной LLM

Автор заметки показал, что на обычном игровом компьютере можно поднять локальную модель для кода без дорогого сервера. Для этого он использовал Strata, 16 ГБ видеопамяти и 64 ГБ оперативной памяти, а затем проверил систему на реальных задачах вроде написания игр и работы с проектом в OpenCode.

Почему обычные локальные LLM часто разочаровывают

В начале заметки описан знакомый сценарий: ставишь текстовую нейросеть дома, запускаешь относительно небольшую модель, получаешь нормальную скорость на простых демо-задачах, а потом пробуешь работать с реальным проектом — и всё начинает разваливаться. Когда модель не помещается целиком в 16 ГБ видеопамяти, часть её слоёв уезжает в оперативную память, из-за чего производительность резко проседает.

Автор сравнил это на примере Qwen3.8-27B в LM Studio. При контексте 8K модель работала со скоростью около 5–8 токенов в секунду, но уже через 23 минуты выдала ошибку, потому что ей не хватило контекста, чтобы нормально завершить задачу. Для игрушек вроде сапёра или змейки этого ещё хватает, а вот для серьёзной разработки — уже нет.

Что даёт Strata и чем он отличается

Решением в статье стал движок Strata, рассчитанный на архитектуры Qwen3.8-Flash-Next и будущую Qwen4. Его идея в том, что самые нужные эксперты остаются в видеопамяти, менее востребованные лежат в RAM, а большая справочная таблица хранится на SSD. За счёт этого модель объёмом больше 50 ГБ может работать даже на обычном игровом ПК и при этом держать контекст до 512K — а для работы с кодом это очень важно.

Автор отдельно подчёркивает, что Strata не делает магию и не “переизобретает” LLM. Это скорее удобный и более простой способ распределять память между VRAM и RAM. Похожие механизмы есть и в других инструментах, но здесь упор сделан на простоту запуска, особенно для новичков.

Что получилось на практике и кому это пригодится

В тесте на Strata автор запустил Qwen3.8-Flash-Next в IQ3_S-квантовании с контекстом 512K. На задачу ушло 56 секунд и 24,7K контекста, а скорость держалась примерно от 70 до 35 токенов в секунду. Сначала модель собрала рабочую версию сапёра, потом наводила визуальный порядок, а затем ещё и сделала бильярд — тоже в два шага: сначала прототип, потом улучшение внешнего вида.

Интересно, что всё это демонстрировалось не на RTX 5060 Ti, а на RTX 2000 ADA 16 GB с 64 ГБ DDR5 и Ryzen 7945HX. Автор прямо указывает: на RTX 5060 Ti результат должен быть ещё лучше. Для разработчиков это полезно тем, что локальная модель может помогать с кодом без постоянной потери контекста, а для обычных пользователей — тем, что экспериментировать с ИИ можно дома, не покупая дорогую рабочую станцию или удалённый сервер.

Частые вопросы

Зачем вообще запускать такую модель локально, если есть облачные сервисы?
Локальный запуск полезен, когда важны приватность, контроль над данными и возможность работать без постоянной зависимости от внешнего сервиса. Ещё это удобно для экспериментов с кодом и автоматизацией задач на своём ПК.
Почему обычные модели на 16 ГБ VRAM часто работают медленно?
Потому что всё, что не помещается в видеопамять, приходится выгружать в оперативную память. Это резко снижает скорость и делает работу с длинным контекстом некомфортной.
Что именно делает Strata лучше для кода?
Он рассчитан на длинный контекст, вплоть до 512K, и не требует постоянно гонять все веса между VRAM и RAM. Из-за этого модель лучше подходит для больших проектов, где важно не терять нить разговора и помнить уже сделанные шаги.
Кому такой домашний LLM будет полезен на практике?
Разработчикам, которые хотят помощника для кода, маркетологам и офисным сотрудникам — для черновиков, идей и автоматизации рутинных задач. Но особенно полезен он тем, кто работает с большими текстами, сценариями или проектами, где нужен длинный контекст.

Читайте также

Попробовать Lord GPT бесплатно →