Kimi помог собрать локальный RAG без лишних токенов
AI/ML-инженер из Самары показал, как можно хранить и искать большие объёмы заметок и кода без облачных баз и платных API. Для этого он собрал локальный RAG на SQLite, который держит 72 450 чанков и быстро помогает находить нужные файлы в проектах.
Почему автор отказался от облачных решений
У автора накопилось много проектов, и обычная работа с контекстом в чате стала неудобной: нужные детали начали теряться. Вместо привычной схемы с LangChain, OpenAI API и внешней векторной базой он решил сделать всё локально, чтобы не платить за каждый запрос и не усложнять систему лишними слоями.
В основе решения — Python 3.12, SQLite с режимом WAL и MCP-сервер через stdio. Поиск построен как гибридный: плотные векторы сочетаются с лексическим BM25, а результаты объединяются через RRF. Это позволило держать память и поиск на своём компьютере, без облака и без открытых портов.
Как он хранит 72 тысячи чанков в одном файле
Главная особенность подхода в том, что векторы лежат прямо в SQLite как бинарные BLOB в формате float32. На один чанк уходит 128 чисел, то есть примерно 512 байт. В итоге база из 72 450 чанков по 18 проектам занимает около 110 МБ на диске и в простое не ест оперативную память.
Для пользователя это означает простую схему: один файл базы, быстрый локальный поиск и возможность не зависеть от платных сервисов. По словам автора, семантический поиск по всему массиву занимает около 50 миллисекунд на обычном процессоре.
Какие проблемы пришлось чинить по ходу
В статье автор отдельно разбирает ошибки, которые часто встречаются в реальных проектах. Например, при поиске всплыла несовместимость размерностей эмбеддингов: данные были сохранены с размерностью 128, а запросы иногда приходили с 384. Чтобы не переиндексировать всё заново при смене модели, он сделал адаптацию размерностей на лету — с обрезкой или дополнением нулями.
Ещё одна проблема оказалась связана с путями Windows: поиск по LIKE на строках с обратными слэшами иногда возвращал пустой результат. Вместо этого он перешёл на INSTR, а чтобы чужие проекты не забивали выдачу, добавил фильтрацию по project_id прямо в SQL. Это особенно важно, когда рядом лежат большие репозитории, вроде n8n с десятками тысяч чанков.
Зачем такой RAG реально нужен
Главный вывод автора — RAG не всегда должен заменять прямое чтение файлов. Если нужно быстро открыть конкретную строку в текущем репозитории, проще сразу читать файл или искать по нему напрямую. Векторный поиск полезен скорее как навигатор по большим архивам и внешним проектам, где файлов слишком много.
Именно поэтому он разделил сценарии: текущий код читается напрямую, а RAG используется, чтобы быстро понять, где вообще лежит нужная логика — например, в каком файле искать формулы, константы или отдельные части сборки. Такой подход экономит токены, ускоряет работу и помогает не перегружать контекст лишним шумом.