Новости Kimi

Kimi помог собрать локальный RAG без лишних токенов

Локальная рабочая станция с кодом и базой данных для поиска по проектам

AI/ML-инженер из Самары показал, как можно хранить и искать большие объёмы заметок и кода без облачных баз и платных API. Для этого он собрал локальный RAG на SQLite, который держит 72 450 чанков и быстро помогает находить нужные файлы в проектах.

Почему автор отказался от облачных решений

У автора накопилось много проектов, и обычная работа с контекстом в чате стала неудобной: нужные детали начали теряться. Вместо привычной схемы с LangChain, OpenAI API и внешней векторной базой он решил сделать всё локально, чтобы не платить за каждый запрос и не усложнять систему лишними слоями.

В основе решения — Python 3.12, SQLite с режимом WAL и MCP-сервер через stdio. Поиск построен как гибридный: плотные векторы сочетаются с лексическим BM25, а результаты объединяются через RRF. Это позволило держать память и поиск на своём компьютере, без облака и без открытых портов.

Как он хранит 72 тысячи чанков в одном файле

Главная особенность подхода в том, что векторы лежат прямо в SQLite как бинарные BLOB в формате float32. На один чанк уходит 128 чисел, то есть примерно 512 байт. В итоге база из 72 450 чанков по 18 проектам занимает около 110 МБ на диске и в простое не ест оперативную память.

Для пользователя это означает простую схему: один файл базы, быстрый локальный поиск и возможность не зависеть от платных сервисов. По словам автора, семантический поиск по всему массиву занимает около 50 миллисекунд на обычном процессоре.

Какие проблемы пришлось чинить по ходу

В статье автор отдельно разбирает ошибки, которые часто встречаются в реальных проектах. Например, при поиске всплыла несовместимость размерностей эмбеддингов: данные были сохранены с размерностью 128, а запросы иногда приходили с 384. Чтобы не переиндексировать всё заново при смене модели, он сделал адаптацию размерностей на лету — с обрезкой или дополнением нулями.

Ещё одна проблема оказалась связана с путями Windows: поиск по LIKE на строках с обратными слэшами иногда возвращал пустой результат. Вместо этого он перешёл на INSTR, а чтобы чужие проекты не забивали выдачу, добавил фильтрацию по project_id прямо в SQL. Это особенно важно, когда рядом лежат большие репозитории, вроде n8n с десятками тысяч чанков.

Зачем такой RAG реально нужен

Главный вывод автора — RAG не всегда должен заменять прямое чтение файлов. Если нужно быстро открыть конкретную строку в текущем репозитории, проще сразу читать файл или искать по нему напрямую. Векторный поиск полезен скорее как навигатор по большим архивам и внешним проектам, где файлов слишком много.

Именно поэтому он разделил сценарии: текущий код читается напрямую, а RAG используется, чтобы быстро понять, где вообще лежит нужная логика — например, в каком файле искать формулы, константы или отдельные части сборки. Такой подход экономит токены, ускоряет работу и помогает не перегружать контекст лишним шумом.

Частые вопросы

Что здесь сделал автор простыми словами?
Он собрал локальную систему поиска по своим проектам, чтобы не гонять каждый запрос через платные облачные API. Всё хранится и ищется на его компьютере в SQLite.
Чем полезен такой подход обычному разработчику?
Он экономит деньги на токенах, ускоряет поиск по большим папкам и уменьшает зависимость от внешних сервисов. Это удобно, если проектов много и нужно быстро находить старые куски кода или заметки.
Почему автор не использовал только обычный поиск по файлам?
Потому что в больших архивах точный поиск по ключевым словам не всегда помогает понять, где скрыта нужная логика. Гибридный RAG быстрее показывает подходящие места, а потом можно открыть уже конкретные файлы.
Подойдёт ли это не только для кода?
Да, похожая схема полезна для любых больших личных архивов: документации, заметок, исследований, рабочих материалов. Особенно если важно быстро находить смысл, а не только точное совпадение слов.

Читайте также

Попробовать Lord GPT бесплатно →