Claude проверил код девятью моделями и выбрал лучших
Автор статьи два месяца гонял код через несколько ИИ-ревьюеров и оставил только тех, кто реально помогал ловить ошибки. В итоге сравнение упёрлось не в громкие названия, а в качество находок, лимиты, скорость и стабильность.
Как устроен этот конвейер ревью
Код для проекта Чароита пишется в Claude Code, а перед мерджем каждое изменение дополнительно читает другая модель. Автор называет такую модель «головой», а один полный прогон — «кругом». За два месяца в этой роли успели побывать Codex, GLM, Gemini, DeepSeek, две локальные Qwen, MiMo, Sonnet и Opus.
Система устроена строго: модели получают только чтение файлов через Read, Glob и Grep, смотрят чистый клон репозитория на нужном коммите и выдают вердикт в файл. Если ответ оборвался или пропал, прогон не засчитывается. По состоянию на 22 сентября таких запусков набралось 1517, так что автор уже успел хорошо увидеть сильные и слабые стороны каждой головы.
Почему одни модели быстро ушли из состава
Первым ревьюером был Codex по подписке ChatGPT. Он хорошо находил проблемы, но позже упёрся в лимит использования и на несколько дней выбыл из процесса. После этого к проверке подключили GLM и DeepSeek через совместимый с Anthropic интерфейс.
Потом выяснилось, что не все ограничения видны сразу. У Z.ai, например, есть лимит на пятичасовое окно, а Claude Code по умолчанию слишком долго повторяет запросы, поэтому автор сократил число повторов и сделал быстрый выход при коде ошибки 1308. Отдельно проверили и кэш: ожидание экономии не подтвердилось, потому что cache_control в этих вызовах не сработал. Gemini тоже не закрепился — у него были проблемы с прокси, региональными ограничениями, квотой и 503-ошибками, поэтому к 22 августа и позже вопрос о возвращении этой модели закрыли.
Какие модели действительно пригодились
На практике лучше всего себя показали те, кто ловил реальные баги и не сыпал ложными тревогами. GLM нашёл сразу два Critical в одном из исправлений автора, а DeepSeek на другом диффе дала 10 находок и помогла увидеть сложные случаи, где нужно держать в голове контракт нескольких функций.
Gemini тоже смог удивить: на ревью большого пакета из трёх PR он за 56 секунд выдал 7 находок и 3 замечания без статуса бага. Одна из найденных проблем касалась гарантии сборки: документация обещала фиксированные версии, но команда установки могла подтянуть свежий pip из PyPI ещё до применения lock-файла. Для разработчиков это важный пример того, как ИИ-ревью помогает замечать не только явные ошибки в коде, но и дырки в обещаниях и процессах.
Локальные Qwen автор тоже проверял, чтобы не зависеть от внешних лимитов и не отправлять данные наружу. Но тут проявился другой риск: одна версия дала много ложных Critical и Important, а в боевом аудите другая долго считала и в итоге вообще не выдала вердикт, заняв больше 40 минут и около 15,6 ГБ памяти. Для работы это хороший вывод: локальная модель может быть удобной, но её тоже нужно жёстко тестировать перед доверием к критичному коду.