Всё про ChatGPT

ChatGPT восстановил Pomotroid в трёх API и показал разницу в цене

Рабочее место с кодом, распечатками и результатами тестирования приложения

В новом эксперименте одну и ту же задачу по восстановлению Electron-приложения автор прогнал через OpenAI, OpenRouter и TeamoRouter. Сравнили не только результат, но и то, сколько времени заняло решение и какие проверки прошли готовые версии.

Что именно проверяли

В качестве теста взяли Pomotroid v0.13.0 — настольный помодоро-таймер на Electron, который хранит логику в JavaScript и упакован в архив app.asar. Задача была не просто открыть код, а разобрать дистрибутив, заново собрать приложение и добавить полезные функции для обычного пользователя.

Автору было важно понять, умеет ли модель работать с большим контекстом, последовательными шагами и проверками. В этот раз сравнивали три варианта: официальный API OpenAI, а также OpenRouter и TeamoRouter, причём везде использовалась модель gpt-6-astra, а в OpenRouter — openai/gpt-6-astra.

Что должны были уметь готовые приложения

Сначала нужно было восстановить базовую работу таймера: старт, паузу, продолжение, сброс, переключение между работой и перерывами, учёт циклов, изменение длительности и сохранение настроек. Причём интерфейс и тестовый адаптер должны были опираться на одну и ту же логику, а не на отдельный «хитрый» механизм только ради прохождения тестов.

На втором этапе к приложению добавили импорт и экспорт JSON. В файл должны были попадать режим, оставшееся время, номер цикла и настройки, а после импорта таймер обязан был оставаться на паузе. Если формат неверный, версия не подходит или значения выходят за пределы, приложение должно было показать ошибку и ничего не ломать в текущем состоянии.

Результаты и сколько заняла задача

Все три варианта справились с двумя этапами и прошли одинаковый набор проверок. Скрипт прогнал девять тестов: от настроек по умолчанию и паузы до импорта, экспорта и обработки ошибочных данных. В итоге у всех трёх решений получился одинаковый результат — 70 из 70 баллов по автоматическим проверкам.

По времени официальный API OpenAI дошёл до базовой версии за 6 минут 23,1 секунды. OpenRouter справился за 6 минут 49,1 секунды, а TeamoRouter — за 8 минут 46,6 секунды. При этом 30 баллов в общей оценке ещё остаются за ручную проверку, поэтому итог пока не равен полным 100 из 100.

Что это значит на практике

Для разработчиков и команд такой эксперимент полезен как способ понять, насколько надёжно сторонний API ведёт себя на реальной многошаговой задаче: от анализа кода до запуска тестов. Для обычного пользователя здесь важен вывод попроще — ИИ уже умеет не только отвечать на вопросы, но и помогать собирать работающие приложения с сохранением состояния и проверками.

Если вам нужно быстро оживить старый проект, добавить импорт и экспорт данных или проверить, насколько модель справится с длинной задачей без потери логики, подобные сравнения помогают выбирать сервис осознаннее.

Частые вопросы

Почему в эксперименте выбрали не картинку, а приложение?
Потому что в приложении есть последовательные шаги, состояние, тесты и исправление кода. Это сложнее, чем одна генерация изображения, и лучше показывает качество работы модели через API.
Почему Pomotroid подходит для такого теста?
Это понятный настольный таймер, но в нём есть логика переходов между режимами, сохранение настроек и циклы. На такой задаче хорошо видно, умеет ли модель собирать цельное приложение, а не только писать отдельные куски кода.
Что проверяли автоматические тесты?
Они смотрели запуск, паузу, продолжение, сброс, смену режимов, сохранение настроек, импорт и экспорт, а также обработку неверного импорта. Всего было девять проверок.
Зачем вообще сравнивать OpenAI, OpenRouter и TeamoRouter?
Чтобы понять, как отличаются результат и скорость в работе через разные посредники и официальный API. Это полезно тем, кто выбирает сервис для реальных задач по программированию и автоматизации.

Читайте также

Попробовать Lord GPT бесплатно →