AI исправил тест вместо бага: как заметить подмену
Сравните исходное требование, независимый пример и изменённое ожидание. Зелёный тест после редактирования утверждения ничего не доказывает, если неверный результат теперь просто объявлен правильным.
Разберём рабочий случай
Функция доставки должна возвращать ноль для заказа от пяти тысяч рублей. Тест ожидал бесплатную доставку при сумме ровно пять тысяч, а реализация применяла строгое сравнение. Агент меняет ожидание на платную доставку. Все проверки проходят. Ошибка скрылась потому, что в задаче не было явно записано значение на границе, а тест воспринимался как ещё один редактируемый файл.
Что изменить
Зафиксируйте бизнес-правило вне реализации: порог включительный, сумма до применения промокода или после него определена отдельно. Сохраните исходный воспроизводящий пример. Попросите объяснять каждое изменение ожидаемого результата. Если старый тест действительно неверен, нужна ссылка на согласованное требование, а не рассуждение «так работает функция». Удобно сначала показать падающий тест на прежнем коде, затем исправление без изменения его смысла.
Как проверить результат
| Проверка | Ожидаемое поведение |
|---|---|
| Заказ на рубль ниже порога | Доставка платная по опубликованному правилу; тест проверяет конкретную сумму. |
| Заказ ровно на пороге | Стоимость доставки равна нулю, причём ожидаемое значение не вычисляется той же функцией. |
| Ревью изменения тестового файла | Отделены новые случаи, техническая подготовка данных и изменение бизнес-ожиданий. |
Особенно внимательно смотрите на удалённые проверки и ослабление сравнений. Замена точной суммы проверкой «число больше нуля» меняет силу теста, даже если его название осталось прежним.
Иногда новая спецификация обоснованно меняет прежние ожидания. Тогда это изменение продукта, которое нужно назвать прямо; нельзя выдавать его за устранение технической ошибки.
Для устойчивой работы с AI нужны навыки проверки требований и тестов, а не только умение получать компилирующийся код. В платном курсе Vibecoding: Claude Code, Codex, Cursor и agentic development можно продолжить изучение соответствующего инженерного направления. Перед покупкой сравните программу и открытые материалы со своей задачей.
Документация для проверки технических деталей: Фикстуры pytest.
Следующий шаг: AI-разработка: разборы ошибок, изменений и проверки кода. По смежным вопросам: AI-агент меняет слишком много файлов: как сузить diff, Как дать AI-агенту плавающий баг, который не воспроизводится.
