Сделал вещь, за которую сам себе готов медаль вручить: вместо того, чтобы гадать, что именно ломает модель на стадии ответа - просто попросить её сказать это саму!

В итоге я просто даю исходный промт, пример как я хочу, пример как получается, и прошу модель раскритиковать промт.

И МОДЕЛЬ НАШЛА ПРИЧИНУ!

Более того, потом вывод этой модели я прогнал через Claude Opus и он подтвердил догадку. Все модели, кстати, одинаково назвали ситуацию “параличем факт-чека”.

Ещё любопытно, что 3-flash честно признался, что для него это не большая проблема и он процессит всё до конца и смотрит сколько у него накопилось замечаний. Если их много - он просто принимает решение не молчать. При этом 3.7 доходит до этого места и просто останавливается, что экономит токены, но других плюсов не имеет.

В итоге я сделал импровизированный конвейер для мерджа в мастер: там у меня уже гоняются тесты и теперь есть +1 тест когда каждая из 2 моделей вычитывает свой полный промт если был коммит с его изменением - и если в нём находит критическое противоречие, то останавливает деплой.

Это очень интересно и я собой сегодня доволен.