Почему длинный разговор портит ответы

Разговор не портится от возраста. Портит его длина, и причина в том, как устроена память.

У модели нет памяти

Сама модель ничего не помнит между сообщениями. Каждый запрос она обрабатывает с нуля, как если бы он был первым.

Память создаёт приложение вокруг неё. С каждым новым сообщением оно отправляет модели весь предыдущий разговор заново: все ваши реплики, все её ответы, все приложенные файлы. Модель читает это целиком и отвечает на последнее сообщение.

Отсюда и цена длинного разговора. Чем больше вы наговорили, тем больше текста уходит по сети на каждую реплику.

Удаление сообщения из окна не отменяет того, что оно уже уходило на сервер. Вы убираете его из будущих пересылок, а не из прошлых.

Предел длины разговора

У контекста есть предел, и он большой: в окно сегодняшней модели помещается документ на несколько сотен страниц. Рабочая переписка до этой границы доходит редко.

Большое окно предела не отменяет. Ответы становятся хуже раньше, чем окно заполнится целиком.

Когда разговор разрастается, ранние подробности начинают вытесняться, и модель опирается на то, что сказано позже.

На практике это выглядит так: на сороковой реплике возвращается условие, которое вы отменили на десятой. Или важная деталь из начала перестаёт учитываться в ответах.

Признаки, что пора остановиться: модель повторяется, путает ваши прежние правки, отвечает мимо вопроса или заново предлагает то, что вы уже отклонили.

Как переезжать в новый чат

Когда разговор стал слишком длинным, не продолжайте его по инерции.

Полученную сводку вставляете первым сообщением в новый разговор. Условия переехали, старая история осталась в прежнем чате.

Так же поступают, когда возвращаются к задаче через неделю: проще начать с короткой сводки, чем заставлять модель вычитывать 200 реплик старого обсуждения.