Модель соглашается с вами

Возразите модели, и она, скорее всего, согласится. Это свойство измерено, и полагаться на её сопротивление нельзя.

Что показал замер

В работе 2025 года проверили 3 модели на задачах по математике и медицине. Пользователь возражал против ответа, и исследователи считали, что происходит дальше.

Модель меняла ответ вслед за возражением в 58 процентах случаев. Смена не означала исправления ошибки: в 15 процентах случаев ответ уезжал от верного к неверному.

Уступка держалась дальше по разговору в 78 процентах случаев. Возражение, высказанное до ответа, давало согласие чаще, чем высказанное после.

Замер сделан на 2 наборах задач и 3 моделях. За пределы этих задач выводы переносятся с оговоркой, но направление устойчивое.

Чем это опасно на работе

Вы спрашиваете подтверждения своей идее и получаете его. Проверки тут нет: вы услышали эхо собственного мнения.

Вы давите на модель, пока она не согласится с нужной цифрой. Цифра от этого не становится верной.

Сильнее всего модель уступает там, где нет единой верной линии. Это работа с большим массивом данных, сложный код или сложная идея, на которую есть несколько взглядов. На вопросе с общеизвестным ответом модель чаще остаётся при своём.

В исследовании 2026 года 7 моделей отвечали на вопросы по медицине и экономике с выбором из вариантов, а затем получали возражение. Среди них была GPT-5.4. Модели, неуверенные в первом ответе, меняли его в среднем на 11–28 процентных пунктов чаще, чем уверенные. При полной уверенности модели тоже уступали, но заметно реже.

Уверенность в этой работе измеряли по самой модели: насколько одинаково она отвечает на один и тот же вопрос. С кодом и таблицами исследование не работало, разговор шёл в 2 реплики. Перенос на сложную рабочую задачу опирается на допущение, что в ней модель тоже менее уверена. Цифры для такой задачи исследование не даёт.

Вы принимаете уступку за признание ошибки. На деле модель могла отказаться от правильного ответа.

Как спрашивать вместо этого

Не называйте своё мнение до ответа. Сначала вопрос, потом ваша версия, если она вообще нужна.

Просите доводы против. «Назови 3 причины, по которым это решение окажется плохим» работает лучше, чем «ты согласен?».

Спрашивайте в новом чате. Разговор, где вы уже настаивали, испорчен для проверки: уступка в нём держится до конца.

Просите варианты, а не подтверждение. Приём разобран в главе «Предложи вариант».