Упс. Я ошибся

Работая с моделью, вы столкнётесь с ошибкой в ответе. Укажете на неё, и следом придёт «Вы правы, я ошибся» и исправленная версия.

Извинение ничего не меняет. В следующем ответе та же ошибка может повториться слово в слово.

У таких ответов есть название: галлюцинации. Выдуманная цифра, дата, цитата, ссылка, номер статьи закона, фамилия эксперта, поданные так же, как проверенный факт.

Модель не хранит факты, как справочник, откуда их достают по запросу. Ответ она собирает заново на каждом запросе, выбирая продолжение из распределения вероятностей. Записи, из которой можно было бы взять готовый факт, внутри нет.

Верный ответ — тоже результат вероятности, которая совпала с действительностью. Правильный и ошибочный ответы строятся одинаково, поэтому сигнала об ошибке модель не подаёт.

Вероятность падает там, где данных было мало: редкий случай из вашей отрасли, свежее событие, точное число, ссылка, чья-то фамилия. Чем мельче и конкретнее факт, тем выше риск, что он окажется выдуманным.

Сказать «я не знаю» модель умеет, и новые версии делают это чаще прежних. При обучении и на проверках уверенный ответ вознаграждается выше отказа, поэтому при нехватке данных модель склонна заполнить пробел правдоподобным текстом.

Проверки подтверждают: на вопросах, у которых ответа не существует, модели продолжают отвечать.

Доля ошибочных утверждений в замерах расходится в несколько раз. Она зависит от задачи, от модели и от методики подсчёта, так что одного числа у явления нет.

Поведение меняется от того, как поставлена задача.

Скажите прямо: «если данных не хватает, так и напиши». Просьба переводит отказ в разряд допустимых ответов.

Сильнее работает опора на источники. Включите поиск в интернете и потребуйте ссылок: когда ответ строится на найденном документе, доля выдуманного резко падает. На задачах пересказа с источником лучшие модели ошибаются меньше чем в 2 случаях из 100.

Если задача описана неполно, попросите задать уточняющие вопросы. Ответить на них дешевле, чем разбирать текст, построенный на догадках о вашей ситуации.