Что делать, если сработало

Атаку через переопределение промпта видно по поведению чата. Он делает не то, о чём его просили.

Признаки

Насторожитесь, если заметили любое из этого:

  • чат предлагает открыть ссылку, о которой вы не спрашивали;
  • в ответе появилась картинка или адрес с длинным набором символов;
  • чат сообщает, что отправил письмо или создал запись, хотя вы просили разобрать документ;
  • разбор документа настойчиво хвалит один вариант вопреки тому, что вы прочитали сами;
  • чат отвечает, что не может рассказать вам о части своей работы.

Последний оборот встречается в спрятанных инструкциях особенно часто.

Первые действия

Остановите разговор. Не отправляйте новых сообщений в этот чат и не просите объяснений: инструкция всё ещё в переписке и будет выполняться дальше.

Отключите коннекторы, если вы их подключали. Это закрывает доступ к почте и файлам сразу, не дожидаясь разбора.

Сообщите в службу безопасности или руководителю. Скажите, какой документ или письмо разбирали и что чат сделал.

Чего делать не нужно

Не проверяйте атаку повторно «чтобы убедиться». Повтор выполняет инструкцию ещё раз.

Не пересылайте заражённый документ коллегам с подписью «посмотрите, что тут». Их чат прочитает то же самое.

Не считайте случившееся своей виной. Эти атаки рассчитаны на обычную рабочую невнимательность, и в двух разобранных случаях от пользователя не требовалось вообще ничего.