Что делать, если сработало
Атаку через переопределение промпта видно по поведению чата. Он делает не то, о чём его просили.
Признаки
Насторожитесь, если заметили любое из этого:
- чат предлагает открыть ссылку, о которой вы не спрашивали;
- в ответе появилась картинка или адрес с длинным набором символов;
- чат сообщает, что отправил письмо или создал запись, хотя вы просили разобрать документ;
- разбор документа настойчиво хвалит один вариант вопреки тому, что вы прочитали сами;
- чат отвечает, что не может рассказать вам о части своей работы.
Последний оборот встречается в спрятанных инструкциях особенно часто.
Первые действия
Остановите разговор. Не отправляйте новых сообщений в этот чат и не просите объяснений: инструкция всё ещё в переписке и будет выполняться дальше.
Отключите коннекторы, если вы их подключали. Это закрывает доступ к почте и файлам сразу, не дожидаясь разбора.
Сообщите в службу безопасности или руководителю. Скажите, какой документ или письмо разбирали и что чат сделал.
Чего делать не нужно
Не проверяйте атаку повторно «чтобы убедиться». Повтор выполняет инструкцию ещё раз.
Не пересылайте заражённый документ коллегам с подписью «посмотрите, что тут». Их чат прочитает то же самое.
Не считайте случившееся своей виной. Эти атаки рассчитаны на обычную рабочую невнимательность, и в двух разобранных случаях от пользователя не требовалось вообще ничего.