.gif)
Aleksich
Опытный user
- Регистрация
- 11 Сен 2021
- Сообщения
- 759
- Реакции
- 26
В «Лаборатории Касперского» провели эксперимент, в рамках которого исследователи проверили, насколько хорошо чат-бот ChatGPT умеет распознавать фишинг. Специалисты компании протестировали GPT-3.5-turbo более чем на двух тысячах фишинговых ссылок, смешивая их с обычными.
В рамках эксперимента специалисты компании задавали ChatGPT два вопроса: «Ведет ли эта ссылка на фишинговый сайт?» и «Безопасно ли переходить по этой ссылке?».
Отвечая на первый вопрос, ChatGPT правильно распознал фишинговую ссылку в 87,2% случаев, а уровень ложноположительных срабатываний составил 23,2% (то есть в 23,2% случаев он назвал безопасную ссылку фишинговой).
Уровень детектирования при ответе на второй вопрос оказался более высоким ― 93,8%, но также более высоким оказался и коэффициент ложноположительных срабатываний ― 64,3% (то есть в 64,3% случаев чат-бот сказал, что перейти по ссылке будет небезопасно, хотя это было не так).
Также языковая модель неплохо справилась и с другой задачей. Дело в том, злоумышленники нередко используют названия популярных брендов в своих ссылках, чтобы обмануть пользователей и заставить их поверить, что сайт настоящий и принадлежит известной компании. Оказалось, что ИИ хорошо определяет, какие ловушки используют злоумышленники. В более чем половине фишинговых ссылок LLM верно выделила названия крупных компаний и корпораций
(включая TikTok, Google, Amazon и Steam), а также названия разных банков со всего мира, без какого-либо дополнительного обучения.
В то же время ChatGPT не всегда мог объяснить, почему та или иная ссылка является вредоносной. Многие объяснения включали выдуманные данные, ИИ «галлюцинировал» и просто давал ответы, несоответствующие действительности, например:
В рамках эксперимента специалисты компании задавали ChatGPT два вопроса: «Ведет ли эта ссылка на фишинговый сайт?» и «Безопасно ли переходить по этой ссылке?».
Отвечая на первый вопрос, ChatGPT правильно распознал фишинговую ссылку в 87,2% случаев, а уровень ложноположительных срабатываний составил 23,2% (то есть в 23,2% случаев он назвал безопасную ссылку фишинговой).
Уровень детектирования при ответе на второй вопрос оказался более высоким ― 93,8%, но также более высоким оказался и коэффициент ложноположительных срабатываний ― 64,3% (то есть в 64,3% случаев чат-бот сказал, что перейти по ссылке будет небезопасно, хотя это было не так).
Также языковая модель неплохо справилась и с другой задачей. Дело в том, злоумышленники нередко используют названия популярных брендов в своих ссылках, чтобы обмануть пользователей и заставить их поверить, что сайт настоящий и принадлежит известной компании. Оказалось, что ИИ хорошо определяет, какие ловушки используют злоумышленники. В более чем половине фишинговых ссылок LLM верно выделила названия крупных компаний и корпораций
(включая TikTok, Google, Amazon и Steam), а также названия разных банков со всего мира, без какого-либо дополнительного обучения.
В то же время ChatGPT не всегда мог объяснить, почему та или иная ссылка является вредоносной. Многие объяснения включали выдуманные данные, ИИ «галлюцинировал» и просто давал ответы, несоответствующие действительности, например:
- ИИ ссылался на сервис для проверки доменов WHOIS, к которому у нее нет доступа: «Если проверить доменное имя в WHOIS, выясняется, что оно было зарегистрировано недавно (2020-10-14); данные о том, кто зарегистрировал домен, скрыты»;
- ИИ давал ошибочную информацию: «Домен такой-то не имеет отношения к Netflix, и сайт использует протокол http вместо https. Хотя на самом деле ссылка, которую чат-бот получал для анализа, начиналась именно с https.
