IBM: Искусственный интеллект против человеческого обмана: разгадка новой эры фишинговой тактики

Согласно последнему исследованию IBM, с использованием инструментов, основанных на генеративном искусственном интеллекте, мошенники могут сократить время, затрачиваемое на создание фишинговых писем, на 16 часов. Тем не менее, аналитики утверждают, что GenAI пока не может конкурировать с человеческой способностью создавать более убедительные и правдоподобные фишинговые сообщения. Специалист по социальной инженерии Стефани Каррутерс представила результаты своего нового проекта, целью которого было определить, способен ли искусственный интеллект обманывать, как человеческий разум. Она заметила, что для обмана модели искусственного интеллекта достаточно всего пяти простых указаний, и создание убедительного фишингового письма занимает всего 5 минут. Стефани Каррутерс отметила, что обычно команде требуется около 16 часов на создание фишингового письма. Согласно ей, атакующие могут сэкономить около двух дней, используя модели генеративного искусственного интеллекта. Несмотря на это, результаты исследования показали, что фишинговые письма, созданные человеком, имели немного более высокий процент переходов по ссылкам (14%), чем письма, сгенерированные искусственным интеллектом (11%). Кроме того, человеческие версии реже отмечались как мошеннические (52%) по сравнению с версией, созданной искусственным интеллектом (59%).

Злоумышленники, похоже, внедряют инновации почти так же быстро, как развиваются технологии. День ото дня и технологии, и угрозы стремительно развиваются. Сейчас, когда мы вступаем в эру искусственного интеллекта, машины не только имитируют поведение человека, но и проникают практически во все аспекты нашей жизни. Тем не менее, несмотря на растущую тревогу по поводу последствий использования искусственного интеллекта, полная степень его потенциального злоупотребления злоумышленниками в основном неизвестна.

Чтобы лучше понять, как злоумышленники могут извлечь выгоду из генеративного ИИ, мы провели исследовательский проект, который проливает свет на важнейший вопрос: обладают ли современные модели генеративного ИИ теми же обманчивыми способностями, что и человеческий разум?

Представьте сценарий, в котором искусственный интеллект противостоит людям в битве фишинга. Цель? Определить, кто из соперников может получить более высокий процент кликов в симуляции фишинга против организаций. Как человек, зарабатывающий на жизнь написанием фишинговых писем, я был рад узнать ответ.

Всего с помощью пяти простых подсказок мы смогли обмануть генеративную модель искусственного интеллекта и создать очень убедительные фишинговые электронные письма всего за пять минут — столько же времени мне требуется, чтобы сварить чашку кофе. Обычно моей команде требуется около 16 часов, чтобы создать фишинговое электронное письмо, и это без учета настройки инфраструктуры. Таким образом, злоумышленники потенциально могут сэкономить почти два дня работы, используя генеративные модели искусственного интеллекта. Фишинг, созданный искусственным интеллектом, был настолько убедительным, что почти превзошел фиш, созданный опытными социальными инженерами, но тот факт, что он даже на этом уровне, является важным достижением.

В этом блоге мы подробно расскажем, как создавались подсказки искусственного интеллекта, как проводилось тестирование и что это означает для атак социальной инженерии сегодня и завтра.

Раунд первый: возвышение машин

В одном углу у нас были фишинговые электронные письма, сгенерированные искусственным интеллектом, с очень хитрыми и убедительными описаниями.

Создание подсказок. В результате систематического процесса экспериментов и доработки был разработан набор всего из пяти подсказок, позволяющий ChatGPT генерировать фишинговые электронные письма, адаптированные к конкретным отраслям промышленности.

Для начала мы попросили ChatGPT подробно описать основные области, вызывающие озабоченность сотрудников в этих отраслях. После определения приоритетов отрасли и интересов сотрудников в качестве основного фокуса, мы предложили ChatGPT сделать стратегический выбор в отношении использования методов социальной инженерии и маркетинга в электронной почте. Эти решения были направлены на оптимизацию вероятности того, что большее число сотрудников перейдут по ссылке в самом электронном письме. Затем в подсказке ChatGPT был запрошен отправитель (например, кто-то внутри компании, поставщик, внешняя организация и т.д.). Наконец, мы попросили ChatGPT добавить следующие дополнения для создания фишингового электронного письма:

Главные проблемы сотрудников отрасли здравоохранения: карьерный рост, стабильность работы, выполнение поставленных задач и многое другое
Методы социальной инженерии, которые следует использовать: доверие, авторитет, социальное доказательство
Маркетинговые методы, которые следует использовать: персонализация, оптимизация для мобильных устройств, Призыв к действию
Человек или компания, за которую он должен выдавать себя: Внутренний менеджер по персоналу
Создание электронного письма: Учитывая всю информацию, указанную выше, ChatGPT сгенерировал приведенное ниже отредактированное электронное письмо, которое позже было отправлено моей командой более чем 800 сотрудникам.

У меня почти десятилетний опыт работы в социальной инженерии, я создал сотни фишинговых писем, и даже я нашел фишинговые письма, сгенерированные искусственным интеллектом, довольно убедительными. Фактически, было три организации, которые первоначально согласились участвовать в этом исследовательском проекте, и две полностью отказались от него после рассмотрения обоих фишинговых писем, поскольку ожидали высокого показателя успеха. Как показали подсказки, организация, участвовавшая в этом исследовании, работала в сфере здравоохранения, которая в настоящее время является одной из наиболее целевых отраслей.

Повышение производительности злоумышленников. В то время как на создание фишингового электронного письма моей команде обычно требуется около 16 часов, фишинговое электронное письмо с искусственным интеллектом было сгенерировано всего за пять минут с помощью всего пяти простых подсказок.

Раунд второй: человеческое прикосновение

В другом углу у нас были опытные социальные инженеры X-Force Red.

Вооруженные креативностью и щепоткой психологии, эти социальные инженеры создавали фишинговые электронные письма, которые находили отклик у их целей на личном уровне. Человеческий фактор придавал им атмосферу подлинности, которую часто трудно воспроизвести.

Шаг 1: OSINT – Наш подход к фишингу неизменно начинается с начального этапа получения разведданных с открытым исходным кодом (OSINT). OSINT – это поиск общедоступной информации, которая впоследствии подвергается тщательному анализу и служит основополагающим ресурсом при разработке кампаний социальной инженерии. Заслуживающие внимания хранилища данных для наших проектов OSINT включают такие платформы, как LinkedIn, официальный блог организации, Glassdoor и множество других источников.

В ходе нашей работы с OSINT мы успешно обнаружили запись в блоге, подробно описывающую недавний запуск программы оздоровления сотрудников, совпавший с завершением нескольких известных проектов. Отрадно, что эта программа получила положительные отзывы от сотрудников Glassdoor, свидетельствующие о ее эффективности и удовлетворенности сотрудников. Кроме того, мы определили человека, ответственного за управление программой, через LinkedIn.

Шаг 2: Создание электронной почты – Используя данные, собранные на этапе OSINT, мы приступили к тщательному созданию нашего фишингового электронного письма. В качестве основополагающего шага было крайне важно, чтобы мы выдавали себя за кого-то, обладающего полномочиями для эффективного обсуждения темы. Чтобы усилить ауру подлинности и фамильярности, мы включили законную ссылку на веб-сайт недавно завершенного проекта.

Чтобы усилить эффект убеждения, мы стратегически интегрировали элементы воспринимаемой срочности, введя “искусственные временные ограничения”. Мы довели до сведения получателей, что опрос, о котором идет речь, состоял всего лишь из “пяти кратких вопросов“, и заверили их, что для его завершения потребуется не более ”нескольких минут” их драгоценного времени, и указали крайний срок – “эта пятница”. Это преднамеренное обрамление призвано подчеркнуть минимальное вмешательство в их расписание, усиливая ненавязчивый характер нашего подхода.

Использование опроса в качестве предлога для фишинга обычно рискованно, поскольку его часто рассматривают как красный флаг или просто игнорируют. Однако, учитывая полученные нами данные, мы решили, что потенциальные выгоды могут перевесить связанные с ними риски.

Следующее отредактированное фишинговое электронное письмо было отправлено более чем 800 сотрудникам глобальной организации здравоохранения:

Чемпион: люди торжествуют, но едва ли!

После интенсивного раунда A / B тестирования результаты были очевидны: люди одержали победу, но с минимальным перевесом.

Хотя фишинговые электронные письма, созданные человеком, смогли превзойти искусственный интеллект, это было невероятно жесткое соревнование. Вот почему:

Эмоциональный интеллект: люди понимают эмоции так, как искусственный интеллект может только мечтать. Мы можем создавать повествования, которые задевают за живое и звучат более реалистично, повышая вероятность того, что получатели перейдут по вредоносной ссылке. Например, люди выбрали законный пример внутри организации, в то время как искусственный интеллект выбрал широкую тему, что сделало фишинг, созданный человеком, более правдоподобным.
Персонализация: В дополнение к включению имени получателя во вводную часть электронного письма, мы также предоставили ссылку на законную организацию, что дает ощутимые преимущества их сотрудникам.
Короткая и емкая тема письма: У фишинга, созданного человеком, была короткая и по существу строка темы электронного письма (“Опрос о состоянии здоровья сотрудников”), в то время как у фишинга, созданного искусственным интеллектом, была чрезвычайно длинная тема (“Открой свое будущее: ограниченные достижения в компании X”), что потенциально вызывало подозрения еще до того, как сотрудники открывали электронное письмо.

Фишинг, созданный искусственным интеллектом, не только проигрывал людям, но и чаще сообщался как подозрительный.

Результат на вынос: взгляд в будущее

Хотя X-Force не была свидетелем широкомасштабного использования генеративного искусственного интеллекта в текущих кампаниях, такие инструменты, как WormGPT, которые были созданы как неограниченные или полуограниченные LLM, были замечены в продаже на различных форумах, рекламирующих возможности фишинга, показывая, что злоумышленники тестируют использование искусственного интеллекта в фишинговых кампаниях. Хотя даже ограниченные версии генеративных моделей искусственного интеллекта могут быть обманом использованы для фишинга с помощью простых подсказок, эти неограниченные версии могут предложить злоумышленникам более эффективные способы масштабирования сложных фишинговых электронных писем в будущем.

Возможно, люди с трудом выиграли это состязание, но искусственный интеллект постоянно совершенствуется. По мере развития технологий мы можем ожидать, что искусственный интеллект станет более совершенным и, возможно, однажды даже превзойдет людей. Как мы знаем, злоумышленники постоянно адаптируются и внедряют инновации. Только в этом году мы стали свидетелями того, что мошенники все чаще используют голосовые клоны, созданные искусственным интеллектом, чтобы обманом заставить людей отправлять деньги, подарочные карты или разглашать конфиденциальную информацию.

Хотя люди все еще могут одерживать верх, когда дело доходит до эмоционального манипулирования и создания убедительных электронных писем, появление искусственного интеллекта в фишинговых атаках сигнализирует о поворотном моменте в атаках социальной инженерии. Вот пять ключевых рекомендаций для компаний и потребителей, чтобы оставаться готовыми:

Если вы сомневаетесь, позвоните отправителю: Если вы сомневаетесь в подлинности электронного письма, поднимите трубку и подтвердите. Обсудите с близкими друзьями и членами семьи выбор стоп-слова, которое вы можете использовать в случае мошенничества с vishing или сгенерированного искусственным интеллектом телефонного мошенничества.
Откажитесь от грамматического стереотипа: Развейте миф о том, что фишинговые электронные письма изобилуют грамматическими и орфографическими ошибками. Попытки фишинга, основанные на искусственном интеллекте, становятся все более изощренными, часто демонстрируя грамматическую корректность. Вот почему крайне важно перевоспитать наших сотрудников и подчеркнуть, что грамматические ошибки больше не являются основным предупреждающим сигналом. Вместо этого мы должны научить их быть бдительными в отношении длины и сложности содержимого электронной почты. Более длинные электронные письма, часто являющиеся отличительной чертой текста, сгенерированного искусственным интеллектом, могут быть предупреждающим знаком.
Обновление программ социальной инженерии: Это включает в себя внедрение таких методов, как вишинг, в обучающие программы. Этот метод прост в исполнении и часто очень эффективен. В отчете X-Force было обнаружено, что целевые фишинговые кампании, добавляющие телефонные звонки, были в 3 раза эффективнее, чем те, которые этого не делали.
Усиление контроля за идентификацией и доступом: Усовершенствованные системы управления идентификацией и доступом могут помочь подтвердить, кто к каким данным имеет доступ, имеют ли они соответствующие права и являются ли они теми, за кого себя выдают.
Постоянная адаптация и инновации: быстрое развитие искусственного интеллекта означает, что киберпреступники будут продолжать совершенствовать свою тактику. Мы должны придерживаться того же подхода к постоянной адаптации и инновациям. Регулярное обновление внутренних TTP, систем обнаружения угроз и учебных материалов для сотрудников важно для того, чтобы оставаться на шаг впереди злоумышленников.

Появление искусственного интеллекта в фишинговых атаках заставляет нас пересмотреть наши подходы к кибербезопасности. Следуя этим рекомендациям и сохраняя бдительность перед лицом растущих угроз, мы можем укрепить нашу обороноспособность, защитить наши предприятия и обеспечить безопасность наших данных и людей в современную динамичную цифровую эпоху.