NCSC предупреждает о конкретных уязвимостях в моделях искусственного интеллекта, таких как ChatGPT

Большая языковая модель (LLM) – это модель или система искусственного интеллекта с глубоким обучением, которая понимает, генерирует и прогнозирует текстовый контент, часто связанный с генеративным ИИ.

В текущем технологическом ландшафте у нас есть надежные и известные модели, такие как:-

• ChatGPT
• Google Bard
• Meta’s LLaMA

Аналитики по кибербезопасности из Национального центра кибербезопасности (NCSC) недавно обнародовали и предупредили о конкретных уязвимостях в системах искусственного интеллекта или моделях, таких как ChatGPT или Google Bard, LLaMA компании Meta.

Уязвимости

Хотя LLM играют определенную роль, не забывайте основы кибербезопасности для проектов ML. Здесь ниже мы упомянули конкретные уязвимости в моделях искусственного интеллекта, о которых предупреждали исследователи из NCSC:-

• Атаки с быстрым внедрением: Основной проблемой современных LLM является ‘быстрое внедрение”, когда пользователи манипулируют входными данными, чтобы заставить модель вести себя неправильно, рискуя нанести вред или привести к утечкам. Существует множество случаев внедрения подсказок, от шутливых розыгрышей, таких как экзистенциальный кризис Bing, до потенциально опасных эксплойтов, таких как доступ к ключу API через MathGPT. Риски быстрого внедрения выросли с тех пор, как LLM передают данные в сторонние приложения.

• Атаки с отравлением данных: LLM, как и все модели ML, полагаются на свои обучающие данные, которые часто содержат оскорбительный или неточный контент из обширного открытого Интернета. Принципы безопасности NCSC подчеркивают ‘отравление данными”, а исследования Николаса Карлини показывают, что отравление больших моделей с минимальным доступом к данным возможно.

Механизмы предотвращения

Обнаружение и противодействие оперативному внедрению и отравлению данных является сложной задачей. Общесистемный дизайн безопасности, такой как наложение правил на модель ML, может снизить риски и предотвратить разрушительные сбои.

Расширьте основы кибербезопасности для устранения рисков, связанных с ОД, включая:-

• Безопасность цепочки поставок
• Обучение пользователей
• Контроль доступа
• Принципы безопасности ML NCSC

Принципы кибербезопасности

Помимо LLMs, в последние месяцы были выявлены уязвимости системы ML из-за недостаточных принципов кибербезопасности, таких как:-

• Подумайте, прежде чем произвольно выполнять код, который вы скачали из Интернета (модели)
• Будьте в курсе опубликованных уязвимостей и регулярно обновляйте программное обеспечение.
• Разберитесь в зависимостях программных пакетов.
• Подумайте, прежде чем произвольно выполнять код, который вы скачали из Интернета (пакеты)

Однако в быстро развивающемся ландшафте искусственного интеллекта чрезвычайно важно поддерживать надежные методы кибербезопасности, независимо от наличия ML.

Author: admin