Безопасность искусственного интеллекта в 2025 году: аналитика и рекомендации Cisco

Искусственный интеллект (ИИ) — ключевая технология XXI века, трансформирующая бизнес и государственное управление. Однако вместе с возможностями растут и киберриски. Согласно первому ежегодному отчету Cisco о состоянии безопасности ИИ, 72% организаций в мире уже интегрировали ИИ в свои процессы, но только 13% считают себя готовыми к его полноценному использованию. Основной сдерживающий фактор — безопасность ИИ.

Отчет Cisco освещает основные угрозы, исследует новые векторы атак, политику государств в области ИИ и предлагает рекомендации по защите корпоративной инфраструктуры.

Главные угрозы безопасности ИИ

1. Компрометация ИИ-инфраструктуры — В 2024 году были зафиксированы успешные атаки на ключевые компоненты ИИ-среды, включая NVIDIA Container Toolkit и Ray, что позволило злоумышленникам получить доступ к файловым системам и вычислительным ресурсам.
2. Атаки на цепочки поставок — Использование сторонних моделей и библиотек (например, из Hugging Face или PyTorch) открывает возможности для внедрения вредоносных компонентов. Один из примеров — техника Sleepy Pickle, позволяющая внедрять вредоносный код через сериализованные модели.
3. Атаки на модели и данные — Jailbreaking и Prompt Injection позволяют обойти встроенные защитные механизмы моделей. Методы извлечения обучающих данных (включая технику decomposition) позволяют воссоздавать части обучающих наборов, нарушая конфиденциальность.
4. Отравление данных — Злоумышленники внедряют вредоносные примеры в публичные датасеты, тем самым снижая точность и надежность ИИ-моделей. Для отравления данных достаточно потратить менее 100 долларов и изменить менее 0.01% обучающего набора.

Использование ИИ злоумышленниками

• Фишинг и социальная инженерия с использованием генеративных моделей (включая глубокие подделки голоса и видео).
• Разработка вредоносного ПО и автоматизация атак с помощью LLM (например, FraudGPT, DarkGPT).
• Имитация человеческой активности для обхода систем защиты: киберпреступники применяют ИИ для подбора паролей, обхода CAPTCHA и анализа уязвимостей.

Агентный ИИ и новые векторы угроз

Cisco предупреждает о росте рисков, связанных с агентным ИИ — автономными системами, способными действовать без участия человека. Потенциальные угрозы включают отравление памяти, выполнение удаленного кода и сложные цепные атаки, которые могут быть незаметны для традиционных средств защиты.

Мировая политика в сфере ИИ

• В 2024 году США представили более 700 законопроектов, касающихся ИИ.
• В ЕС вступил в силу AI Act, регулирующий высокорисковые ИИ-системы.
• Великобритания переименовала свой институт безопасности ИИ в AI Security Institute, акцентируя внимание на борьбе с преступным использованием технологий.
• Африканский союз и Япония разрабатывают собственные подходы к регулированию ИИ.

Рекомендации от Cisco

1. Управляйте рисками на всех этапах жизненного цикла ИИ.
2. Адаптируйте существующие политики к новым угрозам, включая контроль доступа и DLP.
3. Используйте стандарты безопасности (NIST, OWASP, MITRE ATLAS).
4. Определите пороги риска и обучайте персонал.
5. Внедряйте специализированные решения по защите ИИ, такие как Cisco AI Defense.

Заключение

ИИ стал неотъемлемой частью цифровой трансформации, но его безопасность требует системного подхода. Угрозы становятся всё более изощренными, и только сочетание технических решений, политических мер и просвещения пользователей способно обеспечить устойчивую защиту. Cisco продолжает инвестировать в безопасность ИИ и предлагает передовые решения для защиты инфраструктуры, данных и пользователей в условиях быстро меняющегося ландшафта.

Author: admin