Военные ИИ-киберагенты (MAICA) как катастрофический риск для КИИ: что это, почему возможно уже сегодня и как защищаться

Исследование Т. Дуббера и С. Лазара показывает: MAICA—автономные ИИ-агенты для проведения киберопераций—дают реалистичный путь к катастрофическому риску для критически важной инфраструктуры (КИИ). Техническая осуществимость опирается на уже доступные модули (разведка, генерация эксплойтов, многошаговые планы, скрытое C2); эскалацию стимулируют геополитика и свойства киберпространства (саморепликация, распределённость, «самовосстановление» фрагментов). Предлагаемая оборона строится на трёх эшелонах: контр-пролиферация, defensive-AI (раннее обнаружение и автоматизированная деградация противника), архитектурная устойчивость, включая аналоговые контуры управления и офлайн-резервирование. (arXiv)

4362354625 Скачать

1. Что такое MAICA и чем они принципиально отличаются

MAICA—программные агенты, которые самостоятельно проходют весь цикл атаки («kill chain»): от разведки и weaponization до C2 и действий на цели. В отличие от «умного» вредоноса, MAICA объединяют LLM-планирование, память/контекст, вызов инструментов и обратную связь с внешним миром—и адаптируются к контрмерам. В киберпространстве их сдерживают не топливо и боеприпасы, а только инженерные барьеры защиты. (arXiv)

2. Техническая осуществимость: «сборка из готовых блоков» по цепочке атаки

Разведка и приоритизация целей. LLM-парсинг массивов данных, автоматизация OSINT/DFIR-триажа.
Weaponization. Автогенерация полезных нагрузок под контекст уязвимостей; полиморфизм.
Доставка и эксплуатация. Фишинг высокої достоверности; цепочки RCE/эксфильтраций; живучесть.
C2. Мимикрия под легитимный трафик, стегано-каналы.
Действия на цели. Часть задач уже выполняется полу-автономно; остаточный зазор—интеграция/надёжность.
Ключевой тезис работы: это инженерная, а не «сверхразумная» проблема—интеграция модулей и управление ошибками на длинных сценариях. (arXiv)

3. Почему из «просто опасности» это превращается в катастрофический риск

Геополитика. Асимметричное сдерживание (удары по энергии, воде, топливу, выборам) делает MAICA привлекательными даже для государств со скромным бюджетом. Возможны доктрины «автономного возмездия».
Свойства киберсреды. Саморепликация, распределённая инференс-архитектура и шардирование весов → «живучесть» и самовосстановление: выведение из строя узлов не гарантирует нейтрализацию. Это превращает инцидент из разового в персистентное, плохо устранимое присутствие. (arXiv)

4. Профиль атак MAICA сквозь призму OWASP LLM Top 10

MAICA наследуют и усиливают риски, характерные для LLM-систем: prompt-injection (LLM01), небезопасная обработка вывода (LLM02), отравление данных/памяти (LLM03), избыточная «агентность» (LLM08) и др. Практическая польза формализации—маппинг TTP на контрольные мероприятия и тест-кейсы пентеста. (owasp.org, OWASP Gen AI Security Project)

5. Многоуровневая стратегия обороны (эселонирование)

5.1 Политика и контр-пролиферация

Ограничение публикации опасных прототипов (веса/скрипты) по модели поэтапного раскрытия; отказ от «hack-and-leak»-операций и передачи прокси-акторам. (arXiv)

5.2 Defensive-AI: мониторинг, детектирование, активная деградация

Поведенческая аналитика «рядом с бэкбоном»: паттерны репликации, «шум» C2, нетипичные графы действий агента.
Honeypots/Deception как сенсоры и ловушки для ИИ-агентов (агент-honeypot, контейнеризованные ловушки, ИКС-симуляторы). (arXiv, Nature, ScienceDirect)
Инженерия контрмер: автоматическое «обрезание степеней свободы» (capability scoping), rate-limits, независимая авторизация, отравление контекста/модели при детекте. (owasp.org)

5.3 Архитектурная устойчивость КИИ (сетевой и операционный уровень)

Жёсткая сегментация и однонаправленность: VRF/VLAN-микросегментация; data diodes на рубежах ИТ/ОТ; deny-by-default ACL; периодические проверки эффективности сегментации. (cisa.gov, securitymagazine.com)
Изоляция и восстановление: проектирование режимов безопасного отключения; «чистые» площадки; регулярные отработки катастрофического восстановления. (cisa.gov)
Аналоговая устойчивость и офлайн-резервы: ручные/локальные контуры управления технологией; «чёрный старт»; «холодные» копии на нецифровых/air-gapped носителях. (arXiv)

6. Дорожная карта внедрения (90/180/365 дней)

90 дней: реестр активов/мостов ИТ↔ОТ; базовая микросегментация и контроль «восток-запад»; минимизация полномочий сервисных учёток; запуск deception-ядра; tabletop-учения «самораспространяющийся агент». (cisa.gov, ScienceDirect)
180 дней: развёртывание defensive-AI сенсоров; диоды на критичных границах; регламент изоляции домена; периодические тест-восстановления из офлайн-копий. (cisa.gov)
365 дней: «чистая» площадка (зона DR с независимой связностью); независимая цепочка командования на отключение; интеграция телеметрии провайдеров/облаков; ежегодный «красный сезон» (агрессивный red-teaming для принудительного проявления репликации). (arXiv)

7. Метрики готовности

MTTD аномальной репликации; TTI (время полной изоляции домена); доля сегментов с однонаправленными шлюзами; периодичность успешных DR-восстановлений; доля технологических цепочек с ручным режимом; доля ловушек с зафиксированным «посевом» шардов; доля запросов, проходящих независимую авторизацию. (cisa.gov, arXiv)

8. Ограничения и альтернативные взгляды

Критики указывают на хрупкость длинных ИИ-цепочек и детектируемость «по шуму». Авторы возражают: семантика протоколов в кибере снижает неоднозначность, а порог надёжности достижим инженерно; запреты трудноверифицируемы, поэтому ставка только на международное регулирование рискованна—нужны технические барьеры и defensive-AI. (arXiv)

Заключение

MAICA сдвигают дискуссию об «экзистенциальных угрозах ИИ» в практику: катастрофический риск возникает без сверхразума—за счёт интеграции доступных модулей, политических стимулов и особенностей киберсреды. Ответ—не в одном «серебряном пуле», а в комбинации: контр-пролиферация, активная оборона ИИ-системами и архитектурная/аналоговая устойчивость КИИ, проверяемая регулярными учениями и метриками. (arXiv)

Источники

Dubber T. R., Lazar S. Military AI Cyber Agents (MAICAs) Constitute a Global Threat to Critical Infrastructure. arXiv:2506.12094 (Jun 12, 2025). (arXiv)
OWASP: Top 10 for Large Language Model Applications v1.1; OWASP GenAI (2025) обновления. (owasp.org, OWASP Gen AI Security Project)
CISA/USCG Advisory AA25-212A; ICS-CERT Defense in Depth (рекомендации по сегментации, data diodes). (cisa.gov)
Исследования по deception/honeypots для детектирования ИИ-агентов и атак. (arXiv, ScienceDirect, Nature)