OWASP Top-10 2025: Технический анализ ключевых угроз и векторов атаки на приложения с большими языковыми моделями

Введение
Обновлённый перечень OWASP Top 10 для приложений на базе больших языковых моделей (версия 2025) консолидирует опыт более 600 специалистов из восемнадцати стран и отражает практические уязвимости, выявленные при масштабном внедрении генеративного ИИ в бизнес-процессы и государственные сервисы. Документ опирается на регулярный мониторинг инцидентов, публичный разбор эксплойтов и экспертизу ведущих центров кибербезопасности, формируя «живой» стандарт оценки рисков для архитектуры, данных и цепочек поставки LLM. (OWASP)

LLM01 Prompt Injection
Классический «инъекционный» вектор эволюционировал: сегодня злоумышленник комбинирует прямые jailbreak-промпты с контекстными атаками через PDF-файлы, RSS-ленты или инструкции в коде HTML-почты. В марте 2025 года исследователи OWASP зафиксировали случай, когда ChatGPT раскрыл PII-данные после скрытой закладки в цепочке forwarded-писем; обход фильтров достигался через рекурсивную декомпозицию промпта и обращение к внутренним API бэкенда. Защита строится вокруг строгой сегментации контекста, статической разметки доверенных инструкций и потокового анализа токенов с возможностью прерывания генерации. (OWASP Gen AI Security Project)

LLM02 Insecure Output Handling
Непосредственное отображение или пере-использование текста, сгенерированного моделью, становится каналом инъекций XSS, SQL и OS-команд: LLM формирует «полезную нагрузку», а браузер, shell или ORM исполняют её без дополнительной валидации. Типовой пример — генерация YAML-манифеста Kubernetes с включённой операцией curl | bash. Минимизация риска требует многоуровневого санитайзинга (HTML-Escaper, SQL-Escaper, regex-фильтры), CSP для фронтенда и политики «эквивалентной сериализации», когда выход модели никогда не поступает в интерпретатор напрямую. (OWASP, OWASP Gen AI Security Project)

LLM03 Training Data Poisoning
Модификация датасетов при пре-тренинге, fine-tune или построении эмбеддингов позволяет внедрять бэкдоры, токсичные паттерны и скрытые триггеры. Летом 2025 года зафиксирован кейс «Invisible Backdoor»: атакующий разместил тысячу релевантных, но фальсифицированных образцов в общедоступном датасете кода, что активировало выполнение произвольного SQL при запросе «optimize query». Эффективные контрмеры включают AI-BOM (Bill of Materials) для наборов данных, оценку доверия источников, дифференциальную проверку частот n-грамм и репрезентативные тест-срезы-«канарейки». (OWASP Gen AI Security Project)

LLM04 Model Denial-of-Service
Специфический DoS-подвид нацелен не на сетевой стек, а на вычислительные квоты. «Токеновые шторма» создают цепочки запросов, заставляющие модель генерировать десятки тысяч символов, расходуя GPU-время и бюджет SaaS-API. При атаке «Recursive Reflection» вложенный промпт требовал от модели бесконечно рефакторить один и тот же абзац, что привело к пятнадцатикратному росту затрат за час. Защита: строгие лимиты токенов, прерываемая генерация по эвристикам раннего выхода, предквотовка ресурсов и back-pressure на уровне прокси. (OWASP, OWASP Gen AI Security Project)

LLM05 Supply Chain Vulnerabilities
Экосистема open-source-моделей и LoRA-адаптеров провоцирует атаки на зависимость: опубликованный в Hugging Face «fork» может содержать модифицированный model.py, раскрывающий конфиденциальные входы через WebSocket. OWASP фиксирует рост случаев подмены чек-самм при скачивании весов через pip install c «typosquatting» имени пакета. Митигируется процедурами reproducible-build, Sigstore, офлайн-верификацией SHA-256 и изолированными окружениями для обучения/инференса. (OWASP, OWASP Gen AI Security Project)

LLM06 Sensitive Information Disclosure
LLM нередко кэширует корпоративные документы в необезопасенных object-store, а цепочки RAG выдают закрытые разделы при хитрой перефразировке запроса. Утечка внутреннего токена GitHub Co-Pilot в январе 2025 года показала, что даже системные промпты могут содержать секреты. Необходимо шифрование хранилищ, частные ACL, дифференциальные манглыр-тренировки и регулярные red-team-сессии «prompt-leak». (OWASP Gen AI Security Project)

LLM07 Insecure Plugin Design
Расширения VS Code и браузерные плагины, работающие поверх LLM, зачастую принимают вход без проверки источника. В эксперименте OWASP разработчик подменил прокси-переменную окружения, и плагин автоматически переслал access-token в контролируемый домен, что открывает RCE через цепочку npm install. Устранение риска требует жёсткой декларативной манифестации разрешений, isolated-worker-model, проверки происхождения и sandbox-exec для сторонних функций. (OWASP, OWASP Gen AI Security Project)

LLM08 Excessive Agency
Инструментальные фреймворки (LangChain, Autogen) позволяют агентам вызывать произвольные функции ОС и сторонние сервисы. Без чётких границ задач планировщик может удалить файлы, запускать сосканированный скрипт или заказать товар в интернет-магазине. Контроль основан на концепции capability-based security: каждая функция оборачивается прокси-слоем с явным указанием контрактов, журналированием вызовов и полигонами «dry-run». (OWASP, OWASP Gen AI Security Project)

LLM09 Overreliance
Слепое доверие к выходу модели порождает ложные срабатывания в SOC, ошибочные рекомендации в медицине и автоматическое блокирование транзакций в финтехе. Ошибка классификации вредоноса как «benign» в апреле 2025 года связала два инцидента сразу — Prompt Injection и Overreliance, потому что аналитику не предоставили метаданные уверенности. Практика требует метрик-калибровки, встроенных «chain-of-thought»-данных для ревью, а также двусторонней подписи ответов с модель-ID и хешем сессии. (OWASP, OWASP Gen AI Security Project)

LLM10 Model Theft
Кража весов возможна как через side-channel-атаки (градиентный leakage, timing-oracle), так и путём «клауд-клонирования» поведения публичного API. Исследование 2025 года показало, что ViT-L/16, обученная на CIFAR-10, была воспроизведена с 94 % совпадением предсказаний после 100 000 запросов к чату-интерфейсу; стоимость атаки составила <$600. Митигировать помогает rate-limiting, watermark-регуляризация, замедленные ответы на подозрительные паттерны, аппаратное шифрование весов и обфускация embedding-пространства. (OWASP, OWASP Gen AI Security Project, arXiv)

Заключение
OWASP Top 10 2025 демонстрирует, что безопасность LLM-приложений выходит далеко за пределы классической веб-модели STRIDE: атаки воздействуют одновременно на данные, модель, инфраструктуру и пользователя. Эффективная оборона строится на многослойном контроле CICD-конвейера, формализации AI-BOM, непрерывном «красном» тестировании и независимом аудите промптов. Организации, интегрирующие генеративный ИИ, должны трактовать документ как минимальный базис; отказ от рекомендаций непосредственно конвертируется в финансовые потери, регуляторные санкции и репутационный ущерб. (OWASP)

Author: admin