Решение проблем безопасности и конфиденциальности, связанных с большими языковыми моделями

Все говорят о ChatGPT, Bard и генеративном ИИ как таковых. Но после шумихи неизбежно наступает проверка на практике. Хотя бизнес-лидеры и ИТ-лидеры в равной степени восхищены разрушительным потенциалом технологии в таких областях, как обслуживание клиентов и разработка программного обеспечения, они также все больше осознают некоторые потенциальные недостатки и риски, на которые следует обратить внимание.

Короче говоря, для того чтобы организации могли использовать потенциал больших языковых моделей (LLM), они также должны уметь управлять скрытыми рисками, которые в противном случае могут подорвать ценность технологии для бизнеса.

Как обстоят дела с LLM?

ChatGPT и другие инструменты для создания искусственного интеллекта работают на базе LLMS. Они работают с использованием искусственных нейронных сетей для обработки огромных объемов текстовых данных. После изучения закономерностей между словами и того, как они используются в контексте, модель способна взаимодействовать с пользователями на естественном языке. Фактически, одной из главных причин выдающегося успеха ChatGPT является его способность рассказывать анекдоты, сочинять стихи и вообще общаться так, что трудно отличить его от реального человека.

Генеративные модели искусственного интеллекта на базе LLM, используемые в чат-ботах, таких как ChatGPT, работают как сверхзаряженные поисковые системы, используя данные, на которых они были обучены, чтобы отвечать на вопросы и выполнять задания человеческим языком. Независимо от того, являются ли это общедоступные модели или проприетарные, используемые внутри организации, генеративный ИИ на основе LLM может подвергать компании определенным рискам безопасности и конфиденциальности.

5 ключевых рисков для LLM

1. Чрезмерный обмен конфиденциальными данными

Чат-боты на базе LLM не умеют хранить секреты – или забывать о них, если уж на то пошло. Это означает, что любые введенные вами данные могут быть усвоены моделью и предоставлены другим пользователям или, по крайней мере, использованы для обучения будущих моделей LLM. Сотрудники Samsung убедились в этом на собственном опыте, когда поделились конфиденциальной информацией с ChatGPT, используя его для выполнения рабочих задач. Код и записи совещаний, которые они вводили в инструмент, теоретически могли находиться в общественном достоянии (или, по крайней мере, сохраняться для будущего использования, как недавно указал Национальный центр кибербезопасности Соединенного Королевства). Ранее в этом году мы подробнее рассмотрели, как организации могут избежать риска для своих данных при использовании LLM.

2. Проблемы с авторским правом

LLM обучаются работе с большими объемами данных. Но эта информация часто черпается из Интернета без явного разрешения владельца контента. Это может создать потенциальные проблемы с авторскими правами, если вы продолжите ее использовать. Однако может быть трудно найти исходный источник конкретных обучающих данных, что затрудняет устранение этих проблем.

3. Небезопасный код

Разработчики все чаще обращаются к ChatGPT и подобным инструментам, которые помогают им ускорить выход на рынок. Теоретически это может помочь, быстро и эффективно генерируя фрагменты кода и даже целые программы. Однако эксперты по безопасности предупреждают, что это также может привести к появлению уязвимостей. Это вызывает особую озабоченность, если разработчик недостаточно разбирается в предметной области, чтобы знать, какие ошибки следует искать. Если ошибочный код впоследствии попадет в производство, это может оказать серьезное репутационное воздействие и потребовать времени и денег на исправление.

4. Взлом самой LLM

Несанкционированный доступ к LLM и вмешательство в них могут предоставить хакерам ряд возможностей для выполнения вредоносных действий, таких как принуждение модели к разглашению конфиденциальной информации с помощью атак с быстрым внедрением или выполнение других действий, которые должны быть заблокированы. Другие атаки могут включать использование уязвимостей при подделке запросов на стороне сервера (SSRF) на серверах LLM, позволяющих злоумышленникам извлекать внутренние ресурсы. Субъекты угроз могут даже найти способ взаимодействия с конфиденциальными системами и ресурсами, просто отправляя вредоносные команды с помощью подсказок на естественном языке.

Например, ChatGPT пришлось перевести в автономный режим в марте после обнаружения уязвимости, из-за которой заголовки из историй разговоров некоторых пользователей стали доступны другим пользователям. Чтобы повысить осведомленность об уязвимостях в приложениях LLM, Фонд OWASP недавно опубликовал список из 10 критических лазеек в безопасности, часто наблюдаемых в этих приложениях.

5. Утечка данных у поставщика искусственного интеллекта

Всегда есть вероятность, что компания, разрабатывающая модели искусственного интеллекта, сама может быть взломана, что позволит хакерам, например, украсть данные обучения, которые могут включать конфиденциальную информацию, являющуюся собственностью компании. То же самое верно и для утечек данных – например, когда Google непреднамеренно слил приватные чаты Bard в результаты поиска.

Что делать дальше

Если ваша организация стремится начать использовать потенциал генерирующего искусственного интеллекта для получения конкурентных преимуществ, есть несколько вещей, которые ей следует сделать в первую очередь, чтобы снизить некоторые из этих рисков:

• Шифрование и анонимизация данных: Шифруйте данные перед передачей их LLM, чтобы сохранить их в безопасности от посторонних глаз, и / или рассмотрите методы анонимизации для защиты конфиденциальности лиц, которые могут быть идентифицированы в наборах данных. Очистка данных может достичь той же цели путем удаления конфиденциальных сведений из обучающих данных перед их подачей в модель.
• усовершенствованный контроль доступа: надежные пароли, многофакторная аутентификация (MFA) и политики наименьших привилегий помогут гарантировать, что только авторизованные лица будут иметь доступ к генеративной модели искусственного интеллекта и серверным системам.
• Регулярные аудиты безопасности: это может помочь выявить уязвимости в ваших ИТ-системах, которые могут повлиять на LLM и генеративные модели искусственного интеллекта, на которых она построена.
• Практикуйте планы реагирования на инциденты: Хорошо отрепетированный и надежный план IR поможет вашей организации быстро отреагировать на любое нарушение, устранить его последствия и восстановиться после него.
• Тщательно проверяйте поставщиков LLM: Как и для любого поставщика, важно убедиться, что компания, предоставляющая LLM, придерживается лучших отраслевых практик в области безопасности данных и конфиденциальности. Обеспечьте четкое раскрытие информации о том, где обрабатываются и хранятся пользовательские данные, и используются ли они для обучения модели. Как долго они хранятся? Предоставляется ли доступ к ним третьим лицам? Можете ли вы отказаться от использования ваших данных для обучения?
• Убедитесь, что разработчики строго следуют рекомендациям по безопасности: Если ваши разработчики используют LLM для генерации кода, убедитесь, что они придерживаются политики, такой как тестирование безопасности и экспертная оценка, чтобы снизить риск проникновения ошибок в производство.

Хорошая новость заключается в том, что нет необходимости изобретать велосипед. Большинство из приведенных выше рекомендаций являются проверенными рекомендациями по безопасности. Они могут нуждаться в обновлении / доработке для мира искусственного интеллекта, но лежащая в их основе логика должна быть знакома большинству команд безопасности.

Author: admin