Уходящий глава ИИ Пентагона предупреждает Конгресс о рисках безопасности и точности, связанных с новыми технологиями

Уходящий в отставку главный специалист по цифровым технологиям и искусственному интеллекту Министерства обороны предупредил законодателей в пятницу, что обеспечение безопасности генеративных систем ИИ для использования в военных операциях потребует значительной работы по стандартизации входных данных и проверке выходных данных.

“Мы действительно усердно работали, чтобы выяснить, где и когда генеративный ИИ будет полезен, а где и когда он будет опасен”, – заявил он перед Подкомитетом Палаты представителей по вооруженным силам по кибербезопасности, информационным технологиям и инновациям. “Опасность is…it требует очень высокой когнитивной нагрузки для подтверждения результатов этой модели”.

Мартелл сказал, что предотвращение ошибок, допускаемых такими большими языковыми моделями, требует проверки их результатов, то есть контроля галлюцинаций и неправильных ответов. Возможность легко проверить точность выходных данных данной модели также является ключевой характеристикой программного обеспечения для ИИ, которое будет безопасно для использования в бизнесе.

“Галлюцинации еще не прошли. Есть большая надежда, что галлюцинации пройдут. Есть некоторые исследования, которые говорят, что они никогда не пройдут ”, – сказал он. “Но самое главное, если это трудно проверить, то мне это очень неприятно ”.

Качественные данные являются важным первым шагом в ответственном и эффективном использовании генеративного LLM, по словам Мартелла, который сказал, что маркировка и преобразование данных лежат в основе как использования войсками США решений ИИ, так и дальнейшего масштабирования технологий для операций агентства.. Это два компонента, образующих то, что Мартелл описывает как “строительные леса ИИ”, более масштабную стратегию эффективного масштабирования ИИ для использования в оборонных целях.

“Знание того, что вы хотите обнаружить, означает, что люди должны маркировать эти данные. Это очень сложно”, – сказал он. “Данные, которые должны поступать в вашу проблему, будут в тысяче различных форматов, объем работы по преобразованию PDF, Word doc и так далее в структурированные данные довольно велик, и это отнимет у людей, находящихся на грани, все их время”.

Даже после создания и обучения данной модели ИИ, Мартелл сказал, что решение с ИИ для операций необходимо будет постоянно тестировать и переподготовлять по мере изменения сценариев. Вероятно, это станет первостепенной задачей для его нового преемника Радхи Пламб.

“Я хотел бы, чтобы мы продвинулись дальше в этом вопросе за те два года, что я здесь, но это будет моим самым большим упреком доктору Пламбу: он действительно сосредоточен на том, как мы моделируем и измеряем ценность моделей с течением времени”, – сказал он.

источник