Целевая группа Frontier AI: первый отчет о ходе работы

Целевая группа – это стартап внутри правительства, выполняющий амбициозную миссию, поставленную перед нами премьер-министром: создать исследовательскую группу по ИИ, способную оценивать риски на границе ИИ. По мере того, как системы AI становятся более производительными, они могут значительно увеличить риски. Система AI, которая продвигается к человеческим способностям в написании программного обеспечения, может увеличить угрозы кибербезопасности. Система искусственного интеллекта, которая становится более способной моделировать биологию, может усилить угрозы биобезопасности. Для управления этим риском технические оценки имеют решающее значение – и они должны быть разработаны нейтральной третьей стороной – в противном случае мы рискуем, что компании, занимающиеся ИИ, отметят свою собственную домашнюю работу.

Учитывая эти потенциально значительные пограничные риски, с сегодняшнего дня Целевая группа переименовывается в рабочую группу Frontier AI.

Это первый отчет о ходе работы целевой группы Frontier AI.

1. Мы создали экспертно-консультативный совет, охватывающий исследования в области ИИ и национальную безопасность

Учитывая, что ряд рисков, связанных с системами frontier, затрагивают области национальной безопасности, мы создали экспертно-консультативный совет, объединяющий ведущих мировых экспертов в области исследований и безопасности ИИ, а также ключевых фигур из сообщества национальной безопасности Великобритании. Нашими первоначальными членами консультативного совета являются:

Йошуа Бенгио. Йошуа наиболее известен своей новаторской работой в области глубокого обучения, которая принесла ему в 2018 году премию А.М. Тьюринга, “Нобелевскую премию в области вычислительной техники”, совместно с Джеффри Хинтоном и Яном Лекуном. Он является профессором Монреальского университета, а также основателем и научным руководителем Mila – Квебекского института искусственного интеллекта.

Пол Кристиано. Пол является одним из ведущих исследователей в области согласования ИИ. Он является соучредителем ARC, исследовательского центра по выравниванию, а ранее руководил командой по выравниванию языковых моделей в OpenAI.

Мэтт Коллинз. Мэтт является заместителем советника по национальной безопасности Великобритании по разведке, обороне и безопасности. IYKYK.

Энн Кист-Батлер. Энн является директором GCHQ. Энн имеет впечатляющий послужной список в центре сети национальной безопасности Великобритании, помогая противостоять угрозам, исходящим от террористов, киберпреступников и враждебных иностранных держав.

Алекс ван Сомерен. Алекс – главный научный советник Великобритании по национальной безопасности. Ранее Алекс был венчурным инвестором и предпринимателем, сосредоточившись на инвестировании в стартапы с “глубокими технологиями” на ранней стадии.

Хелен Стоукс-Лэмпард. Помимо опыта в области национальной безопасности и исследований в области ИИ, мы также рады создать консультативный совет, который сможет обсуждать важнейшие виды использования ИИ frontier на переднем крае общества. Хелен не только практикующий врач общей практики, наблюдающий за тем, как разговорные инструменты искусственного интеллекта могут влиять на повседневные медицинские диагнозы, но и невероятно опытный лидер в медицинском сообществе Великобритании, возглавлявший Королевский колледж врачей общей практики и в настоящее время возглавляющий Академию королевских медицинских колледжей.

Мэтт Клиффорд. Мэтт является совместным представителем премьер-министра на саммите по безопасности ИИ, председателем ARIA и соучредителем Entrepreneur First. Его назначение на должность заместителя председателя экспертно-консультативного совета демонстрирует уровень координации всех инициатив Великобритании, связанных с frontier AI, включая Целевую группу и саммит по безопасности ИИ.

Мы объявим других членов нашего консультативного совета в надлежащее время.

2. Набор опытных исследователей в области ИИ

Эрик Шмидт, бывший генеральный директор Google, недавно описал состояние государственных возможностей в области frontier AI^{, заявив в мае 2023 года: “Технология чрезвычайно сложна … в правительстве нет никого, кто мог бы разобраться с ней правильно}[сноска 1],,,”.

Это не может быть правдой, если общество хочет успешно ориентироваться в таких темпах прогресса в ИИ.

Сэм Олтман, генеральный директор OpenAI, недавно предположил, что у государственного сектора “не хватает воли” руководить инновациями, спросив: “Почему бы вам не спросить правительство, почему они этого не делают, разве это не ужасно?^{[сноска 2]}”

У нас есть огромное желание преобразовать потенциал государства на границе безопасности ИИ. Вот почему мы набираем технических экспертов по ИИ в правительство на начальной стадии.

Мы опираемся на передовой мировой опыт:

Ярин Гал присоединится к целевой группе в качестве директора по исследованиям из Оксфорда, где он возглавляет Оксфордскую группу прикладного и теоретического машинного обучения. Ярин является всемирно признанным лидером в области машинного обучения и сохранит свою должность адъюнкт-профессора в Оксфорде.

Дэвид Крюгер будет работать с целевой группой, поскольку она расширяет свою исследовательскую программу в преддверии саммита. Дэвид – доцент лаборатории вычислительного и биологического обучения Кембриджского университета, где он возглавляет исследовательскую группу, специализирующуюся на глубоком обучении и настройке искусственного интеллекта.

Целевая группа находится в Министерстве науки, инноваций и технологий Великобритании (DSIT), в котором работают примерно 1500 государственных служащих. Когда я прибыл в июне, в департаменте работал только один исследователь frontier AI с 3-летним опытом работы в frontier AI.

Этим исследователем-одиночкой был Нитаршан Раджкумар, который в апреле отложил защиту докторской диссертации, чтобы присоединиться к DSIT, и является свидетельством того, чего может достичь серьезный, невероятно трудолюбивый технический эксперт, посвятив себя государственной службе. Мишель Донелан, государственный секретарь по DSIT, наняла Нитаршана, и он существенно повлиял на многие смелые усилия, которые предпринимает Великобритания по инвестированию в безопасность ИИ на границе. Нам нужно больше нитаршанов!

Благодаря огромным усилиям команды Taskforce у нас теперь есть растущая команда исследователей искусственного интеллекта с более чем 50-летним коллективным опытом работы на переднем крае искусственного интеллекта. Если это наш показатель потенциала государства в области frontier AI, то нам удалось увеличить его на порядок всего за 11 недель. В настоящее время в нашу команду входят исследователи с опытом работы в DeepMind, Microsoft, Redwood Research, Центре безопасности искусственного интеллекта и Центре искусственного интеллекта, совместимого с человеком.

Это одни из самых сложных людей для найма в мире, учитывая огромную волну внимания и денег, которые сейчас бросаются на ИИ. Они решили поступить на государственную службу не потому, что это легко, а потому, что это дает возможность коренным образом изменить подход общества к преодолению рисков на границе с ИИ. Эти исследователи и инженеры привнесут свои навыки в предоставление правительству возможности непосредственно работать над моделями frontier AI и оценивать связанные с ними риски – посредством оценки моделей, объединения в группы и других аспектов инфраструктуры безопасности. Я безмерно благодарен этим людям за активизацию и выполнение этой общественной работы в критический момент развития искусственного интеллекта.

Это не для того, чтобы уменьшить невероятно широкую команду в DSIT, а в рамках активных усилий, усиленных нашим государственным секретарем по расширению круга лиц в правительстве, чтобы включить больше исследователей искусственного интеллекта, чтобы мы могли вместе решить эту проблему.

Мы быстро расширяем эту команду и ищем исследователей, заинтересованных в стимулировании потенциала государства в области безопасности ИИ. Мы планируем увеличить команду еще на порядок. Пожалуйста, рассмотрите возможность подачи заявки на присоединение к нам здесь. Первый в истории саммит по безопасности ИИ в Великобритании, который состоится 1 и 2 ноября, является критическим моментом для влияния на безопасность ИИ. Мы особенно ориентируемся на исследователей в области ИИ, интересующихся оценкой технических рисков моделей frontier.

3. Партнерство с ведущими техническими организациями

Лидировать в области безопасности AI не означает начинать с нуля или работать в одиночку – мы развиваем и поддерживаем работу, проводимую рядом передовых организаций. Мы рады объявить о нашем первоначальном партнерстве с:

ARC Evals – некоммерческая организация, которая занимается оценкой катастрофических рисков, связанных с системами frontier AI, и ранее работала с OpenAI и Anthropic над оценкой возможностей “автономной репликации и адаптации” их систем перед выпуском. Мы будем тесно сотрудничать с командой ARC Evals для оценки рисков непосредственно за границей в преддверии саммита по безопасности, посвященного ИИ в Великобритании. Мы также будем взаимодействовать с командой из Redwood Research, а также с Джеффом Олстоттом, Кристофером Мутоном и их командой из некоммерческой организации RAND в продвижении этой программы.

Trail of Bits – ведущая исследовательская и консалтинговая фирма по кибербезопасности, которая помогла обезопасить некоторые из наиболее уязвимых организаций в мире. Мы начинаем углубленное сотрудничество для понимания рисков на стыке кибербезопасности и систем frontier AI. Этой работой будет руководить Хейди Хлааф, которая специализируется на оценке программного обеспечения, спецификации и верификации критически важных для безопасности систем, а также руководила оценкой безопасности Codex во время работы в OpenAI.

Проект коллективного разума является некоммерческой организацией, которая внедряет новые модели управления для преобразующих технологий с миссией направлять технологическое развитие на благо коллектива. Соучредители Дивья Сиддарт и Саффрон Хуанг присоединятся к нам по прикомандированию, чтобы помочь нам разработать ряд социальных оценок для моделей frontier.

Центр безопасности искусственного интеллекта является некоммерческой организацией, которая работает над снижением рисков, связанных с искусственным интеллектом в масштабах общества, посредством фундаментальных исследований в области безопасности, исследовательской инфраструктуры и технической экспертизы для поддержки политиков. Мы будем работать с Дэном Хендриксом и его командой в преддверии саммита, чтобы взаимодействовать с более широким научным сообществом и давать ему возможность.

Если вы считаете, что ваша организация может сделать шаг вперед, присоединиться к этим командам и внести свой вклад в наши усилия, пожалуйста, сообщите нам об этом здесь.

4. Создание технических основ для исследований в области ИИ внутри правительства

Основная цель Целевой группы – предоставить исследователям ИИ в правительстве те же ресурсы для работы над безопасностью ИИ, которые они могли бы найти в ведущих компаниях, таких как Anthropic, DeepMind или OpenAI. Как объявил премьер-министр, эти компании уже обязались предоставить нам глубокий доступ к моделям, чтобы исследователи из Целевой группы не были ограничены в своих возможностях работать над оценками моделей. Мы также работаем в тесном сотрудничестве с No10 Data Science (“10DS’), чтобы у наших исследователей и инженеров была вычислительная инфраструктура, необходимая им для запуска в работу, для точной настройки модели, исследования интерпретируемости и многого другого.

5. Важно двигаться быстро

Для того, чтобы проделать такую большую работу за 11 недель в правительстве с нуля, потребовались энергичные усилия невероятной команды преданных своему делу и блестящих государственных служащих. Создание этой команды было так же важно, как и технической команды, упомянутой выше.

Вот почему мы пригласили Олли Айлотта в качестве директора целевой группы. Олли присоединяется к нам с Даунинг-стрит, где он возглавлял внутренний личный кабинет премьер-министра на важнейшей должности, известной как “Заместитель главного личного секретаря” (я все еще учусь говорить ‘государственная служба’). Он известен ‘по всему миру’ своей способностью набирать и формировать лучшие в своем классе команды. До прихода в канцелярию премьер-министра Олли руководил командой по стратегии Кабинета министров в отношении COVID в первый год пандемии и возглавлял команды, участвующие в переговорах по Brexit и принятии законодательства о Brexit. Руководство Олли талантливой командой гражданских служащих будет иметь решающее значение для успеха целевой группы Frontier по ИИ. Мы благодарны премьер-министру за освобождение такого ключевого члена команды под номером 10.

Я так благодарен ‘Генералу Гроувзу’ за энергию, которую олицетворяет Олли, и за решимость и энтузиазм, которые столь многие в целевой группе № 10 и Департаменте науки, инноваций и технологий внесли в решение этой задачи.

Мы движемся быстро, но время дорого. Великобритания проводит первый в истории саммит по безопасности искусственного интеллекта 1 ноября, всего через 8 недель. Нам нужно больше технических экспертов и ведущих технических организаций, которые придут и поддержат нас. Оценки моделей frontier, которые мы разрабатываем, помогут установить стандарт для всего мира и гарантировать, что мы сможем безопасно использовать потенциальные преимущества ИИ. Пожалуйста, подайте заявку здесь!

Справочная информация

Целевая группа – это стартап, который будет быстро развиваться, но он играет по тем же правилам, что и остальные правительственные структуры. Функционально Целевая группа является частью Департамента науки, инноваций и технологий (DSIT), при этом постоянный секретарь выполняет функции бухгалтера, а министры DSIT подотчетны парламенту. Таким образом, расходы Целевой группы будут учитываться в обычном годовом отчете и счетах DSIT и подпадать под тот же контроль Казначейства Ее Величества (HMT), что и расходы других департаментов. Все назначения будут соответствовать обычной политике в отношении конфликтов интересов DSIT и будут подчиняться стандартным правилам деловых назначений, когда срок их полномочий подойдет к концу. Иэн Хогарт, как председатель целевой группы, отчитывается совместно перед премьер-министром и государственным секретарем DSIT.