КОНСОРЦИУМ ПО ТРИЛЛИОННЫМ ПАРАМЕТРАМ (TPC)

10 ноября 2023 года объявлено о создании Консорциума “Триллион Параметров” (TPC) . Этот новый международный консорциум направлен на создание надёжных и достоверных генеративных моделей искусственного интеллекта для научных исследований. Он объединяет более 500 участников из почти 70 организаций по всему миру, включая учёных из федеральных лабораторий, исследовательских институтов, академических кругов и промышленности.

Цели TPC включают создание сообщества исследователей для разработки передовых масштабных генеративных моделей ИИ для научных и инженерных проблем, запуск и координацию проектов для максимизации их влияния в области ИИ и науки, а также создание глобальной сети ресурсов и экспертизы для развития ИИ нового поколения.

Консорциум будет сосредотачиваться на определении и подготовке качественных обучающих данных, разработке и оценке архитектур моделей и их производительности, а также разработке стратегий для устранения предвзятости, повышения достоверности и согласования целей в моделях ИИ. TPC стремится использовать глобальные усилия в инициативах построения крупных моделей и включает команды, работающие над использованием передовых экзаскейл-платформ для обучения крупномасштабных языковых моделей (LLM) и других архитектур ИИ.

Рик Стивенс, заместитель директора лаборатории в Аргоннской национальной лаборатории Министерства энергетики США, подчеркнул, что TPC был создан для ускорения разработки передовых ИИ-моделей для научного использования, синтезируя знания в различных научных дисциплинах.

Цели консорциума. Вообще говоря, TPC преследует три цели:

Цель 1. Создайте открытое сообщество исследователей, заинтересованных в создании современных крупномасштабных генеративных моделей ИИ (например, базовых моделей, больших языковых моделей), направленных на продвижение прогресса в решении научных и инженерных проблем путем обмена методами, подходами, инструментами, идеями и рабочими процессами.
Цель 2. Инкубируйте, запускайте и облегчайте координацию и сотрудничество в проектах по созданию конкретных моделей на конкретных площадках, стремясь избежать ненужного дублирования усилий и максимизировать влияние проектов на более широкий искусственный интеллект и научное сообщество. По возможности мы будем решать, что мы можем сделать вместе для получения максимального эффекта, а что нужно делать в небольших группах.
Цель 3. Создайте глобальную сеть ресурсов и экспертных знаний, которые помогут объединить в команду и обучить следующее поколение исследователей в области ИИ и смежных областях, особенно тех, кто заинтересован в разработке и использовании крупномасштабного ИИ для продвижения науки и техники.

Целевое сообщество. Основной целью консорциума является объединение групп, заинтересованных в создании, обучении и использовании крупномасштабных моделей, с теми, кто создает и эксплуатирует крупномасштабные вычислительные системы. Целевое сообщество включает в себя (а) тех, кто работает над разработкой методов ИИ, обработкой естественного языка / мультимодальными подходами и архитектурами, реализациями полного стека, масштабируемыми библиотеками и фреймворками, рабочими процессами ИИ, агрегированием данных, очисткой и организацией, временем выполнения обучения, оценкой моделей, последующей адаптацией, согласованием и т.д.; (б) тех, кто проектирует и создает аппаратные и программные системы; и (в) тех, кто в конечном итоге будет использовать полученные системы ИИ для решения ряда проблем в науке, инженерии, медицине и других областях. другие домены.

Что мы не пытаемся сделать. Мы не пытаемся контролировать, какие проекты группы решают осуществлять, и мы не пытаемся определить, кто с кем сотрудничает. Мы также не рекомендуем конкретные платформы или подходы.

Что мы пытаемся сделать. Обменивайтесь опытом, инструментами, данными и кодом, где это уместно и с полного согласия участников; облегчайте поиск друг друга исследователям с общими интересами и сотрудничество; и пропагандируйте лучшие практики ответственной разработки и оценки ИИ там, где мы можем выявить такие практики и где существует консенсус.

Операционная модель. Мы ожидаем, что консорциум будет заниматься различными видами деятельности в зависимости от интересов участников, но, вероятно, будет включать:

Организация встреч и хакатонов, нацеленных на конкретные цели, которые поддерживают один или несколько партнерских проектов (например, агрегирование, очистка и кураторство обучающих данных, разработка архитектуры масштабируемой модели для данной целевой платформы, совместная работа над крупномасштабными наборами оценки моделей и исследованиями, сравнительный анализ моделей);
Организация (виртуальных и очных) семинаров и посещений объектов, связанных с будущими направлениями исследований и открытыми проблемами в создании и оценке крупномасштабных систем ИИ для науки и техники;
Совместная работа над созданием официальных документов или других материалов, помогающих отстаивать и объяснять необходимость передовых систем ИИ, оптимизированных для научных и инженерных применений;
Выявление и продвижение возможностей для посещения студентами, аспирантами и исследователями смежных мероприятий, летних школ или проектной работы, направленной на крупномасштабное использование ИИ в науке и технике; и
Совместная работа по предложению, обеспечению безопасности и управлению распределением машинного времени для групповых проектов, охватывающих один или несколько сайтов.

Управление. По мере запуска консорциума мы будем искать людей, заинтересованных в руководстве, координации и управлении деятельностью. Мы создадим Руководящий комитет, состоящий из представителей каждого участвующего учреждения, которые заинтересованы в содействии организации мероприятий и продвижении усилий вперед. Мы также ожидаем создания рабочих групп по ключевым темам для продвижения повестки дня вперед. В зависимости от того, сколько запущено конкретных работ по разработке моделей, эти рабочие группы могут быть вовлечены в одну или несколько работ по разработке и / или оценке моделей. По мере того, как мы будем выяснять, как группа хочет работать, мы планируем работать со всеми, чтобы разработать работающую структуру управления.