Институт искусственного интеллекта Аллена представляет AI2 OLMo, языковую модель с открытым исходным кодом

Ожидается, что эта модель с открытым языком для исследователей будет выпущена в начале 2024 года.

Allen Institute for AI (сокращенно A12) недавно анонсировал AI2 OLMo (Open Language Model), открытую, современную генеративную языковую модель, сопоставимую по масштабу с другими современными языковыми моделями с 70 миллиардами параметров.

A12 OLMo, выход которой ожидается в начале 2024 года, представляет собой платформу, которая впервые позволит исследователям искусственного интеллекта работать непосредственно над языковыми моделями. Проект обеспечит доступ ко всем его элементам, включая доступные данные и код, используемый для их генерации. Кроме того, модель, обучающий код, обучающие кривые, веса модели и контрольные показатели оценки будут доступны в виде материалов с открытым исходным кодом.

“Имея в виду научное сообщество, OLMo будет специально создан для продвижения науки о языковых моделях”, – говорит Ханнане Хаджиширзи, руководитель проекта OLMo и старший директор по исследованиям НЛП в AI2. “OLMo станет первой языковой моделью, специально разработанной для научного понимания и открытий”.

Цель этой действительно открытой языковой модели – принести пользу исследовательскому сообществу, предоставляя доступ и обучение по всем аспектам создания моделей. AI2 разрабатывает OLMo в сотрудничестве с AMD и CSC, используя новую графическую часть суперкомпьютера LUMI pre-exascale на базе процессоров AMD, одного из самых экологичных суперкомпьютеров в мире.

Помимо сотрудничества в области аппаратных средств и вычислительных ресурсов с AMD и LUMI, A12 также сотрудничает с такими организациями, как Surge AI и MosaicML, в области данных и обучающего кода. Модель OLMo и API рекламируются как новый мощный ресурс для более широкого сообщества, позволяющий участвовать в революции генеративного ИИ. Кроме того, A12 открыла возможности для большего числа подобных партнерств со стороны организаций для создания ответственных и полезных технологий искусственного интеллекта.

Основанный покойным соучредителем Microsoft Полом Алленом, институт в Сиэтле насчитывает более 200 исследователей, инженеров, профессоров и сотрудников в области искусственного интеллекта, и получает ежегодное финансирование в размере 100 миллионов долларов. Они опубликовали более 1000 исследовательских работ в таких областях искусственного интеллекта, как обработка естественного языка, компьютерное зрение и рассуждения на основе здравого смысла.

Недавно институт также привлек новый предварительный фонд в размере 30 миллионов долларов для инвестирования в стартапы “AI-first”, созданные в рамках его программы инкубатора. Фонд поддерживается тяжеловесами венчурного капитала, включая Madrona Venture Group, Sequoia Capital и Two Sigma Ventures, которые все ранее инвестировали в первый фонд.