Создание искусственного интеллекта для бизнеса: модели Granite Foundation от IBM

Это захватывающее время для искусственного интеллекта для бизнеса. По мере того, как мы все шире применяем технологию в различных областях – от обслуживания клиентов до управления персоналом и модернизации кода, – искусственный интеллект (ИИ) помогает все большему числу из нас работать умнее, а не усерднее. И поскольку мы находимся только в начале революции искусственного интеллекта для бизнеса, потенциал для повышения производительности и креативности огромен.

Но искусственный интеллект сегодня – невероятно динамичная область, и платформы искусственного интеллекта должны отражать этот динамизм, включая новейшие достижения для удовлетворения требований сегодняшнего и завтрашнего дня. Вот почему мы в IBM продолжаем добавлять новые мощные возможности в IBM watsonx, нашу платформу данных и искусственного интеллекта для бизнеса.

Сегодня мы объявляем о нашем последнем дополнении: новом семействе построенных IBM моделей foundation, которые будут доступны в watsonx.ai нашей студии генеративного искусственного интеллекта, моделей foundation и машинного обучения. Эти многоразмерные базовые модели, получившие общее название “Гранит”, применяют генеративный искусственный интеллект как к языку, так и к коду. И точно так же, как гранит является прочным, многоцелевым материалом, имеющим множество применений в строительстве и производстве, мы в IBM верим, что эти модели из гранита принесут вашему бизнесу непреходящую ценность.

Но теперь давайте заглянем под капот и немного расскажем о том, как мы их создавали, и как они помогут вам вывести ИИ на новый уровень в вашем бизнесе.

Модели Granite Foundation от IBM предназначены для бизнеса

Разработанные IBM Research, модели Granite — Granite.13b.instruct и Granite.13b.chat — используют архитектуру “Декодера”, которая лежит в основе способности современных больших языковых моделей предсказывать следующее слово в последовательности.

Модели Granite с 13 миллиардами параметров более эффективны, чем модели большего размера, поскольку они устанавливаются на один графический процессор V100-32GB. Они также могут оказывать меньшее влияние на окружающую среду, при этом хорошо справляясь со специализированными задачами бизнес-предметной области, такими как обобщение, ответы на вопросы и классификация. Они широко применимы во всех отраслях и поддерживают другие задачи NLP, такие как генерация контента, извлечение информации и поиск-расширенная генерация (основа для повышения качества реагирования путем привязки модели к внешним источникам знаний) и распознавание именованных объектов (идентификация и извлечение ключевой информации в тексте).

В IBM мы сосредоточены на создании моделей, ориентированных на бизнес. Семейство моделей Granite ничем не отличается, и поэтому мы обучили их работе с различными наборами данных — общим объемом 7 ТБ до предварительной обработки, 2,4 ТБ после предварительной обработки – для получения 1 триллиона токенов, набора символов, который имеет семантическое значение для модели. Наш выбор наборов данных был ориентирован на потребности бизнес-пользователей и включает данные из следующих областей:

Интернет: общие неструктурированные языковые данные, взятые из общедоступного Интернета
Академические: технические неструктурированные языковые данные, ориентированные на науку и технологии
Код: неструктурированные наборы данных кода, охватывающие множество языков программирования
Юридические: неструктурированные языковые данные, относящиеся к предприятию, взятые из юридических заключений и других открытых документов
Финансы: неструктурированные данные, относящиеся к предприятию, взятые из общедоступных финансовых документов и отчетов

Обучая модели на базе специализированных для предприятия наборов данных, мы помогаем убедиться, что наши модели знакомы со специализированным языком и жаргоном этих отраслей и принимают решения, основанные на соответствующих отраслевых знаниях.

Модели Granite Foundation от IBM построены на доверии

В бизнесе доверие – это ваша лицензия на деятельность. “Доверяйте нам” – это не аргумент, особенно когда речь идет об ИИ. Подход IBM, одной из первых компаний, разработавшей корпоративный искусственный интеллект, к разработке искусственного интеллекта руководствуется основными принципами, основанными на обязательствах доверия и прозрачности. Платформа IBM watsonx для искусственного интеллекта и передачи данных позволяет вам выйти за рамки роли пользователя искусственного интеллекта и стать создателем ценностей искусственного интеллекта. В нем реализован комплексный процесс построения и тестирования базовых моделей и генеративного искусственного интеллекта — начиная со сбора данных и заканчивая контрольными точками для отслеживания ответственных развертываний моделей и приложений, — ориентированный на управление, оценку рисков, устранение предвзятости и соответствие требованиям.

Поскольку модели Granite будут доступны клиентам для адаптации к их собственным приложениям, каждый набор данных, используемый в обучении, проходит определенный процесс проверки управления, рисков и соответствия требованиям (GRC). Мы разработали процедуры управления для включения данных в IBM Data Pile, которые соответствуют принципам этики IBM в области искусственного интеллекта. Учет критериев GRC для данных охватывает весь жизненный цикл обучающих данных. Наша цель – установить проверяемую связь от обученной базовой модели вплоть до конкретной версии набора данных, на которой обучалась модель.

Большое внимание средств массовой информации (справедливо) было сосредоточено на риске порождающего ИИ, порождающего ненависть или дискредитирующую информацию. В IBM мы знаем, что предприятия не могут позволить себе идти на такие риски, поэтому наши модели Granite обучаются на данных, тщательно изученных нашим собственным “детектором случайностей”, языковой моделью, разработанной IBM для обнаружения и искоренения ненавистнического и непристойного контента (отсюда “HAP”), который сравнивается как с внутренними, так и с общедоступными моделями. После присвоения оценки каждому предложению в документе по предложениям и оценкам выполняется аналитика для изучения распределения, которая определяет процент предложений для фильтрации.

Помимо этого, мы применяем широкий спектр других мер по повышению качества. Мы ищем и удаляем дублирование, которое улучшает качество выходных данных, и используем фильтры качества документов для дальнейшего удаления документов низкого качества, не подходящих для обучения. Мы также внедряем регулярные меры защиты данных, включая мониторинг веб-сайтов, известных пиратскими материалами или размещением других оскорбительных материалов, и избегаем таких веб-сайтов.

А поскольку ландшафт технологий генерирования искусственного интеллекта постоянно меняется, наш комплексный процесс будет постоянно развиваться и совершенствоваться, обеспечивая предприятиям результаты, которым они могут доверять.

Модели Granite Foundation от IBM разработаны для расширения ваших возможностей

Ключом к видению IBM искусственного интеллекта для бизнеса является понятие расширения прав и возможностей. Каждая организация будет внедрять модели Granite для достижения своих собственных целей, и у каждого предприятия есть свои правила, которым нужно соответствовать, независимо от того, исходят ли они из законов, социальных норм, отраслевых стандартов, требований рынка или архитектурных требований. Мы считаем, что предприятия должны иметь возможность персонализировать свои модели в соответствии со своими собственными ценностями (в определенных пределах), где бы ни находились их рабочие нагрузки, используя инструменты платформы watsonx.

Но это еще не все. Что бы вы ни делали в watsonx, вы сохраняете право собственности на свои данные. Мы не используем ваши данные для обучения наших моделей; вы сохраняете контроль над созданными вами моделями и можете использовать их где угодно.

Модели Granite Foundation: только начало

Начальные модели Granite – это только начало: планируется выпуск новых на других языках, также готовятся дополнительные модели, обученные IBM. Тем временем мы продолжаем добавлять модели с открытым исходным кодом в watsonx. Мы недавно объявили, что IBM теперь предлагает модель Llama 2-chat от Meta с 70 миллиардами параметров для отбора клиентов для раннего доступа и планируем сделать ее широко доступной позже в сентябре. Кроме того, IBM разместит StarCoder, большую языковую модель для кода, включающую более 80 языков программирования, коммиты Git, проблемы GitHub и записные книжки Jupyter.

Помимо новых моделей, компания IBM также запуск новых дополнительных возможностей в watsonx.Ай Студио. В конце этого месяца появится первая итерация нашей студии настройки, которая будет включать в себя быструю настройку – эффективный и недорогой способ для клиентов адаптировать базовые модели к своим уникальным задачам на последующих этапах путем обучения моделей на собственных надежных данных. Мы также запустим наш генератор синтетических данных, который поможет пользователям создавать искусственные табличные наборы данных на основе пользовательских схем данных или внутренних наборов данных. Эта функция позволит пользователям извлекать информацию для обучения модели искусственного интеллекта и точной настройки или моделирования сценариев с уменьшенным риском, способствуя принятию решений и ускоряя время вывода на рынок.

Добавление моделей Granite Foundation и других возможностей в watsonx открывает новые захватывающие возможности в области искусственного интеллекта для бизнеса. С новыми моделями и новыми инструментами приходят новые идеи и новые решения. И что самое приятное во всем этом? Мы только начинаем.

Протестируйте их watsonx.ai с помощью нашей пробной версии watsonx