Google Cloud дебютирует с тремя облачными сервисами хранения для рабочих нагрузок ИИ, требующих больших объемов данных

Сегодня Google Cloud заявила, что расширяет возможности облачного хранилища, чтобы помочь клиентам справиться с уникальными требованиями рабочих нагрузок искусственного интеллекта, которые, как известно, требуют больших объемов данных.

Три новых предложения для хранения данных, анонсированных сегодня, включают Parallelstore, облачное хранилище FUSE и Google Cloud NetApp Volumes. Ко всем им можно получить доступ через Google Cloud Console, предоставляя предприятиям, по словам Google, более мощные и экономичные решения для хранения данных для их приложений ИИ.

Parallelstore

По словам Google, Parallelstore – это параллельная файловая система для самых требовательных ИИ и высокопроизводительных вычислительных приложений, использующих графические процессоры. Parallelstore, доступный сейчас в режиме приватного просмотра, призван помочь клиентам не тратить драгоценные ресурсы графического процессора впустую в ожидании пополнения хранилища.

В Google объяснили, что Parallelstore работает за счет того, что графические процессоры “насыщены” данными, необходимыми для оптимизации обучения ИИ и машинного обучения. Таким образом, он предотвращает простаивание графических процессоров и устраняет связанные с этим напрасные расходы.

Компания заявила, что Parallelstore основан на архитектуре распределенного асинхронного объектного хранилища следующего поколения, или DAOS, которая гарантирует, что все графические процессоры в ее среде имеют равный доступ к хранилищу. Это означает, что виртуальные машины на базе GPU могут получать доступ к необходимым им данным мгновенно, без необходимости ждать. Таким образом, это наиболее подходящий вариант хранения для облачных приложений, которым требуется высочайшая производительность с точки зрения операций ввода-вывода и пропускной способности.

“Parallelstore – это дифференцированное высокопроизводительное решение для случаев, когда необходимо расширить рамки шаблонов ввода-вывода, размеров файлов, задержек и пропускной способности”, – написали Самит Агарвал (Sameet Agarwal), вице-президент и генеральный менеджер по хранению данных, и Шон Деррингтон (Sean Derrington), менеджер по продуктам группы Storage, в соавторстве в блоге. “Для высокопроизводительных рабочих нагрузок ИИ / ML Parallelstore можно настроить таким образом, чтобы исключить ненужную загрузку хранилища, чтобы вы не оказались застигнутыми врасплох решением, которое не справляется с вашими требованиями к рабочей нагрузке”.

Стив Макдауэлл из NAND Research сказал, что запуск Parallelstore предоставляет столь необходимые возможности хранения в облаке и, несомненно, будет оценен сообществом искусственного интеллекта. “Для обучения моделей глубокого обучения на больших наборах данных, как мы это делаем с генеративным ИИ и LLM, требуется масштабируемая файловая система с высокой пропускной способностью, которую Google предоставляет вместе с Parallelstore”, – сказал он SiliconANGLE. “Помимо предоставления этой критически важной функциональности своим клиентам, она также устраняет конкурентное отставание от AWS FSx для Lustre”.

Cloud Storage FUSE

Cloud Storage FUSE – это новое предложение для хранения данных, предназначенное для приложений ИИ, которым требуется семантика файловой системы. Общедоступный сейчас, он позволяет клиентам подключать пакеты Google Cloud Storage в виде локальных файловых систем и получать к ним доступ, обеспечивая более плавную работу приложений искусственного интеллекта, которым требуется собственная файловая система для хранения данных обучения, моделей и контрольных точек и доступа к ним. По словам Google, это делается экономически эффективно, сохраняя масштаб, производительность и простоту облачного хранилища Google.

Макдауэлл сказал, что процесс создания хранилища объектов, похожего на локальную файловую систему, всегда был чрезвычайно громоздким для предприятий, поскольку включал в себя мешанину различных технологий. “Google действительно все упрощает”, – объяснил он. “Благодаря FUSE в качестве предложения от первого лица инженеры ИИ теперь могут более эффективно создавать решения с простой интеграцией хранилища объектов. Это мощный инструмент, который полезен не только для ИИ, но и для любого стека аналитики, использующего данные, хранящиеся в виде объектов ”.

Агарвал и Деррингтон описали четыре ключевых преимущества Cloud Storage FUSE для рабочих нагрузок ИИ, главным из которых является совместимость, устраняющая необходимость рефакторинга приложений для вызова специфичных для облака программных интерфейсов приложений. Кроме того, облачное хранилище FUSE интегрировано с официальной клиентской библиотекой Google Go Cloud Storage и было проверено на фреймворках PyTorch и TensorFlow AI для обеспечения его надежности.

Более того, поскольку Cloud Storage FUSE использует облачные хранилища как локальную файловую систему, передача данных на облачные графические процессоры и тензорные процессоры не вызывает задержек, что означает сокращение времени простоя этих ресурсов. Наконец, они объяснили, как заказчики могут использовать готовые изображения Google ML для развертывания Cloud Storage FUSE в виде пакета Linux в своих собственных средах, что означает, что это гораздо более портативное решение для хранения данных.

Объемы NetApp в Google Cloud

Наконец, Google анонсировала Google Cloud NetApp Volumes для корпоративных приложений, работающих в облаке. Доступный сейчас, он предназначен для клиентов, которые уже спроектировали свои приложения для работы в массивах хранения NetApp. Они предоставляют пользователям высокопроизводительные, полностью управляемые ресурсы хранения, необходимые для переноса этих приложений в Google Cloud без внесения в них каких-либо изменений, что значительно упрощает процесс.

Другие возможности включают большую масштабируемость с поддержкой хранилищ объемом до 100 терабайт, возможность реализации управления данными ONTAP для гибридных рабочих нагрузок, которые выполняются в облаке и локально, а также поддержку приложений на базе Linux и Windows.

“По мере того, как вы адаптируетесь к этим рабочим нагрузкам, мы стараемся сделать процесс максимально плавным, используя опции, адаптированные к вашим потребностям в хранении”, – сказали Агарвал и Деррингтон. “С помощью правильного решения для хранения данных вы сможете упростить операции, внедрить инновации, снизить затраты и позиционировать свой бизнес в соответствии с меняющимися потребностями ваших рабочих нагрузок и приложений”.

Макдауэлл сказал, что это важное обновление для Google, которое устраняет конкурентный разрыв, поскольку Amazon Web Services и Microsoft Azure уже предлагают интеграцию с NetApp от первого лица. “Это хорошо для Google и еще лучше для NetApp, поскольку это действительно потрясающее подтверждение его предложений в области облачных хранилищ”, – отметил он. “Благодаря сегодняшнему анонсу NetApp теперь имеет встроенную интеграцию с тремя ведущими облачными провайдерами США”.

В совокупности эти три анонса помогут Google Cloud выровнять условия игры со своими главными конкурентами в облаке. “Google всегда немного отставал от AWS и Azure с точки зрения своих возможностей хранения, но, похоже, ситуация меняется”, – добавил Макдауэлл.