Google запускает три новых варианта облачного хранилища: Cloud Storage FUSE, Parallelstore, NetApp Volumes

Домашняя страница InfoQ Новости Google запускает три новых варианта облачного хранилища: Cloud Storage FUSE, Parallelstore, NetApp Volumes

29 августа 2023 г., чтение на 2 минуты

к

Стив-Ян Виггерс

Google недавно запустил три новых варианта облачного хранилища: Cloud Storage FUSE для приложений искусственного интеллекта (AI), которым требуется семантика файловой системы, параллельная файловая система Parallelstore для требовательных приложений AI и HPC, использующих графические процессоры, и NetApp Volumes для корпоративных приложений, работающих в облаке. .

Cloud Storage FUSE уже был доступен в виде версии с открытым исходным кодом, что позволяло получать доступ к объектам в сегментах Cloud Storage как к файлам, смонтированным в локальной файловой системе. Компания улучшила его, добавив новые уровни портативности, надежности, производительности и интеграции, ориентированные на рабочие нагрузки искусственного интеллекта. В сообщении в блоге Google авторы Марко Абела, менеджер по продукту, и Акшай Рам, старший менеджер по продукту Google, объясняют:

Новое облачное хранилище FUSE особенно важно для рабочих нагрузок искусственного интеллекта. Поскольку приложения могут получать доступ к данным напрямую (а не загружать их локально), нет необходимости реализовывать специальную логику и сокращается время простоя для ценных ресурсов, таких как TPU и GPU, во время копирования данных. Кроме того, новый драйвер Cloud Storage FUSE CSI для Google Kubernetes Engine (GKE) позволяет приложениям монтировать Cloud Storage с помощью знакомого API Kubernetes, и он предлагается в виде готового развертывания под управлением GKE.

Обзор Cloud Storage FUSE (Источник: сообщение в блоге Google)

Дж. У. Дэвис, евангелист облачных технологий, прокомментировал в твиттере доступность файловых систем FUSE в GKE:

Кажется, это обречено на множество катастроф. Полезно для очень узкого круга случаев использования; большинство будет злоупотреблять этим и страдать.

В дополнение к Cloud Storage FUSE для приложений AI компания объявляет о частной предварительной версии параллельной файловой системы под названием Parallelstore, которая помогает пользователям перестать тратить драгоценные ресурсы графического процессора и в то же время ожидать ввода-вывода хранилища, предоставляя высокопроизводительный решение для параллельного хранения файлов для рабочих нагрузок AI/ML и HPC. Решение основано на архитектуре распределенного асинхронного объектного хранилища Intel (DAOS) нового поколения.

Самит Агарвал, вице-президент/генеральный директор подразделения Storage, и Шон Деррингтон, менеджер по продуктам группы Storage, объясняют в блоге Google новые варианты облачного хранилища:

Благодаря архитектуре Intel DAOS нового поколения все вычислительные узлы в среде Parallelstore имеют равный доступ к хранилищу, поэтому виртуальные машины могут получить немедленный доступ к своим данным. Благодаря увеличению производительности чтения до 6,3 раз по сравнению с конкурирующими предложениями Lustre Scratch, Parallelstore хорошо подходит для облачных приложений, которым требуется чрезвычайно высокая производительность (IOPS и пропускная способность) и сверхнизкая задержка.

Наконец, третий новый вариант облачного хранилища — NetApp Volumes, высокопроизводительный сервис хранения файлов, полностью управляемый Google. Этот вариант хранилища предназначен для предприятий, которые хотят перенести свои приложения поверх локальных массивов хранения NetApp в облако. Служба предоставляет возможность увеличивать объемы со 100 ГиБ до 100 ТиБ для максимальной масштабируемости, реализовывать управление данными ONTAP для гибридных рабочих нагрузок и запускать приложения Windows или Linux в качестве виртуальных машин без рефакторинга.

На вопрос InfoQ о том, что движет этими инвестициями со стороны Google, вот что сказал Деррингтон:

Поскольку искусственный интеллект стал играть важную роль в автоматизации управления данными, организации обращаются к облаку, чтобы предоставить правильное решение для хранения данных для правильного приложения. С новыми предложениями хранилища Google Cloud, оптимизированными для искусственного интеллекта, Cloud Storage FUSE и Parallelstore, мы помогаем клиентам адаптироваться к сложным рабочим нагрузкам искусственного интеллекта, предлагая индивидуальные решения для хранения данных, которые упрощают операции, открывают возможности для инноваций, сокращают затраты и многое другое.