AMAZON Storage Gateway

AWS Storage Gateway – это сервис гибридного хранилища, который позволяет локальным приложениям эффективно использовать облачное хранилище AWS. Этот сервис можно использовать для резервного копирования и архивирования, аварийного восстановления, обработки данных в облаке, организации многоуровневых хранилищ и миграции. Сервис помогает сократить и упростить собственные центры обработки данных или инфраструктуру хранилищ в подразделениях и удаленных офисах. Приложения подключаются к сервису через виртуальную машину или устройство аппаратного шлюза с использованием стандартных протоколов хранилищ, таких как NFS, SMB или iSCSI. Шлюз подключается к сервисам хранилищ AWS, таким как Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive, Amazon EBS или AWS Backup, и обеспечивает хранение в AWS файлов, томов, снимков состояния и виртуальных лент. Сервис включает в себя тщательно оптимизированный механизм передачи данных с управлением пропускной способностью, автоматическим обеспечением отказоустойчивости сети и эффективной передачей данных, а также локальный кэш для локального доступа к часто используемым данным с низкими задержками. ВОЗМОЖНОСТИ: Знакомство со Storage Gateway AWS Storage Gateway – это сервис гибридного облачного хранилища, позволяющий соединить существующие локальные среды с облаком AWS. Возможности сервиса позволяют без труда исполнять гибридные облачные рабочие нагрузки на любом этапе внедрения облачных технологий, будь то начало работы с облачными резервными копиями, обработка данных, полученных с локальных машин, в облаке или однократная миграция данных томов блочного хранилища или баз данных. Основные возможности Стандартные протоколы хранилища. Storage Gateway эффективно интегрируется в локальные производственные приложения или приложения резервного копирования с поддержкой NFS, SMB, iSCSI или iSCSI-VTL, что позволяет внедрять облачное хранилище AWS без внесения изменений в приложения. Преобразование протоколов и эмуляция устройств позволяет получать доступ к блочным данным томов, управляемых Storage Gateway, в Amazon S3, хранить файлы в виде нативных объектов Amazon S3, а также хранить виртуальные ленточные резервные копии онлайн в виртуальной ленточной библиотеке, работающей на базе сервиса S3, или перемещать резервные копии на уровень ленточного архива в Amazon Glacier. Полностью управляемый кэш. Кэш недавно записанных или считанных данных располагается на локальном шлюзовом устройстве, поэтому приложения могут получать доступ к данным, надежно хранящимся в AWS, с низкими задержками. Шлюзы используют сквозной кэш чтения и кэш с отложенной записью. Оптимизированная и безопасная передача данных. Сервис Storage Gateway предлагает безопасную выгрузку измененных данных и безопасную загрузку запрашиваемых данных, а также шифрует данные при передаче между любыми типами шлюзовых устройств и AWS с помощью протокола SSL. Во всех типах шлюзов используются различные методы оптимизации, например многокомпонентное управление, автоматическая буферизация и дельта‑передача. Ко всем блочным и виртуальным ленточным данным применяется сжатие данных. Интеграция с AWS. Поскольку Storage Gateway является нативным сервисом AWS, он интегрируется с другими сервисами AWS для хранения данных, резервного копирования и управления. Сервис сохраняет файлы в виде нативных объектов Amazon S3, архивирует виртуальные ленты в Amazon Glacier и сохраняет снимки состояния EBS, созданные в Volume Gateway, в Amazon EBS. Storage Gateway также интегрируется с AWS Backup для управления резервными копиями и восстановлением томов шлюза томов, что упрощает управление резервными копиями и помогает обеспечить соответствие корпоративным и нормативным требованиям в вопросах резервного копирования. Кроме того, Storage Gateway предлагает единообразное управление через консоль AWS, в том числе локальными шлюзами, для мониторинга, управления и обеспечения безопасности с помощью сервисов AWS, например Amazon CloudWatch, AWS CloudTrail, AWS Identity and Access Management (IAM) и AWS Key Management Service (KMS). Типы шлюзов Файловый шлюз Файловый шлюз представляет собой файловый интерфейс, который позволяет хранить файлы в виде объектов в Amazon S3 с использованием стандартных протоколов NFS и SMB. К файлам можно обращаться через NFS и SMB из собственного ЦОД или Amazon EC2. Кроме того, эти файлы доступны как объекты с помощью вызовов API сервиса S3. Метаданные в формате POSIX, в том числе сведения о принадлежности, разрешения и отметки времени, надежно хранятся в пользовательских метаданных объектов Amazon S3, связанных с файлами. Как только объект передан в S3, им можно управлять как собственным объектом S3, поэтому настроенные для корзины политики (такие как управление версиями и жизненным циклом или репликация между регионами) будут непосредственно применяться ко всем объектам в корзине.

Клиенты используют файловый шлюз для хранения в S3 файловых данных объектных рабочих нагрузок, в том числе для анализа данных или машинного обучения, в качестве экономичного целевого хранилища для резервного копирования либо как репозиторий или облачный уровень файлового хранилища приложения.

Шлюз томов

Шлюз томов предоставляет приложениям доступ к томам блочного хранилища по протоколу iSCSI. Для данных, записанных на эти тома, можно асинхронно создавать резервные копии в виде снимков состояния тома на момент времени и хранить их в облаке как снимки Amazon EBS Резервное копирование локальных томов шлюза томов можно выполнять с помощью нативного планировщика снимков состояния или сервиса AWS Backup. В обоих сценариях резервные копии томов будут храниться в AWS в виде снимков состояния Amazon EBS. Снимки состояния представляют собой инкрементные резервные копии, то есть регистрируют только изменившиеся блоки. Кроме того, все хранилища снимков состояния сжимаются, что еще больше сокращает расходы на их хранение.

При подключении к шлюзу Volume Gateway через блочный интерфейс iSCSI можно выбрать два режима работы шлюза: кэширование или хранение. В режиме кэширования основные данные хранятся в Amazon S3, при этом можно сохранять часто запрашиваемые данные локально в кэше. Это позволяет значительно сократить расходы на хранение основных данных и избежать лишнего масштабирования локального хранилища, сохранив при этом низкую задержку при доступе к часто запрашиваемым данным.

В режиме хранения весь набор данных сохраняется локально, при этом выполняется асинхронное копирование тома клиента в Amazon S3 и в снимки состояния EBS на момент времени. Это надежное и недорогое решение для вторичного резервного копирования, которое позволяет восстанавливать данные локально, на другом сайте или в Amazon EC2.

Клиенты часто выбирают Volume Gateway для резервного копирования локальных приложений и используют его для аварийного восстановления на основе снимков состояния EBS или клонов кэшируемых томов. Интеграция шлюза томов с сервисом AWS Backup позволяет клиентам использовать AWS Backup для защиты локальных приложений, использующих тома шлюза томов. Сервис AWS Backup поддерживает резервное копирование и восстановление как кэшированных, так и сохраненных томов. Использование AWS Backup вместе со шлюзом томов позволяет централизовать управление резервными копиями, снизить операционную нагрузку и обеспечить соответствие нормативным требованиям. AWS Backup позволяет:

• создавать настраиваемые политики резервного копирования по расписанию в соответствии с актуальными требованиями;
• создавать правила резервного копирования, хранения данных и истечения срока хранения, так что больше не придется разрабатывать собственные скрипты или вручную выполнять резервное копирование томов;
• централизованно управлять резервными копиями на нескольких шлюзах и другими ресурсами AWS, а также осуществлять их мониторинг.

Ленточный шлюз Ленточный шлюз рассматривается приложениями для резервного копирования как стандартная виртуальная ленточная библиотека (VTL) на базе iSCSI, включающая виртуальный преобразователь данных и виртуальные ленточные носители. Вы сможете по‑прежнему использовать существующие рабочие процессы и приложения для резервного копирования, при этом получив в распоряжение практически бесконечный запас виртуальных лент. Каждая виртуальная лента хранится в Amazon S3. Когда необходимость в мгновенном или частом доступе к данным на виртуальной ленте отпадает, можно с помощью приложения для резервного копирования перенести виртуальную ленту из библиотеки виртуальных лент Storage Gateway на уровень архива, который организован на базе облачного хранилища Amazon Glacier, чтобы еще больше снизить расходы на хранение. В настоящее время сервис Storage Gateway совместим с большинством популярных приложений для резервного копирования. Интерфейс VTL ленточного шлюза позволяет избежать серьезных стартовых вложений в автоматизацию работы с ленточными накопителями, долгосрочных договоров на обслуживание оборудования и текущих расходов на сами носители. Вы платите только за те ресурсы, которые используете, и увеличиваете их объем по мере необходимости. Исчезает необходимость в передаче носителей данных на внешние площадки и в ручной работе с ленточными носителями; архивы хранятся с использованием всех встроенных преимуществ и надежности облачной платформы AWS. Варианты развертывания Storage Gateway Сервис AWS Storage Gateway включает в себя облачные компоненты, в том числе консоль управления, инфраструктуру хранилища, серверные средства управления, сервисы интеграции, API и шлюзовое устройство, которое пользователь развертывает и подключает к своим приложениям. У пользователя есть четыре варианта развертывания: виртуальная машина с ПО Storage Gateway, которое работает локально на VMware ESXi, Microsoft Hyper‑V; локальное аппаратное устройство; виртуальная машина в VMware Cloud on AWS; AMI в сервисе Amazon EC2. Storage Gateway как аппаратное устройство Storage Gateway поставляется в качестве предустановленного решения на аппаратном устройстве, представляющем собой сервер Dell EMC PowerEdge R640XL проверенной конфигурации. Аппаратное устройство предлагает удобную процедуру покупки, развертывания и управления для клиентов, столкнувшихся с ограничениями виртуализированной инфраструктуры, обременительными процессами централизованного распределения ресурсов или нехваткой ИТ‑персонала. Цены на AWS Storage Gateway При использовании AWS Storage Gateway оплачиваются только использованные ресурсы – с учетом типа и объема выбранного хранилища, выполненных запросов и объема данных, полученных из AWS. Информация о ценах на аппаратные устройства доступна в описании сервисов на amazon.com. ПРЕИМУЩЕСТВА: Интеграция Гибридное облачное хранилище подразумевает, что данные можно использовать локально и при этом надежно хранить в облачных хранилищах AWS, таких как Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive и Amazon EBS. После перемещения данных в AWS для их обработки можно применять вычислительные сервисы AWS, сервисы машинного обучения и аналитики больших данных. Кроме того, можно использовать весь набор сервисов AWS для обеспечения безопасности и управления, включая AWS Backup, AWS KMS, AWS Identity and Access Management (IAM), рабочие процессы SNS, Amazon CloudWatch и AWS CloudTrail. Производительность Сервис AWS Storage Gateway кэширует данные в локальной виртуальной машине или устройстве аппаратного шлюза, обеспечивая низкий уровень задержек и высокую производительность дисковых и сетевых ресурсов, необходимую для активно используемых данных. Сервис также осуществляет оптимизированную передачу данных на уровни хранилищ в облаке AWS в фоновом режиме. Пользователи и приложения продолжат работать с хранилищем данных по локальной модели, при этом организация получает все преимущества облачных серверов. Оптимизированная передача данных Сервис предлагает встроенные функции сжатия, шифрования и управления пропускной способностью. Storage Gateway управляет локальными выгрузками кэша в облако на основании необходимых параметров производительности, что позволяет тонко настроить баланс задержек и масштабирования для рабочих нагрузок. Передаются только измененные данные, что позволяет оптимизировать пропускную способность сети. Простота Прерывать работу не требуется. Загрузите и установите виртуальную машину или выполните развертывание выделенного аппаратного устройства, выберите интерфейс и свяжите с ним ресурсы локального кэширования. Благодаря расширенной поддержке сетевых решений и протоколов вам не потребуется устанавливать клиентские приложения и настраивать сети или брандмауэры. Виртуальное устройство можно использовать локально или в Amazon EC2 для обслуживания облачных приложений. Масштаб облака Облачное хранилище развертывается и оплачивается по требованию, благодаря чему пользователь получает в распоряжение нужный объем ресурсов. По мере увеличения или сокращения рабочих нагрузок можно расширять хранилища для резервных копий и архивов без авансовых платежей и выделять дополнительное пространство для хранения данных без приобретения нового оборудования. Надежность и безопасность Данные, хранящиеся в сервисе AWS Storage Gateway, защищены с помощью средств обеспечения безопасности и надежности, встроенных в сервисы облачного хранения AWS. Инструменты управления хранилищем (управление версиями, межрегиональная репликация и политики управления жизненным циклом) позволяют снизить стоимость долгосрочного архивирования, упростить проведение аудита и обеспечение соответствия требованиям, а также защитить все данные, а не только их локально сохраненную часть. Все данные, передаваемые сервисом Storage Gateway в AWS, шифруются при передаче и при последующем хранении в AWS.