Amazon Simple Storage Service (Amazon S3) – это облачный сервис объектного хранения данных, обеспечивающий одни из лучших в отрасли показатели производительности, масштабируемости, доступности и безопасности. Сервис предназначен для компании любых размеров и областей деятельности. Ресурсы этой облачной платформы могут использоваться для хранения и защиты любых объемов данных в различных ситуациях, например для обеспечения работы сайтов, мобильных приложений, для резервного копирования и восстановления, архивации, корпоративных приложений, устройств IoT и анализа больших данных. Amazon S3 предлагает простые в использовании инструменты администрирования, которые позволяют организовать данные и точно настроить ограничения доступа в соответствии потребностями вашего бизнеса или законодательными требованиями. Amazon S3 обеспечивает надежность 99,999999999 % (11 девяток) и хранит данные миллионов приложений в интересах компаний по всему миру. Основные преимущества: Высочайшие показатели производительности, масштабируемости, доступности и надежности Можно легко увеличивать и сокращать ресурсы хранилища в соответствии с колебаниями потребностей, при этом не требуются предварительные вложения или затраты на приобретение ресурсов. Сервис Amazon S3 обеспечивает надежность данных 99,999999999 %, поскольку он автоматически создает и сохраняет копии всех объектов из S3 во множестве независимых систем. Это означает, что ваши данные доступны, когда они нужны, и защищены от сбоев, ошибок и угроз. Широкий выбор экономичных классов хранилищ Сокращайте затраты, не жертвуя производительностью, путем хранения данных в различных классах хранилищ S3, которые обеспечивают различные уровни доступа к данным по соответствующим расценкам. Можно использовать анализ классов хранилищ S3, чтобы выявить данные, которые следует перенести в менее затратный класс хранилища, на основании моделей доступа к ним, а также настроить политику жизненного цикла S3, чтобы выполнять перенос. Можно также хранить данные с меняющимися или неизвестными моделями доступа в системе S3 Intelligent-Tiering, которая распределяет объекты по уровням на основании меняющихся моделей доступа и автоматически обеспечивает сокращение затрат. Широкие возможности по обеспечению безопасности, соблюдению законодательных требований и аудиту Храните свои данные в Amazon S3 и защитите их от несанкционированного доступа с помощью шифрования и инструментов ограничения доступа. Также можно использовать сервис Amazon Macie для выявления конфиденциальных данных, хранящихся в ваших корзинах S3, и обнаружения подозрительных запросов на доступ. Amazon S3 соблюдает нормативы таких стандартов, как PCI-DSS, HIPAA/HITECH, FedRAMP, директивы ЕС по защите данных и FISMA, чтобы помочь вам выполнить законодательные требования. AWS также поддерживает разнообразные возможности аудита, чтобы отслеживать запросы на доступ к вашим ресурсам в S3. Инструменты управления для точного контроля над данными Классифицируйте свои данные, администрируйте их и составляйте по ним отчеты с помощью таких возможностей, как анализ классов хранилищ S3, чтобы анализировать модели доступа, политики жизненного цикла S3, чтобы перемещать объекты в хранилища менее затратных классов, межрегиональная репликация S3, чтобы реплицировать данные в других регионах, S3 Object Lock, чтобы задавать сроки хранения для объектов и защищать их от удаления, и S3 Inventory, чтобы получать представление о своих объектах хранения, их метаданных и шифровании. Также можно использовать пакетные операции S3, чтобы изменять свойства объектов и проводить операции по администрированию хранилищ над миллиардами объектов. Поскольку Amazon S3 работает с AWS Lambda, вы можете регистрировать действия, определять предупреждения и автоматизировать рабочие процессы без управления какой‑либо дополнительной инфраструктурой. Сервисы отправки запросов к данным без извлечения для аналитики Проводите анализ больших данных на своих объектах S3 (и других наборах данных в AWS) с помощью наших сервисов для отправки запросов к данным без извлечения. Используйте Amazon Athena для отправки запросов к данным в S3 с помощью стандартных выражений SQL и Amazon Redshift Spectrum для анализа данных в ваших хранилищах AWS и ресурсах S3. Также можно использовать S3 Select для извлечения нужных наборов метаданных по объектам вместо объектов целиком и добиться повышения производительности запросов до 400 %. Сервис облачного хранения с развитой техподдержкой Храните и защищайте свои данные в Amazon S3, сотрудничая с партнером из AWS Partner Network (APN) – крупнейшего объединения поставщиков технологических и консультационных услуг для облачных сервисов. APN признает партнеров по миграции, которые переносят данные в Amazon S3, и партнеров по хранению, которые предлагают интегрированные с S3 решения по хранению данных, их резервному копированию и восстановлению, архивации и аварийному восстановлению. Также можно приобрести интегрированное с AWS решение непосредственно в AWS Marketplace, где представлены сотни предложений для хранилищ данных.

AWS Storage Gateway – это сервис гибридного хранилища, который позволяет локальным приложениям эффективно использовать облачное хранилище AWS. Этот сервис можно использовать для резервного копирования и архивирования, аварийного восстановления, обработки данных в облаке, организации многоуровневых хранилищ и миграции. Сервис помогает сократить и упростить собственные центры обработки данных или инфраструктуру хранилищ в подразделениях и удаленных офисах. Приложения подключаются к сервису через виртуальную машину или устройство аппаратного шлюза с использованием стандартных протоколов хранилищ, таких как NFS, SMB или iSCSI. Шлюз подключается к сервисам хранилищ AWS, таким как Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive, Amazon EBS или AWS Backup, и обеспечивает хранение в AWS файлов, томов, снимков состояния и виртуальных лент. Сервис включает в себя тщательно оптимизированный механизм передачи данных с управлением пропускной способностью, автоматическим обеспечением отказоустойчивости сети и эффективной передачей данных, а также локальный кэш для локального доступа к часто используемым данным с низкими задержками. ВОЗМОЖНОСТИ: Знакомство со Storage Gateway AWS Storage Gateway – это сервис гибридного облачного хранилища, позволяющий соединить существующие локальные среды с облаком AWS. Возможности сервиса позволяют без труда исполнять гибридные облачные рабочие нагрузки на любом этапе внедрения облачных технологий, будь то начало работы с облачными резервными копиями, обработка данных, полученных с локальных машин, в облаке или однократная миграция данных томов блочного хранилища или баз данных. Основные возможности Стандартные протоколы хранилища. Storage Gateway эффективно интегрируется в локальные производственные приложения или приложения резервного копирования с поддержкой NFS, SMB, iSCSI или iSCSI-VTL, что позволяет внедрять облачное хранилище AWS без внесения изменений в приложения. Преобразование протоколов и эмуляция устройств позволяет получать доступ к блочным данным томов, управляемых Storage Gateway, в Amazon S3, хранить файлы в виде нативных объектов Amazon S3, а также хранить виртуальные ленточные резервные копии онлайн в виртуальной ленточной библиотеке, работающей на базе сервиса S3, или перемещать резервные копии на уровень ленточного архива в Amazon Glacier. Полностью управляемый кэш. Кэш недавно записанных или считанных данных располагается на локальном шлюзовом устройстве, поэтому приложения могут получать доступ к данным, надежно хранящимся в AWS, с низкими задержками. Шлюзы используют сквозной кэш чтения и кэш с отложенной записью. Оптимизированная и безопасная передача данных. Сервис Storage Gateway предлагает безопасную выгрузку измененных данных и безопасную загрузку запрашиваемых данных, а также шифрует данные при передаче между любыми типами шлюзовых устройств и AWS с помощью протокола SSL. Во всех типах шлюзов используются различные методы оптимизации, например многокомпонентное управление, автоматическая буферизация и дельта‑передача. Ко всем блочным и виртуальным ленточным данным применяется сжатие данных. Интеграция с AWS. Поскольку Storage Gateway является нативным сервисом AWS, он интегрируется с другими сервисами AWS для хранения данных, резервного копирования и управления. Сервис сохраняет файлы в виде нативных объектов Amazon S3, архивирует виртуальные ленты в Amazon Glacier и сохраняет снимки состояния EBS, созданные в Volume Gateway, в Amazon EBS. Storage Gateway также интегрируется с AWS Backup для управления резервными копиями и восстановлением томов шлюза томов, что упрощает управление резервными копиями и помогает обеспечить соответствие корпоративным и нормативным требованиям в вопросах резервного копирования. Кроме того, Storage Gateway предлагает единообразное управление через консоль AWS, в том числе локальными шлюзами, для мониторинга, управления и обеспечения безопасности с помощью сервисов AWS, например Amazon CloudWatch, AWS CloudTrail, AWS Identity and Access Management (IAM) и AWS Key Management Service (KMS). Типы шлюзов Файловый шлюз Файловый шлюз представляет собой файловый интерфейс, который позволяет хранить файлы в виде объектов в Amazon S3 с использованием стандартных протоколов NFS и SMB. К файлам можно обращаться через NFS и SMB из собственного ЦОД или Amazon EC2. Кроме того, эти файлы доступны как объекты с помощью вызовов API сервиса S3. Метаданные в формате POSIX, в том числе сведения о принадлежности, разрешения и отметки времени, надежно хранятся в пользовательских метаданных объектов Amazon S3, связанных с файлами. Как только объект передан в S3, им можно управлять как собственным объектом S3, поэтому настроенные для корзины политики (такие как управление версиями и жизненным циклом или репликация между регионами) будут непосредственно применяться ко всем объектам в корзине.

Клиенты используют файловый шлюз для хранения в S3 файловых данных объектных рабочих нагрузок, в том числе для анализа данных или машинного обучения, в качестве экономичного целевого хранилища для резервного копирования либо как репозиторий или облачный уровень файлового хранилища приложения.

Шлюз томов

Шлюз томов предоставляет приложениям доступ к томам блочного хранилища по протоколу iSCSI. Для данных, записанных на эти тома, можно асинхронно создавать резервные копии в виде снимков состояния тома на момент времени и хранить их в облаке как снимки Amazon EBS Резервное копирование локальных томов шлюза томов можно выполнять с помощью нативного планировщика снимков состояния или сервиса AWS Backup. В обоих сценариях резервные копии томов будут храниться в AWS в виде снимков состояния Amazon EBS. Снимки состояния представляют собой инкрементные резервные копии, то есть регистрируют только изменившиеся блоки. Кроме того, все хранилища снимков состояния сжимаются, что еще больше сокращает расходы на их хранение.

При подключении к шлюзу Volume Gateway через блочный интерфейс iSCSI можно выбрать два режима работы шлюза: кэширование или хранение. В режиме кэширования основные данные хранятся в Amazon S3, при этом можно сохранять часто запрашиваемые данные локально в кэше. Это позволяет значительно сократить расходы на хранение основных данных и избежать лишнего масштабирования локального хранилища, сохранив при этом низкую задержку при доступе к часто запрашиваемым данным.

В режиме хранения весь набор данных сохраняется локально, при этом выполняется асинхронное копирование тома клиента в Amazon S3 и в снимки состояния EBS на момент времени. Это надежное и недорогое решение для вторичного резервного копирования, которое позволяет восстанавливать данные локально, на другом сайте или в Amazon EC2.

Клиенты часто выбирают Volume Gateway для резервного копирования локальных приложений и используют его для аварийного восстановления на основе снимков состояния EBS или клонов кэшируемых томов. Интеграция шлюза томов с сервисом AWS Backup позволяет клиентам использовать AWS Backup для защиты локальных приложений, использующих тома шлюза томов. Сервис AWS Backup поддерживает резервное копирование и восстановление как кэшированных, так и сохраненных томов. Использование AWS Backup вместе со шлюзом томов позволяет централизовать управление резервными копиями, снизить операционную нагрузку и обеспечить соответствие нормативным требованиям. AWS Backup позволяет:

• создавать настраиваемые политики резервного копирования по расписанию в соответствии с актуальными требованиями;
• создавать правила резервного копирования, хранения данных и истечения срока хранения, так что больше не придется разрабатывать собственные скрипты или вручную выполнять резервное копирование томов;
• централизованно управлять резервными копиями на нескольких шлюзах и другими ресурсами AWS, а также осуществлять их мониторинг.

Ленточный шлюз Ленточный шлюз рассматривается приложениями для резервного копирования как стандартная виртуальная ленточная библиотека (VTL) на базе iSCSI, включающая виртуальный преобразователь данных и виртуальные ленточные носители. Вы сможете по‑прежнему использовать существующие рабочие процессы и приложения для резервного копирования, при этом получив в распоряжение практически бесконечный запас виртуальных лент. Каждая виртуальная лента хранится в Amazon S3. Когда необходимость в мгновенном или частом доступе к данным на виртуальной ленте отпадает, можно с помощью приложения для резервного копирования перенести виртуальную ленту из библиотеки виртуальных лент Storage Gateway на уровень архива, который организован на базе облачного хранилища Amazon Glacier, чтобы еще больше снизить расходы на хранение. В настоящее время сервис Storage Gateway совместим с большинством популярных приложений для резервного копирования. Интерфейс VTL ленточного шлюза позволяет избежать серьезных стартовых вложений в автоматизацию работы с ленточными накопителями, долгосрочных договоров на обслуживание оборудования и текущих расходов на сами носители. Вы платите только за те ресурсы, которые используете, и увеличиваете их объем по мере необходимости. Исчезает необходимость в передаче носителей данных на внешние площадки и в ручной работе с ленточными носителями; архивы хранятся с использованием всех встроенных преимуществ и надежности облачной платформы AWS. Варианты развертывания Storage Gateway Сервис AWS Storage Gateway включает в себя облачные компоненты, в том числе консоль управления, инфраструктуру хранилища, серверные средства управления, сервисы интеграции, API и шлюзовое устройство, которое пользователь развертывает и подключает к своим приложениям. У пользователя есть четыре варианта развертывания: виртуальная машина с ПО Storage Gateway, которое работает локально на VMware ESXi, Microsoft Hyper‑V; локальное аппаратное устройство; виртуальная машина в VMware Cloud on AWS; AMI в сервисе Amazon EC2. Storage Gateway как аппаратное устройство Storage Gateway поставляется в качестве предустановленного решения на аппаратном устройстве, представляющем собой сервер Dell EMC PowerEdge R640XL проверенной конфигурации. Аппаратное устройство предлагает удобную процедуру покупки, развертывания и управления для клиентов, столкнувшихся с ограничениями виртуализированной инфраструктуры, обременительными процессами централизованного распределения ресурсов или нехваткой ИТ‑персонала. Цены на AWS Storage Gateway При использовании AWS Storage Gateway оплачиваются только использованные ресурсы – с учетом типа и объема выбранного хранилища, выполненных запросов и объема данных, полученных из AWS. Информация о ценах на аппаратные устройства доступна в описании сервисов на amazon.com. ПРЕИМУЩЕСТВА: Интеграция Гибридное облачное хранилище подразумевает, что данные можно использовать локально и при этом надежно хранить в облачных хранилищах AWS, таких как Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive и Amazon EBS. После перемещения данных в AWS для их обработки можно применять вычислительные сервисы AWS, сервисы машинного обучения и аналитики больших данных. Кроме того, можно использовать весь набор сервисов AWS для обеспечения безопасности и управления, включая AWS Backup, AWS KMS, AWS Identity and Access Management (IAM), рабочие процессы SNS, Amazon CloudWatch и AWS CloudTrail. Производительность Сервис AWS Storage Gateway кэширует данные в локальной виртуальной машине или устройстве аппаратного шлюза, обеспечивая низкий уровень задержек и высокую производительность дисковых и сетевых ресурсов, необходимую для активно используемых данных. Сервис также осуществляет оптимизированную передачу данных на уровни хранилищ в облаке AWS в фоновом режиме. Пользователи и приложения продолжат работать с хранилищем данных по локальной модели, при этом организация получает все преимущества облачных серверов. Оптимизированная передача данных Сервис предлагает встроенные функции сжатия, шифрования и управления пропускной способностью. Storage Gateway управляет локальными выгрузками кэша в облако на основании необходимых параметров производительности, что позволяет тонко настроить баланс задержек и масштабирования для рабочих нагрузок. Передаются только измененные данные, что позволяет оптимизировать пропускную способность сети. Простота Прерывать работу не требуется. Загрузите и установите виртуальную машину или выполните развертывание выделенного аппаратного устройства, выберите интерфейс и свяжите с ним ресурсы локального кэширования. Благодаря расширенной поддержке сетевых решений и протоколов вам не потребуется устанавливать клиентские приложения и настраивать сети или брандмауэры. Виртуальное устройство можно использовать локально или в Amazon EC2 для обслуживания облачных приложений. Масштаб облака Облачное хранилище развертывается и оплачивается по требованию, благодаря чему пользователь получает в распоряжение нужный объем ресурсов. По мере увеличения или сокращения рабочих нагрузок можно расширять хранилища для резервных копий и архивов без авансовых платежей и выделять дополнительное пространство для хранения данных без приобретения нового оборудования. Надежность и безопасность Данные, хранящиеся в сервисе AWS Storage Gateway, защищены с помощью средств обеспечения безопасности и надежности, встроенных в сервисы облачного хранения AWS. Инструменты управления хранилищем (управление версиями, межрегиональная репликация и политики управления жизненным циклом) позволяют снизить стоимость долгосрочного архивирования, упростить проведение аудита и обеспечение соответствия требованиям, а также защитить все данные, а не только их локально сохраненную часть. Все данные, передаваемые сервисом Storage Gateway в AWS, шифруются при передаче и при последующем хранении в AWS.

AWS Auto Scaling выполняет мониторинг приложений и автоматически настраивает ресурсы для поддержания стабильной прогнозируемой производительности при минимально возможных затратах. AWS Auto Scaling позволяет за считаные минуты просто настроить масштабирование приложений для множества ресурсов в различных сервисах. Сервис обладает удобным и мощным пользовательским интерфейсом, который позволяет создавать планы масштабирования для таких ресурсов, как инстансы и спотовые группы Amazon EC2, задачи Amazon ECS, таблицы и индексы Amazon DynamoDB, а также реплики Amazon Aurora. AWS Auto Scaling упрощает масштабирование за счет рекомендаций, которые позволяют оптимизировать производительность, затраты или соотношение между ними. Клиенты, которые уже используют сервис Amazon EC2 Auto Scaling для динамического масштабирования инстансов Amazon EC2, теперь могут использовать его параллельно с AWS Auto Scaling, чтобы масштабировать дополнительные ресурсы других сервисов AWS. С AWS Auto Scaling приложения всегда будут обеспечены необходимыми ресурсами в нужное время.
С сервисом AWS Auto Scaling можно просто начать работу через Консоль управления AWS, интерфейс командной строки или SDK. AWS Auto Scaling доступен без каких-либо дополнительных расходов. Пользователи оплачивают только ресурсы AWS, необходимые для запуска приложений, и мониторинг с использованием Amazon CloudWatch.

Преимущества

БЫСТРАЯ НАСТРОЙКА МАСШТАБИРОВАНИЯ AWS Auto Scaling позволяет устанавливать целевые уровни использования различных ресурсов в едином интуитивно понятном интерфейсе. Можно быстро просматривать средний уровень использования всех масштабируемых ресурсов, не переходя к другим консолям. Например, если в приложении используются Amazon EC2 и Amazon DynamoDB, с помощью AWS Auto Scaling можно управлять выделением ресурсов для всех групп EC2 Auto Scaling и таблиц баз данных, используемых в приложении. ПРОДУМАННЫЕ РЕШЕНИЯ О МАСШТАБИРОВАНИИ AWS Auto Scaling позволяет создавать планы масштабирования, обеспечивающие автоматическое реагирование групп различных ресурсов на изменения потребностей. Планы позволяют оптимизировать доступность, затраты или соотношение этих параметров. AWS Auto Scaling автоматически создает все политики масштабирования и устанавливает цели на основе предпочтений клиента. AWS Auto Scaling выполняет мониторинг приложения и по мере изменения потребностей в ресурсах автоматически увеличивает или уменьшает объемы групп различных ресурсов в режиме реального времени. АВТОМАТИЧЕСКАЯ ПОДДЕРЖКА ПРОИЗВОДИТЕЛЬНОСТИ AWS Auto Scaling позволяет поддерживать оптимальную производительность и доступность приложений, даже если рабочие нагрузки являются периодическими, непредсказуемыми или постоянно меняющимися. AWS Auto Scaling постоянно выполняет мониторинг приложений, проверяя их уровень производительности на соответствие установленным значениям. При пиковой нагрузке AWS Auto Scaling автоматически увеличивает объем недостающих ресурсов, тем самым поддерживая высокое качество сервиса. РАСХОДЫ ТОЛЬКО НА НЕОБХОДИМЫЕ РЕСУРСЫ AWS Auto Scaling способен оптимизировать использование ресурсов и повысить экономическую эффективность применения сервисов AWS, чтобы клиенты платили только за те ресурсы, которые действительно им требуются. При уменьшении нагрузки AWS Auto Scaling автоматически высвобождает избыточные ресурсы, чтобы избежать лишних расходов. Сервис AWS Auto Scaling предоставляется бесплатно и позволяет оптимизировать затраты на среду AWS.

AWS CloudFormation предоставляет универсальный язык для описания и выделения всех ресурсов инфраструктуры в облачной среде. CloudFormation позволяет использовать простой текстовый файл для автоматического безопасного моделирования и выделения всех ресурсов, необходимых для приложений по всем регионам и аккаунтам пользователя. Этот файл служит единым источником достоверной информации для создаваемой облачной среды.  Сервис AWS CloudFormation предоставляется бесплатно – оплате подлежат только ресурсы AWS, необходимые для запуска приложений. ... Узнать больше