LIONSGATE - многопрофильная глобальная развлекательная корпорация стоимостью 2 миллиарда долларов, которая выпускает художественные фильмы и телевизионные шоу, которые они распространяют по всему миру. Их продукция включает в себя удостоенную наград Эмми телешоу «Безумцы» и фильм «Голодные игры». Их произведения появляются в кинотеатрах, на телевидении и в Интернете.

ПРОБЛЕМЫ Будучи успешной медиа- и развлекательной компанией, LIONSGATE столкнулся с проблемами в сфере ИТ, с которыми сталкиваются многие растущие компании:

• Постоянно расширяющаяся инфраструктура и затраты

• Увеличение нагрузки на корпоративные приложения

• Более жесткие требования к времени выхода на рынок

Эти проблемы привели к исследованию облачных решений для рабочих нагрузок разработки и тестирования, производственных рабочих нагрузок для корпоративных приложений, а также стратегий резервного копирования, архивирования и аварийного восстановления. Цели компании заключались в том, чтобы сократить расходы, повысить гибкость и повысить операционную эффективность.

ПОЧЕМУ AMAZON WEB SERVICES Тереза ​​Миллер, исполнительный вице-президент по информационным технологиям для LIONSGATE, объясняет, почему компания решила использовать Amazon Web Services (AWS), чтобы помочь им в достижении этих целей: «Экономика была убедительной. Облачные сервисы AWS оказались простыми в использовании с помощью Консоли управления, API и инструментов. Система безопасна и гибка в работе. Кроме того, работа с AWS в качестве компании была очень позитивным опытом ». LIONSGATE начал использовать следующие продукты AWS в 2010 году:

• Amazon Simple Storage Service (Amazon S3) для хранения

• Amazon Elastic Compute Cloud (Amazon EC2) для вычислений

• Amazon Elastic Block Store (Amazon EBS) для хранилища Amazon EC2

ПРЕИМУЩЕСТВА Миллер описывает некоторые результаты, полученные LIONSGATE в результате работы с AWS: «Мы можем использовать AWS, чтобы сократить время, необходимое для развертывания инфраструктуры, с недель до дней или часов; и для запуска рабочих нагрузок SharePoint, а также для тестирования и разработки наших приложений SAP. Гораздо более быстрое изменение было выигрышем для нашего отдела и для бизнеса, стремящегося быть более гибким и более отзывчивым к тому, что происходит на рынке ». Шахразад Макнил, вице-президент SAP по базису и администрированию безопасности для LIONSGATE, добавляет: «Скорость создания серверов, аварийного восстановления, высокой доступности и лучших методов резервного копирования - вот те победы, которых мы достигнем с помощью AWS». Компания избежала приобретения дополнительных площадей для центров обработки данных, сэкономив, по оценкам, более 1 миллиона долларов США в течение трех лет. «В целом, - говорит Миллер, - мы считаем, что переход на AWS сэкономит компании около 50 процентов по сравнению с традиционным хостингом». AWS также помогает LIONSGATE поддерживать безопасность своих систем. Миллер говорит: «AWS предоставил гибкое средство для безопасного расширения нашего центра обработки данных до облака с помощью их предложения виртуального частного облака [VPC]. Мы можем использовать существующие аппаратные средства / политики и процедуры для безопасной, цельной и масштабируемой вычислительной среды, для управления которой требуется очень мало ресурсов ». Еще одним важным фактором для LIONSGATE является запуск SAP, который является ключевым для деятельности компании. Макнил был доволен плавным переходом: «Мы хотели, чтобы SAP вошла и быстро познакомила нас с новым инструментом, и это должно было произойти очень быстро. В период до AWS у нас не было бы возможности получить доступ к серверу, но с AWS нам потребовалось два дня, чтобы установить серверы и заставить SAP прийти и показать нам, как разрабатывать приложения и реализовывать проект ». В дальнейшие планы LIONSGATE входит перевод приложений SAP из среды тестирования и разработки в полноценную производственную среду. Что касается использования AWS для других приложений, Миллер комментирует: «У нас был такой положительный опыт; мы рассмотрим это для любого типа приложения. Мы были очень, очень довольны ответом AWS на все наши вопросы и потребностями в поддержке ». Макнил соглашается: «Команда AWS рада работать с нами, и они инвестируют в наш успех».

ПРОБЛЕМА
Yelp определил постоянных потребителей, во многом благодаря тому, что они бдительны в защите пользователя от навязчивой рекламы или подозрительного контента. Yelp использует фильтр автоматической проверки, чтобы идентифицировать подозрительный контент и минимизировать воздействие на потребителя. На сайте также представлен широкий спектр других функций, которые помогают людям открывать новые компании (списки, специальные предложения и события) и общаться друг с другом. Кроме того, владельцы бизнеса и менеджеры могут создавать бесплатные учетные записи для размещения специальных предложений, загрузки фотографий и отправки сообщений клиентам.
Компания также сосредоточилась на разработке мобильных приложений, и недавно она была включена в Зал славы iTunes Apps. Приложения Yelp также доступны для Android, Blackberry, Windows 7, Palm Pre и WAP.
Локальная поисковая реклама составляет большую часть доходов Yelp. Поисковые объявления окрашены в светло-оранжевый цвет и четко помечены как «Спонсируемые результаты». Платящим рекламодателям не разрешается изменять или переупорядочивать свои отзывы. ПОЧЕМУ Amazon Web Services Изначально Yelp зависел от гигантских RAID-массивов для хранения своих журналов, а также от одного локального экземпляра Hadoop. Когда Yelp перешел на Amazon Elastic MapReduce (Amazon EMR), они заменили RAID-массивы на Amazon Simple Storage Service (Amazon S3) и немедленно перенесли все задания Hadoop в Amazon Elastic MapReduce.
"На нашем кластере Hadoop не хватило места и емкости жесткого диска", - говорит инженер по поиску и извлечению данных Yelp Дейв Марин.
Yelp использует Amazon S3 для хранения ежедневных журналов и фотографий, генерируя около 1,2 ТБ журналов в день. Компания также использует Amazon EMR для поддержки примерно 20 отдельных пакетных сценариев, большинство из которых обрабатывают журналы. Функциональные возможности Amazon Elastic MapReduce включают в себя:

• Просмотр списка посетителей
  

• Основные моменты обзора

• Автозаполнение при вводе в поиск

• Поиск орфографических предложений

• Лучшие поиски

• Объявления

Их задания написаны исключительно на Python, в то время как Yelp использует свою собственную библиотеку с открытым исходным кодом, mrjob, для запуска потоковых заданий Hadoop в Amazon EMR с помощью boto для общения с Amazon S3. Yelp также использует s3cmd и утилиту Ruby Elastic MapReduce для мониторинга.
Разработчики Yelp советуют другим, работающим с AWS, использовать API-интерфейс boto, а также mrjob для обеспечения полного использования потоков заданий Amazon Elastic MapReduce. Yelp выполняет около 250 заданий Amazon Elastic MapReduce в день, обрабатывая 30 ТБ данных, и выражает благодарность за поддержку AWS, которая помогла в разработке их приложений Hadoop.
ПРЕИМУЩЕСТВА С помощью Amazon Elastic MapReduce Yelp удалось сэкономить 55 000 долларов на начальных затратах на оборудование и начать работу в течение нескольких дней, а не месяцев. Однако наиболее важным для Yelp является альтернативная стоимость. «Благодаря AWS наши разработчики теперь могут делать то, чего не могли раньше», - говорит Марин. «Наша системная команда может сосредоточить свои усилия на других задачах».

Аутсорсинговая компания по разработке ПО AgiliWay (https://agiliway.com/) совместно с компанией-дистрибьютором Softprom (https://softprom.com/) поставили и внедрили сервисы AWS в ROI4CIO и повысили производительность сайта в 8 раз. Даты проекта: 28.09.2017 – 18.10.2017: подбор оптимальной конфигурации сервера, подбор оптимальных сервисов на AWS и полный переход на AWS, включая доменное имя. Проблема: Сервис, использовавшийся на сайте до внедрения AWS, не выдерживал работу с "тяжелым" функционалом, в частности, необходимость обработки большого количества информации. В результате при определенном количестве пользователей показатели CPU и RAM сервера поднимались до 100% и в работе сайта происходил сбой. Результат: Благодаря использованию сервера и сервисов AWS, количество одновременно присутствующих на сайте пользователей выросло в несколько раз, а нагрузка на сайт и базу данных уменьшилась в 2 раза. Производительность сайта удалось увеличить в 8 раз, при этом стоимость владения им выросла всего в 2 раза. ROI - 800% Проблема:

• "Команда столкнулась с проблемой недостатка производительности сайта. Во время тестирования при одновременном подключении определенного количества пользователей задержка отклика была больше 10 секунд. При увеличении нагрузки база не выдерживала, сервис "отказывался" работать" - Олег Пицык, Архитектор ИТ-систем ROI4CIO, Agiliway.

Решение: До принятия решения о внедрении сервисов AWS для проекта ROI4CIO, было проведено тестирование возможного размещения на другом облачном ресурсе. Сравнительные результаты тестирования показали однозначное преимущество сервисов AWS. В результате взаимодействия Softprom совместно с Agiliway разработали оптимальное решение для улучшения производительности сайта. Представители Agiliway, как разработчика и архитектора систем ROI4CIO, занимались настройкой сервера приложений и базы. Softprom выступал как поставщик платформ AWS и в роли консультанта по функциональному использованию сервисов AWS. Кроме того, сотрудники Softprom занимались настройкой мониторинга, уведомлений и автоматизации AWS Lambda. Домен сайта разместили в Amazon Route 53. Это высокодоступный и масштабируемый облачный веб-сервис системы доменных имен (DNS). Для обеспечения комплексной защиты от всех известных инфраструктурных атак (уровень 3 и 4) использовали систему анти DDoS AWS Shield. Для оптимизации нагрузок, требующих больших вычислительных мощностей, использовали виртуальный сервер EC2 типа C4, а также настроили auto scaling ресурсов и балансировку входящей нагрузки на сервер. В моменты пиковой загруженности сайта вычислительные ресурсы автоматически масштабируются, что позволяет выдержать практически любую нагрузку. С целью повышения надежности и отказоустойчивости, а также уменьшения затрат на администрирование, для размещения базы данных был выбран сервис баз данных Amazon Relational Database Service, выполняющий функции выделения аппаратного обеспечения, настройки базы данных, установки исправлений и резервного копирования. Для повышения скорости работы сайта был также использован ElastiCashe - веб-сервис, упрощающий развертывание и масштабирование в облаке хранилища или кэша памяти, а также управление ими. С помощью сервиса AWS CloudWatch был настроен расширенный мониторинг приложения и базы данных. Создавая различные правила, администратор сразу же получает sms-уведомление на мобильный и на e-mail в случае возникновения любой непредвиденной ситуации. Для реализации функции отправки сообщений в CloudWatch был интегрирoван сервис уведомлений AWS SNS (simple notification service). Помимо отправки сообщений, при определенных обстоятельствах срабатывают триггеры, которые активируют функции автоматизации, реализованные с помощью сервиса бессерверных вычислений AWS Lambda. Бекапы базы данных и сервера приложений автоматически создаются по расписанию и сохраняются в облачном хранилище AWS S3.

• "В основном все усилия были направлены на повышение производительности. Но также немало внимания уделили отказоустойчивости и резервному копированию.  По цифрам, наверное, можно выделить еще пропускную способность дискового хранилища базы (IOPS). Использовали диск с повышенной пропускной способностью Provisioned IOPS. На каждый инстанс БД может быть выделено до 40 000 IOPS" - Влад Гавриленко, ИТ директор Softprom.

• "Перенесли сервер очень быстро, буквально за 2 дня. Потом занимались настройкой сервисов. Это заняло около недели" -  Влад Гавриленко, ИТ директор Softprom.

Результат: Благодаря внедрению сервисов AWS, команда обеспечила восьмикратное увеличение производительности ресурса и одновременную автоматизацию трудоемких задач администрирования. При этом стоимость владения выросла всего вдвое. После исправления кода запросов и внедрения всех сервисов сайт сохраняет непрерывную и стабильную работоспособность даже при высоком уровне нагрузок.

ПРОБЛЕМЫ С момента своего основания в 2012 году, Coinbase быстро стала лидером по операциям с биткойнами. Готовясь реагировать на постоянно растущий спрос клиентов на операции с биткойнами, компания знала, что ей необходимо инвестировать в правильные базовые технологии. «Сейчас мы находимся на этапе легализации этой валюты и ее доведения до широких масс», - говорит Роб Витофф, директор Coinbase. «В рамках этого нашими основными принципами являются безопасность, масштабируемость и доступность». По словам Витоффа, безопасность является наиболее важным из этих принципов. «Мы контролируем сотни миллионов долларов биткойнов для наших клиентов, что делает нас одним из крупнейших резервов в нашей отрасли», - говорит Витофф. «Подобно тому, как традиционный банк надежно охраняет активы своих клиентов в физическом банковском хранилище, мы принимаем те же или более строгие меры предосторожности с нашими серверами». Масштабируемость также имеет решающее значение, поскольку Coinbase должны иметь возможность гибко масштабировать свои услуги в глобальном масштабе, не тратя драгоценные инженерные ресурсы. «Как стартап, мы тщательно следим за тем, куда мы тратим свое время», - говорит Витофф. «Мы хотим сосредоточиться на том, как наши клиенты взаимодействуют с нашим продуктом и предлагаемыми нами услугами. Мы не хотим изобретать решения для уже решенной фундаментальной инфраструктуры ». Coinbase также стремится дать своим разработчикам больше времени, чтобы сосредоточиться на инновациях. «У нас есть креативные инженеры, которые стремятся к конверту, и мы запускаем наш стартап, предлагая новые инновационные услуги, сочетающие восхитительный опыт с бескомпромиссной безопасностью», - говорит Витофф. «Вот почему мы должны провести обмен на то, что, как мы знаем, сработает». Кроме того, Coinbase искала лучшее решение для анализа данных. «Мы генерируем огромные объемы данных сверху донизу нашей инфраструктуры, которые традиционно хранятся в удаленном и устаревшем хранилище. Но мы все больше внимания уделяем внедрению новых технологий без потери надежного и надежного ядра », - говорит Витофф. «В то же время мы хотели получить лучшее представление о том, как работают наши сервисы в режиме реального времени». Для поддержки своих целей Coinbase решила развернуть свою новую биржу биткойнов в облаке. «Когда я присоединился к Coinbase в 2014 году, компания была загружена довольно многими сторонними хостинг-провайдерами», - говорит Витофф. «Но поскольку мы управляем фактической стоимостью и реальными активами на наших машинах, нам необходимо было полностью контролировать нашу среду».

ПОЧЕМУ Amazon Web Services Coinbase провели оценку различных поставщиков облачных технологий в конце 2014 года, но были наиболее уверены в Amazon Web Services (AWS). В своей предыдущей должности в Лаборатории реактивного движения НАСА Витофф приобрел опыт работы с безопасными и чувствительными рабочими нагрузками на AWS. Исходя из этого, Витофф говорит, что «пришел к доверию правильно спроектированному облаку AWS». Компания начала проектировать новую Coinbase Exchange с использованием AWS Identity and Access Management (IAM), которая надежно контролирует доступ к сервисам AWS. «Облачные вычисления предоставляют API для всего, включая случайное уничтожение компании», - говорит Витофф. «Мы считаем, что безопасность, идентификация и управление доступом, выполненные правильно, могут дать нашим инженерам возможность сосредоточиться на продуктах в ясных и надежных стенах, и именно поэтому мы внедрили проверяемую основу безопасности самообслуживания с AWS IAM». Обмен осуществляется в производственной среде Coinbase в AWS, на основе специально созданного механизма транзакционных данных вместе с экземплярами Amazon Relational Database Service (Amazon RDS) и базами данных PostgreSQL. Экземпляры Amazon Elastic Compute Cloud (Amazon EC2) также обеспечивают обмен данными. Организация обеспечивает надежную доставку своего кошелька и обмен с глобальными клиентами, нативно распределяя свои приложения по нескольким зонам доступности AWS. Coinbase создала в AWS конвейер для анализа потоковых данных с аналитикой обмена в реальном времени, обрабатываемой сервисом обработки больших данных Amazon Kinesis. «Вся наша аналитика операций передается в Kinesis в режиме реального времени, а затем отправляется нашему аналитическому механизму, чтобы инженеры могли искать, запрашивать и находить тренды по данным», - говорит Витофф. «Мы также переносим эти данные из Kinesis в отдельную среду аварийного восстановления». Coinbase также интегрирует конвейер аналитики с файлами журналов AWS CloudTrail, которые отправляются в корзины Amazon Simple Storage Service (Amazon S3), а затем в службу AWS Lambda compute, и на контейнеры Kinesis на основе изображений Docker. Это дает Coinbase полные, прозрачные и проиндексированные журналы аудита во всей ИТ-среде. Каждый день по этому пути проходит 1 ТБ данных - около 1 миллиарда событий. «Всякий раз, когда наши группы безопасности или элементы управления доступом к сети изменяются, мы видим предупреждения в режиме реального времени, поэтому мы получаем полное представление обо всем, что происходит во время обмена», - говорит Витофф. Для получения дополнительной информации о больших данных Coinbase использует Amazon Elastic MapReduce (Amazon EMR), веб-сервис, который использует среду с открытым исходным кодом Hadoop для обработки данных, и Amazon Redshift, управляемое хранилище данных в масштабе петабайт. «Мы используем Amazon EMR для преобразования наших растущих баз данных в структурированные, действенные данные Redshift, которые говорят нам о том, как работает наша компания и куда направлять наш корабль дальше», - говорит Витофф. Все сети компании разрабатываются, создаются и обслуживаются с помощью шаблонов AWS CloudFormation. «Это дает нам роскошь контроля версий в нашей сети, а также обеспечивает плавное и точное дублирование сети для среды разработки и подготовки по требованию», - говорит Витофф. Coinbase также использует конечные точки Amazon Virtual Private Cloud (Amazon VPC) для оптимизации пропускной способности Amazon S3 и Amazon WorkSpaces для предоставления облачных рабочих столов для глобальных работников. «Поскольку мы расширяем наши услуги по всему миру, мы также расширяем нашу команду. Мы полагаемся на Amazon WorkSpaces для доступа наших подрядчиков по требованию к соответствующим частям нашей сети », - говорит Витофф. Coinbase запустила американскую Coinbase Exchange на AWS в феврале 2015 года и недавно расширилась для обслуживания европейских пользователей.

ПРЕИМУЩЕСТВА Coinbase может безопасно хранить средства своих клиентов с помощью AWS. «Я считаю облако Amazon своим собственным частным облаком, и когда мы внедряем что-то там, я верю, что мои сотрудники и администраторы - единственные люди, которые имеют доступ к этим ресурсам», - говорит Витофф. «Кроме того, безопасное хранение биткойнов остается для нас основным направлением, которое помогло нам завоевать доверие потребителей во всем мире. Вместо того, чтобы тратить наши ресурсы на репликацию и защиту нового центра обработки данных с решенными задачами, AWS позволяет нам сосредоточиться на одной из наших основных задач: безопасном хранении закрытых ключей ». Coinbase также использует AWS для быстрого расширения своей клиентской базы. «За три года наша база биткойн-кошельков выросла с нуля до более чем 3 миллионов. Мы смогли добиться этого роста, предоставив быстрый глобальный сервис кошельков, который был бы невозможен без AWS », - говорит Витофф. Кроме того, у компании есть лучшая видимость в бизнесе с ее конвейером проникновения в суть. «Используя Kinesis для нашего конвейера, мы можем предоставить аналитическую информацию для нашей команды инженеров, не заставляя их прыгать через сложные обручи для прохождения нашей информации», - говорит Витофф. «Они могут использовать конвейер, чтобы легко просматривать все метаданные о том, как работает Coinbase Exchange». А поскольку Kinesis предоставляет метод доставки аналитики «один ко многим», Coinbase может собирать метрики в своей первичной базе данных, а также с помощью нового, экспериментального хранилища данных. «В результате мы можем идти в ногу с новейшими, лучшими, наиболее интересными инструментами в области науки о данных и анализа данных без необходимости чрезмерного риска для непроверенных технологий», - говорит Витофф. Как стартап-компания, которая с самого первого дня построила свою биржу биткойнов в облаке, Coinbase обладает большей гибкостью, чем если бы она создала биржу внутри компании. «Начав с облака в нашем ядре, мы смогли быстро двигаться туда, куда другие боятся», - говорит Витофф. «Развитие топологии нашей сети, масштабирование по всему миру и развертывание новых сервисов - это всего лишь несколько действий. Это дает нам возможность уделять больше времени размышлениям о том, что мы хотим сделать, а не о том, что мы можем сделать ». Эта гибкость помогает Coinbase удовлетворять требования быстрого роста бизнеса. «Наш обмен находится в режиме гипер-роста, и мы находимся в процессе его масштабирования по всему миру», - говорит Витофф. «Для каждой новой страны, в которую мы внедряем, мы можем географически масштабировать и одним нажатием кнопки запускать больше машин для поддержки большего количества пользователей». Используя AWS, Coinbase может еще больше сконцентрироваться на инновациях. «Мы доверяем AWS управлять самыми низкими уровнями нашего стека, что помогает мне спать по ночам», - говорит Витофф. «И по мере того, как мы поднимаемся выше в этом стеке - например, с помощью нашего аналитического конвейера - мы можем достичь новых высот как бизнес, поэтому мы можем сосредоточиться на инновациях для будущего финансов».

Национальное управление по аэронавтике и исследованию космического пространства (НАСА), созданное в 1958 году, работает в течение почти 60 лет по всему миру и за его пределами, пытаясь ответить на некоторые основные вопросы: что происходит в космосе? Как нам туда добраться? Что мы найдем? Чему мы можем научиться там или узнать, просто пытаясь туда добраться, что улучшит жизнь здесь, на Земле? Исследование космоса: не требуется ученая степень по ракетостроению Вы когда-нибудь смотрели ночью и задавались вопросом о тайнах космоса? Или удивлялись обширности нашей галактики? Вы можете легко изучить все это и многое другое в Библиотеке изображений и видео НАСА, которая обеспечивает легкий доступ к более чем 140 000 неподвижных изображений, аудиозаписей и видео, документируя более чем полувековые достижения НАСА в изучении неизвестного. Для НАСА предоставление публике такого легкого доступа к чудесам космоса стало самостоятельным путешествием. НАСА начало предоставлять онлайн-доступ к фотографиям, видео и аудио в начале 2000-х годов, когда захват медиафайлов начал переходить с аналогового и кинофильма на цифровой. Вскоре каждый из 10 полевых центров НАСА делал свои снимки доступными онлайн, включая оцифрованные версии некоторых более старых активов. В этом и заключалась проблема: «Поскольку средства массовой информации находятся в различных уголках земли, вам необходимы институциональные знания НАСА, чтобы знать, где искать», - говорит Родни Граббс, руководитель программы экспертов по изображениям в НАСА. «Если вы хотели получить видео о запуске космического челнока, вам нужно было зайти на сайт космического центра Кеннеди. Если вы хотели получать фотографии с космического телескопа Хаббла, вы заходили на сайт Центра космических полетов Годдарда. С 10 различными центрами и десятками распределенных коллекций изображений потребовалось много копаться, чтобы найти то, что вы хотели ». Первоначальные усилия по созданию универсального магазина заключались в том, чтобы по сути «убирать» контент с разных сайтов, объединять его в одном месте и размещать поисковую систему на вершине. «По большей части эти первоначальные усилия оказались безуспешными, потому что каждый центр классифицировал свои изображения по-разному», - говорит Граббс. «В результате у нас часто было от пяти до шести копий одного и того же изображения, каждое из которых описывалось по-разному, что усложняло поиск и ухудшало качество обслуживания пользователей». В 2011 году НАСА решило, что лучший подход к решению этой проблемы - начать все сначала. К концу 2014 года все необходимые детали для второй попытки были на месте:

• Программа экспертов по изображениям разработала и опубликовала общий стандарт метаданных, который был принят всеми центрами НАСА.

• Контракт на обслуживание Web Enterprise Service Technologies (WESTPrime), один из пяти контрактов на обслуживание для всего агентства в рамках программы NASA Enterprise Services, предоставил средство доставки для создания и управления новым сайтом.

• Федеральная программа управления рисками и авторизацией (FedRAMP), которая обеспечивает стандартизированный подход к оценке безопасности, авторизации и постоянному мониторингу облачных продуктов и услуг.

«Мы хотели создать наше новое решение в облаке по двум причинам», - говорит Груббс. «К 2014 году, как и во многих государственных учреждениях, НАСА пыталось уйти от покупки оборудования и создания центров обработки данных, которые дорого строить и управлять ими. Облако также предоставило возможность легко масштабировать при необходимости, оплачивая только ту емкость, которую мы используем, вместо того, чтобы делать крупные первоначальные инвестиции ». Десятилетия достижений НАСА - все в одном месте Разработка новойNASA Image and Video Libraryосуществлялась Управлением веб-служб Отдела корпоративного обслуживания и интеграции НАСА. Выбором технологии, разработкой и внедрением решения управлял InfoZen, поставщик услуг по контракту WESTPrime. Будучи партнером по расширенным консультациям партнерской сети AWS (APN), InfoZen решила создать решение на веб-сервисах Amazon (AWS). «Amazon был крупнейшим поставщиком облачных услуг, имел сильное правительственное облачное присутствие и предлагал наиболее подходящее облако с точки зрения эластичности», - вспоминает Сандип Шилават, менеджер облачных программ в InfoZen. НАСА официально запустило свою библиотеку изображений и видео в марте 2017 года. Ключевые функции включают в себя:

• Пользовательский интерфейс, который автоматически масштабируется для ПК, планшетов и мобильных телефонов практически во всех браузерах и операционных системах.

• Интерфейс поиска, который позволяет людям легко находить то, что они ищут, включая возможность выбора из представления галереи или списка, а также для сужения результатов поиска по типу медиа и / или по годам.

• Возможность легко загружать любые медиа, найденные на сайте, или делиться ими на Pinterest, Facebook, Twitter или Google+.

• Доступ к метаданным, связанным с каждым активом, таким как размер файла, формат файла, центр, в котором был создан актив, и когда он был создан. Если доступно, пользователи могут также просматривать данные EXIF ​​/ камеры для неподвижных изображений, таких как экспозиция, выдержка и используемый объектив.

• Интерфейс прикладного программирования (API) для автоматической загрузки нового контента, включая интеграцию с существующим механизмом аутентификации НАСА.

Архитектура NASA Image and Video Library - это облачное решение с интерфейсным веб-приложением, отделенным от внутреннего API. Оно работает как неизменяемая инфраструктура в полностью автоматизированной среде, и вся инфраструктура определена в коде для поддержки непрерывной интеграции и непрерывного развертывания (CI / CD). При создании решения InfoZen использовала следующие веб-сервисы Amazon:

• Amazon Elastic Compute Cloud (Amazon EC2), который обеспечивает безопасную вычислительную емкость с изменяемым размером в облаке. Это позволяет НАСА масштабироваться под нагрузкой и уменьшаться в периоды бездействия, чтобы сэкономить деньги и платить только за то, что оно использует.

• Упругая балансировка нагрузки (ELB), которая используется для распределения входящего трафика по нескольким экземплярам Amazon EC2, что необходимо для обеспечения избыточности и отказоустойчивости.

• Amazon Simple Storage Service (Amazon S3), который поддерживает хранение объектов для входящих (загруженных) носителей, метаданных и опубликованных ресурсов.

• Amazon Simple Queue Service (SQS), которая используется для отделения входящих заданий от процессов конвейера.

• Сервис реляционных баз данных Amazon (Amazon RDS), который используется для автоматической синхронизации и восстановления после отказа.

• Amazon DynamoDB, быстрый и гибкий сервис баз данных NoSQL, который используется для отслеживания входящих заданий, опубликованных ресурсов и пользователей.

• Amazon Elastic Transcoder, который используется для перекодирования аудио и видео в различные разрешения.

• Amazon CloudSearch, который используется для поддержки поиска по свободному тексту или полям.

• Amazon Simple Notification Service (SNS), которая используется для запуска конвейера обработки при загрузке нового контента.

• AWS CloudFormation, позволяющая автоматически создавать, обновлять и уничтожать ресурсы AWS. InfoZen также использовал библиотеку Troposphere, которая позволяет создавать объекты с помощью AWS CloudFormation с использованием Python вместо JSON с ручным кодированием - каждый объект представляет один ресурс AWS, например, экземпляр, адрес Elastic IP (EIP) или группу безопасности.

• Amazon CloudWatch, который предоставляет сервис мониторинга облачных ресурсов AWS и приложений, работающих на AWS.

NASA Image and Video Library для будущего Благодаря использованию AWS при поддержке InfoZen НАСА создает огромное количество изображений, видео и аудиофайлов - ранее в 60 «коллекциях» в 10 центрах НАСА - легко обнаруживаемых в одном централизованном месте, обеспечивая следующие преимущества:

• Легкий доступ к чудесам космоса. Библиотека изображений и видео автоматически оптимизирует взаимодействие с пользователем для каждого конкретного пользователя. Он также полностью соответствует разделу 508 Закона о реабилитации, согласно которому федеральные агентства должны предоставлять свои технологические решения для людей с ограниченными возможностями. Подписи могут быть включены или выключены для видео, воспроизводимых на сайте, а текстовые файлы подписей могут быть загружены для любого видео.

• Встроенная масштабируемость. Все компоненты NASA Image and Video Library созданы для масштабирования по требованию, необходимого для обработки пиковых нагрузок. «Масштабируемость по требованию будет иметь неоценимое значение для таких событий, как солнечное затмение, которое произойдет позднее этим летом - и когда мы загружаем новые медиа, и когда публика просматривает этот контент», - говорит Брайан Уоллс, заместитель руководителя программы Imagery Experts из НАСА.
• Хорошее использование долларов налогоплательщиков. Построив свою библиотеку изображений и видео в облаке, NASA избежало затрат, связанных с развертыванием и обслуживанием серверного оборудования и оборудования для хранения данных. Вместо этого агентство может просто оплатить ресурсы AWS, которые оно использует в любой момент времени.

• Хотя новая библиотека изображений и видео НАСА предоставляет множество новых удобных возможностей и возможностей, для таких людей, как Граббс и Уоллс, это только начало. «Теперь у нас есть гибкая, масштабируемая основа для создания всевозможных удивительных вещей», - говорит Уоллс. «Как и в случае с исследованием космоса, мы только начинаем представлять все, что можем с ним сделать».

Проблема Проработав на локальном оборудовании и собственном издательском ПО на протяжении почти двух десятилетий, компания The Seattle Times задалась целью перенести свой веб-сайт на современную платформу управления контентом. Чтобы избежать затрат на приобретение и настройку новой аппаратной инфраструктуры и на обслуживающий персонал, компания сначала обратилась к поставщику полностью управляемого хостинга. Однако через несколько месяцев программные инженеры компании осознали, что сокращение обязанностей по обслуживанию привело к потере гибкости и адаптивности. Хостинговая платформа едва справлялась с управлением трафиком в условиях неравномерных нагрузок, в итоге The Seattle Times оказалась в состоянии полной беспомощности и не могла масштабироваться в ответ на читательские запросы. Том Бэйн, директор по разработке ПО, ответственный за миграцию, рассказывает: «Когда мы планировали перенос, мы хотели реализовать архитектуру, далекую от стандартов, и рассчитывали, что поставщик адаптируется к нашим потребностям. Однако поставщик не рискнул изменить свою бизнес-модель, чтобы удовлетворить наши довольно специфичные требования к хостингу».

Почему Amazon Web Services Для решения основной проблемы с масштабируемостью техническая группа Seattle Times рассмотрела несколько альтернативных вариантов хостинга, включая собственный локальный, более гибкие автоматизированные варианты и предложения различных поставщиков облачных сервисов. В результате специалисты обнаружили, что доступные варианты облачного хостинга обеспечивают необходимую гибкость, подходящую архитектуру и столь важную экономичность. Компания однозначно выбрала платформу Amazon Web Services (AWS), аргументом в пользу которой частично была завершенность предлагаемого продукта, но главным образом – встроенные возможности автоматического масштабирования. Новое ПО The Seattle Times построено на основе стека LAMP, и дополнительные преимущества собственного облачного хостинга на основе Linux стали решающими при выборе нового поставщика. Техническая группа The Seattle Times разработала план создания опытного образца и внедрения, который был представлен на рассмотрение в службу поддержки AWS Support. «Служба поддержки рассмотрела предложенную нами архитектуру и дала ряд рекомендаций и ценных советов, – рассказывает Роб Грутко, технологический директор The Seattle Times. – Все это очень помогло нам при подготовке системы к работе». После реализации задуманной системной архитектуры и испытания выбранных компонентов и настроек с участием специалистов AWS техническая группа осуществила развертывание новой системы всего за шесть часов. Перенос веб-сайта на платформу AWS начался в 11 часов вечера и был закончен в 3 часа ночи, а окончательное тестирование было завершено к 5 часам утра – как раз к началу нового дня новостей.

Как The Seattle Times использует AWS Сейчас сайт seattletimes.com размещен в Amazon Virtual Private Cloud (Amazon VPC) – логически изолированном разделе облака AWS. Сайт использует масштабируемые вычислительные ресурсы сервиса Amazon Elastic Compute Cloud (Amazon EC2) и тома постоянного блочного хранилища сервиса Amazon Elastic Block Store (Amazon EBS). Сервис Amazon Relational Database Service (Amazon RDS) выступает в роли масштабируемой облачной базы данных, Amazon Simple Storage Service (Amazon S3) предоставляет инфраструктуру для хранения и извлечения данных с полным обеспечением избыточности, а Amazon Route 53 – высокодоступный и масштабируемый веб-сервис системы доменных имен (DNS). Сервис Amazon CloudFront в сочетании с несколькими корзинами Amazon S3 используется для доставки пользователям огромного количества фотоиллюстраций. Совместная работа сервисов Amazon CloudFront и Amazon S3 обеспечивает вставку фотографий в новостные статьи, которые читатели The Seattle Times получают с низкой задержкой и высокой скоростью передачи данных. Сервис Amazon ElastiCache в новой конфигурации сайта The Seattle Times работает как «облачный кэш» в памяти. Кроме того, The Seattle Times использует сервис AWS Lambda для изменения размера изображений при просмотре на различных устройствах, таких как настольные компьютеры, планшеты и смартфоны.

Преимущества Платформа AWS теперь обеспечивает чрезвычайно быстрое масштабирование сайта The Seattle Times в сторону увеличения при пиковых значениях трафика во время публикации самых популярных новостей и в сторону уменьшения при сокращении трафика для обеспечения экономии. «Возможность автоматического масштабирования стала решающим аргументом для миграции, – говорит Грутко . – Благодаря использованию платформы AWS мы смогли повысить скорость и эффективность обслуживания читателей интернет-версии нашего издания, а также обеспечить масштабирование и высокое качество обслуживания читателей». Кроме того, размер иллюстраций к статьям теперь можно быстро адаптировать для различных сред просмотра, благодаря чему читатели быстрее получают доступ к последним новостям. Грутко подтверждает, что сервис AWS Lambda обеспечивает чрезвычайно быструю адаптацию размеров изображений: «Раньше, когда требовалось создать 10 вариантов размеров изображения, это приходилось делать сериями. Благодаря AWS Lambda все 10 вариантов изображения создаются одновременно, что ускоряет работу, не требуя при этом обслуживания сервера». Теперь компания не зависит от сервиса хостинга при устранении проблем, которые неизбежно возникают в любой системе, а полностью контролирует свою серверную среду, что позволяет решать проблемы сразу после их появления. «На случай неполадок у нас есть доступ к системе, благодаря чему мы можем самостоятельно решить практически любую проблему, – утверждает Грутко. – Эта среда принадлежит нам, как и контроль над ней». С проблемами, которые не удается решить своими силами, компании помогает справиться служба AWS Support. «Опыт сотрудничества со службой поддержки AWS во время миграции был просто замечательным, – делится Майлз ван Пелт, старший разработчик The Seattle Times. – Ее сотрудники приложили все усилия, чтобы ответить на наши вопросы и раскрыть темы, разъяснение которых нам не удалось найти в обширной документации AWS». Выбрав AWS, издание Seattle Times смогло повысить качество предоставления контента и укрепило свои позиции как одной из ведущих информационных компаний в Интернете. «Миграция на платформу AWS обеспечила адаптивность и гибкость, которых требует журналистская миссия компании, причем без затрат и сложностей, которые были бы неизбежны при обслуживании физического оборудования», – к такому заключению пришел Грутко .

ПРОБЛЕМА С приобретением в 2015 году AlertMe, партнера по оборудованию и платформе, Centrica Connected Home столкнулась с перспективой значительного изменения фокуса. Раньше отношения были между поставщиком и заказчиком, и AlertMe также преследовала свои собственные цели по расширению и лицензированию своего программного обеспечения. После приобретения Centrica Connected Home перешла к быстрой интеграции технических талантов двух компаний, а затем к перестройке усилий разработчиков. Новые общие цели эволюции продукта, улучшения характеристик и запуска на международном уровне поставили ряд задач в виде требования быстрого масштабирования для их живой платформы при сохранении стабильности и доступности. К этим требованиям к компании добавились экспансия на новые рынки, а также запуск новых продуктов, в том числе сервис интеллектуальных котлов и растущая экосистема новых устройств для умного дома Hive. Они даже нашли время, чтобы развить глубоко функциональные навыки Alexa для своих продуктов и, следовательно, стать партнером по запуску Smart Home для Amazon Echo в Великобритании в 2016 году.

ПОЧЕМУ Amazon Web Services Вся сквозная инфраструктура, на которой основана платформа Hive, включая веб-сайты маркетинга и поддержки, службы сбора данных и хранилище данных пользователя и аналитики в реальном времени, работает на технологиях AWS. Основными технологиями, используемыми для работы Hive, являются Amazon Elastic Cloud Compute (Amazon EC2), Amazon Relational Database Service (Amazon RDS) и Amazon Simple Storage Service (Amazon S3). Новые проблемы означали, что им пришлось искать решения в дополнительных специализированных, управляемых сервисах AWS. Работая с группой обслуживания AWS IoT под руководством руководителя EMEA IOT по веб-сервисам Amazon Клаудиу Паса, они начали проект концептуального доказательства перехода с существующей платформы управления устройствами на специализированную службу AWS IoT для новых и существующих устройств. Эта более глубокая интеграция с AWS позволила заменить другие компоненты платформы более компактной и быстрой инфраструктурой микросервисов на основе Lambda, при этом Amazon EC2 и Amazon RDS по-прежнему играют большую роль в их инфраструктуре для более долгоживущих компонентов, таких как хранилища данных и пользовательские интерфейсы платформы. Дополнительное использование интегрированных сервисов AWS, таких как хранилище данных Amazon S3 и веб-хостинг, Amazon API Gateway, Amazon Cognito и Amazon Cloudfront, предлагают привлекательные преимущества при использовании в сочетании с более традиционной инфраструктурой, такие как более низкая задержка для клиента, меньшие ограничения масштабируемости и больше гибкости, что позволяет их инженерной команде сосредоточиться на системах, которые повышают ценность бизнеса, таких как расширенный мониторинг с помощью партнера AWS Wavefront, агрегированное ведение журналов и анализ приложений с помощью Amazon Elasticsearch Service, а также анализ затрат и атрибуция с использованием тегов ресурсов и консолидированного выставления счетов в организациях Amazon.

ПРЕИМУЩЕСТВА Centrica Connected Home является отличным примером бережливого предпринимательства в действии. Несмотря на то, что она является частью одной из крупнейших корпораций Великобритании, она работает гибко, быстро обучаясь и предоставляя передовые продукты сотням тысяч довольных клиентов. «Наши команды имеют право принимать собственные решения и ошибки, и они могут подобрать инструменты и работать с ними, пробуя новые вещи и вводя новшества. AWS помогает нам создавать эту гибкую инфраструктуру, потому что мы можем работать гибко и без ограничений, но в согласованной среде», - говорит Адриан Хисом, Centrica Connected Home. Хесом продолжает: «Наша способность разрабатывать новые функции намного проще в нашей среде AWS. Кроме того, облако AWS обеспечивает стабильно доступную платформу хостинга для наших услуг. Простота развертывания ресурсов в нескольких физических точках AWS дает нам уверенность в надежности нашей среды ». Кристофер Ливермор, руководитель отдела надёжности сайтов Centrica Connected Homes, говорит: «Использование управляемых оптимизированных сервисов, таких как Amazon EC2, Amazon S3, AWS IoT, API-шлюз, AWS Lambda, Amazon Cloudfront, Amazon RDS и Amazon Cognito, позволяет нашим разработчикам и инженерам сосредоточиться на поставке продукта и его ценности для наших клиентов. Он устраняет некоторые общие проблемы конфигурации операционной системы и проектирования архитектуры. Он также облегчает поддержание хорошей общей платформы для разработки продукта во всех наших командах на международном уровне». Стоимость является двукратным преимуществом для Centrica Connected Home. Он может получить доступ к ряду сред для проведения экономически эффективных экспериментов, при этом оплачивая только те ИТ-ресурсы, которые потребляются. Это модель, которую команда приняла для своих продуктов и сопутствующих услуг. «Все больше и больше наших клиентов хотят «платить по ходу» за наши продукты и услуги Centrica Connected Home», - говорит Хисом. «Это не только согласуется с тем, как мы платим за AWS и облегчаем нашу финансовую модель, но и позволяет нам сосредоточить еще больше ресурсов на дальнейшей модернизации наших услуг».

Expedia повышает отказоустойчивость, делая ставку олл-ин на AWS
Expedia активно использует AWS и планирует в ближайшие два-три года перенести 80 процентов критически важных приложений из локальных центров обработки данных в облако. Благодаря AWS Expedia стала более устойчивой. Разработчики Expedia смогли внедрять инновации быстрее, экономя для компании миллионы долларов. Expedia предоставляет услуги бронирования путешествий на своем ведущем сайте Expedia.com и около 200 других сайтах бронирования путешествий по всему миру.
Об Expedia Expedia, Inc. - ведущая туристическая онлайн-компания, предоставляющая туристические и деловые поездки клиентам по всему миру. Обширный портфель брендов Expedia включает Expedia.com, одно из крупнейших в мире онлайн-агентств полного цикла, с сайтами, локализованными для более чем 20 стран; Hotels.com - специалист по отелям с сайтами в более чем 60 странах; Hotwire.com - специалист по отелям с сайтами в более чем 60 странах и другими туристическими брендами. Компания обеспечивает потребительскую ценность для отдыха и деловых поездок, повышает спрос и направляет заказы туристическим поставщикам, а также дает рекламодателям возможность привлечь очень ценную аудиторию потребителей путешествий на рынке с помощью Expedia Media Solutions. Expedia также предоставляет услуги бронирования для некоторых ведущих мировых авиакомпаний и отелей, ведущих потребительских брендов, веб-сайтов с высоким трафиком и тысяч активных партнеров через партнерскую сеть Expedia. Проблема Expedia стремится к постоянным инновациям, технологиям и улучшениям платформы, чтобы создать отличный опыт для своих клиентов. Организация Expedia Worldwide Engineering (EWE) поддерживает все веб-сайты под брендом Expedia. Expedia начала использовать Amazon Web Services (AWS) в 2010 году, чтобы запустить Expedia Suggest Service (ESS), службу подсказок, которая помогает клиентам правильно вводить информацию о путешествиях, поиске и местоположении. Согласно метрикам компании, страница с ошибкой является основной причиной отказа от сайта. Expedia хотела, чтобы глобальные пользователи находили то, что искали, быстро и без ошибок. В то время Expedia использовала все свои сервисы в дата-центрах в Чандлере, Аризона. Инженерная команда поняла, что им нужно запускать ESS в местах, физически близких к клиентам, чтобы обеспечить быстрое обслуживание с минимальной задержкой в ​​сети.
Почему Amazon Web Services Expedia рассматривала локальные решения для виртуализации, а также других облачных провайдеров, но в конечном итоге выбрала Amazon Web Services (AWS), потому что это было единственное решение с глобальной инфраструктурой для поддержки клиентов из Азиатско-Тихоокеанского региона.

«С архитектурной точки зрения инфраструктура, автоматизация и близость к клиенту были ключевыми факторами, - объясняет Мурари Гопалан, технический директор. «У нас не было способа решить проблему без AWS».

Запуск ESS на AWS

«Используя AWS, мы смогли построить и предоставить сервис ESS в течение трех месяцев», - говорит Магеш Чандрамули, главный архитектор.

ESS использует алгоритмы, основанные на местоположении клиента и агрегированных данных о покупках и бронировании прошлых клиентов, для отображения предложений, когда клиент начинает печатать. Например, если клиент в Сиэтле вошел в море при бронировании рейса, сервис отобразит Сиэтл, SeaTac и другие соответствующие пункты назначения. Expedia запустила инстансы ESS первоначально в Азиатско-Тихоокеанском регионе (Сингапур), а затем быстро скопировала сервис в Западном (Северная Калифорния) и ЕС (Ирландия) регионах. Инженеры Expedia первоначально использовали Apache Lucene и другие инструменты с открытым исходным кодом для создания сервиса, но в конечном итоге разработали мощные инструменты для хранения индексов и запросов. Развернув ESS на AWS, Expedia смогла улучшить обслуживание клиентов в Азиатско-Тихоокеанском регионе, а также в Европе.

«Задержка была нашей самой большой проблемой», - говорит Чандрамули.

«Используя AWS, мы снизили среднюю задержку в сети с 700 миллисекунд до менее 50 миллисекунд». На рисунке 1 показана служба подсказок типа ESS, работающая на AWS.

Запуск критических приложений на AWS К 2011 году Expedia запустила в AWS несколько критически важных приложений большого объема, таких как Global Deals Engine (GDE). GDE заключает сделки со своими онлайн-партнерами и позволяет им создавать собственные веб-сайты и приложения, используя API-интерфейсы Expedia и инструменты инвентаризации продуктов. Expedia предоставляет кластеры Hadoop, использующие Amazon Elastic Map Reduce (Amazon EMR), для анализа и обработки потоков данных, поступающих из глобальной сети веб-сайтов Expedia, в первую очередь данных о потоках кликов, взаимодействии с пользователем и предоставлении, которые хранятся в Amazon Simple Storage Service (Amazon S3). , Expedia обрабатывает приблизительно 240 запросов в секунду. «Преимущество AWS заключается в том, что мы можем использовать автоматическое масштабирование для соответствия нагрузке, а не поддерживать емкость для пиковой нагрузки в традиционных центрах обработки данных», - комментирует Гопалан. Expedia использует AWS CloudFormation с Chef для развертывания всего своего стека передней и внутренней частей в своей среде Amazon Virtual Private Cloud (Amazon VPC). Expedia использует архитектуру многозональных зон с множественной доступностью и проприетарную службу DNS для повышения устойчивости приложений. На рисунке 2 показана архитектура службы GDE в AWS. Expedia может добавить новый кластер для управления GDE и другими приложениями большого объема, не беспокоясь об инфраструктуре.

«Если бы нам пришлось размещать одни и те же приложения в нашем локальном центре обработки данных, у нас не было бы такого же уровня эффективности процессора», - говорит Чандрамули.

«Если приложение обрабатывает 3000 запросов в секунду, нам придется настроить наши физические серверы на работу с пропускной способностью около 30 процентов, чтобы избежать перегрева блоков. На AWS мы можем увеличить потребление ресурсов процессора до 70 процентов, потому что мы всегда можем уменьшить масштаб. По сути, работа в AWS обеспечивает 230-процентную эффективность использования ЦП при обработке данных. Мы запускаем наши критически важные приложения на AWS, потому что можем эффективно масштабировать и использовать инфраструктуру ».

Использование IAM для управления безопасностью Чтобы упростить управление GDE, Expedia разработала брокера федерации удостоверений, который использует AWS Identity and Access Management (AWS IAM) и сервис AWS Security Token Service (AWS STS). Посредник федерации позволяет системным администраторам и разработчикам использовать свои существующие учетные записи Windows Active Directory (AD) для единого входа (SSO) в Консоль управления AWS. При этом Expedia устраняет необходимость создавать пользователей IAM и поддерживать несколько сред, в которых хранятся идентификационные данные пользователей. Пользователи посредника федерации входят в свои машины Windows с помощью существующих учетных данных Active Directory, переходят к посреднику федерации и прозрачно входят в консоль управления AWS. Это позволяет Expedia обеспечивать управление паролями и разрешениями в пределах существующего каталога, а также применять групповые политики и другие правила управления. Кроме того, если сотрудник покидает компанию или выполняет другую роль, Expedia просто вносит изменения в Active Directory, чтобы отозвать или изменить разрешения AWS для пользователя, а не внутри AWS. Стандартизация развертывания приложений Успех сервисов ESS и GDE вызвал интерес у других команд разработчиков Expedia, которые начали использовать AWS для региональных инициатив. К 2012 году Expedia размещала приложения в регионах Восток США (Северная Вирджиния), ЕС (Ирландия), Азиатско-Тихоокеанский регион (Сингапур), Азиатско-Тихоокеанский регион (Токио) и Запад США (Северная Калифорния). Expedia Worldwide Engineering использовала лучшие практики этих инициатив для создания стандартизированной установки развертывания во всех регионах.

Как объясняет Джун-Дэй Бейтс-Кобашигава, ведущий инженер-программист: «Мы используем Chef для автоматизации настройки серверов Amazon Elastic Compute Cloud (Amazon EC2). Мы можем взять любой образ AWS и использовать скрипты, хранящиеся в Chef, для сборки машины и раскрутить экземпляр, настроенный для команды, всего за несколько минут».

Группа объединила все учетные записи AWS под одной учетной записью AWS и предоставила одну сеть Amazon VPC в каждом регионе. Это позволяет каждому региону иметь изолированную инфраструктуру с отдельным межсетевым экраном, прикладным уровнем и уровнем базы данных. Expedia применяет настройки брандмауэра Amazon EC2 Security Group для защиты приложений и сервисов. Amazon VPC полностью интегрирован в лабораторную и производственную среду Expedia.

«Опыт Amazon VPC для разработчика абсолютно беспроблемен», - говорит Бейтс-Кобашигава. «Разработчики используют одну и ту же службу Active Directory для проверки подлинности и могут даже не знать, что некоторые из серверов, на которых они входят, работают в AWS. Это похоже на физическую инфраструктуру с собственными подсетями и несколькими уровнями, а также легко подключиться к нашей локальной инфраструктуре с помощью VPN ».

Expedia использует сине-зеленый подход к развертыванию для создания параллельных производственных сред на AWS, что обеспечивает непрерывное развертывание и ускоряет выход на рынок.

«Одним из наших показателей успеха является сокращение времени на развертывание в наших командах», - говорит Гопалан. «Мы используем этот метод для быстрого запуска приложений по сравнению с традиционным развертыванием. Более того, снижение затрат на откат до нуля означает, что мы можем не бояться развертываний». 

Преимущества

Expedia использует AWS для быстрой разработки приложений, масштабирования для обработки больших объемов данных и быстрого устранения проблем. Используя AWS для построения стандартной модели развертывания, группы разработчиков могут быстро создать инфраструктуру для новых инициатив. Критические приложения работают в нескольких зонах доступности в разных регионах, чтобы обеспечить постоянную доступность данных и аварийное восстановление. Expedia Worldwide Engineering работает над созданием инфраструктуры мониторинга во всех регионах и переходом на единую инфраструктуру.

Как правило, команды имеют больший контроль над разработкой и операциями в AWS. Когда Expedia столкнулась с проблемами конверсии для своей службы регистрации клиентов, инженеры смогли отслеживать и выявлять критические проблемы в течение двух дней. По оценкам Expedia, если бы служба работала в физической среде, потребовалось бы шесть недель, чтобы найти ошибки сценария.

Ранее Expedia должна была предоставлять серверы для сценария полной нагрузки в своих центрах обработки данных.

«Чтобы развернуть приложение с помощью нашего локального средства, вы должны подумать о физической инфраструктуре», - объясняет Бейтс-Кобашигава. «Если запущено 100 блоков, вам может понадобиться 20 блоков, чтобы применить новый код. Используя AWS, нам не нужно вынимать мощности; мы просто добавляем новую емкость и отправляем на нее трафик ».

Чандрамули комментирует: «Когда я был разработчиком, вы не хотели инвестировать в архитектуру, если бы не знали, как получится приложение. Мне пришлось планировать заранее и создать доказательство концепции для представления заинтересованным сторонам. Используя AWS, я не ограничен пропускной способностью или мощностью процессора. Когда я думаю о AWS, свобода - это первое слово, которое приходит на ум ».

Challenge (Проблема) С ростом бизнеса компания столкнулась с проблемой нехватки вычислительных мощностей, которая чувствовалась особенно остро в пиковые нагрузки высокого сезона. Существующий хостинг не успевал динамически добавлять ресурсы под входящий трафик. Задачи Перед ИТ департаментом компании стояли следующие задачи:

• динамическое добавление ресурсов;
• масштабируемые вычислительные мощности;
• аналитика и статистика по нагрузке;
• прогнозирование пиковых нагрузок и готовность к ним.

Решение ИТ департамент рассматривал возможность покупки серверов. Но отказались от данного решения. Серверная архитектура требует постоянного планирования объема ресурсов для работы платформы, планирования резервирования. Сезонность бизнеса с подъемами и падениями входящего трафика с невозможностью их постоянного прогнозирования обусловили отказ от покупки оборудования. Поэтому ИТ департамент сконцентрировался на выборе облачного бессерверного решения как аренде вычислительных ресурсов. Искали бессерверную (serverless) архитектуру с масштабируемыми вычислительными мощностями. Задачей было обеспечение удобного сетевого доступа по требованию с минимальными эксплуатационными затратами или обращениями к провайдеру. После исследования предложений всех serverless-провайдеров, выбор остановился на сервисном решении компании Amazon Web Services. В решение вошли следующие продукты: CloudFront, CloudWatch, EC2 Container Registry, EC2 Container Service, EC2, S3, Lambda, SQS. EC2 Container Registry это реестр образов для Docker. В нем хранятся разные сервисы под определенное приложение. EC2 Container Service - сервис оркестрации контейнеров. EC2 Container Service берет образ, который указывает пользователь, из EC2 Container Registry и запускает его на кластере из EC2 инстансов. CloudFront использовали для кэширования в разных географических регионах и защиты сервиса от различных кибератак (DDoS и т.п.). AWS Lambda – это сервис облачных вычислений, хранит и запускает скрипты. AWS Lambda запускает программный код в ответ на определенные события и отвечает за автоматическое выделение необходимых вычислительных ресурсов. AWS Lambda в данном решении автоматически запускает программный код в ответ на изменение объектов в корзине Amazon S3 и обрабатывает изображения с целью их ресайзинга. Amazon S3 служит в решении диском для хранения данных. Amazon Simple Queue Service (SQS) используется в решении как управляемый сервис очередей сообщений, с помощью которого можно изолировать и масштабировать микросервисы. Таким образом осуществляется ресайзинг изображений с помощью бессерверного подхода. Артем Томюк, Senior DevOps Engineer LeBoutique объясняет выбор решения от AWS: “На момент интеграции это было самое зрелое решение. В процессе тестирования AWS решения нам понравилось, как оно работает, какая база под ним, сколько можно найти информации по проблемам, которые могут возникнуть. И что было не менее важно - поддержка продукта от производителя осуществляется должным образом.” ИТ департамент бессерверной архитектурой решил первоочередную задачу - динамическое добавление ресурсов, а также задачу масштабировать вычислительные мощности под входящий трафик. Интеграция и обучение ИТ команда переключилась на Amazon за одну ночь без потерь для бизнеса. Подготовка к процессу интеграции заняла одну рабочую неделю, что и было обучением для команды инженеров по инфраструктуре LeBoutique. Артем Томюк, Senior DevOps Engineer LeBoutique: “С инструментами AWS, которые внедрили, появилась внутренняя аналитика и статистика по нагрузке, стало возможно прогнозировать пиковые нагрузки и сглаживать их, удобно добавлять дисковое пространство, стореджи и т.д. Для динамики нашей компании удобно то, что сервисы имеют практически безграничные возможности по масштабированию”. Результат Облачное решение выявилось экономным и удобным в эксплуатации по сравнению с аналогами решения на земле. Теперь компания LeBoutique получает вычислительные мощности “по требованию” на платформах облачных сервисов через Интернет с оплатой по факту использования. Учитывая все сложности оценки реальных затрат на облачные вычисления, по расчетам компании, на момент перехода на сервисы AWS компания экономит до 12000$ в год по сравнению с расходами на серверные решения. Артем Томюк, Senior DevOps Engineer LeBoutique: “С точки зрения затрат мы понимали, сколько и на что мы тратили в разрезе сервиса - можем по аналитике наблюдать. Есть так называемые лямбда функции, за которые мы платим только тогда, когда они вызываются, что позволяет сэкономить много ресурсов по сравнению с закупкой собственных мощностей”. Serverless-архитектура на данный момент полностью устраивает потребности бизнеса и новые внедрения и переходы компанией не планируются.

Challenge (Проблема) Рост бизнеса и периодическая сезонность продаж требовали возможности масштабировать платформу без простоя ИТ-систем в периоды низкого сезона. Существующий облачный провайдер не мог обеспечить стабилизацию и гарантии от риска потери и повреждения данных. Решение Для стабилизации и увеличения доступности e-commerce платформы было выбрано решение на базе Amazon AWS как альтернатива предыдущему облачному провайдеру. Для миграции выбраны были услуги аренды виртуальных машин и база данных как сервис. В качестве сопровождающих также подключены сервис Route 53 для управления и защиты DNS, облачное дисковое хранилище для бэкапов. В облако Amazon сначала переехали среды разработки и тестирования, после чего была в течение двух ночей смигрирована продуктивная среда. Для обеспечения работы веб-сайта были использованы сервисы:

• Elastic Container Registry (ERC);
• Elastic Container Service (ECS);
• Elastic Compute Cloud (EC2);
• Elastic File System (EFS);
• Simple Storage Service (S3);
• Route 53.

ECR - это реестр образов для Docker. В нем хранятся преднастроенные образы. Использовали уже существующий сервис оркестрации контейнеров ECS, который обращается к указанному репозиторию Elastic Container Registry и запускает сервис на кластере из EC2 инстансов, используя Docker image. CloudWatch использовали для мониторинга инфраструктуры по различным метрикам. Elastic File System применили для хранения скриптов вебсайта. S3 использовали для хранения статического контента, такого как изображения товаров. Key Management Service - хранение ключей для шифрования данных. Simple Notification Service (SNS) использовали для повышения продуктивности персонала и уменьшения риска, сервис обеспечивает оповещение админов, если метрики отклоняются от нормы. Интеграция Внедрение проходило бесшовно, проведен пилотный проект сроком в полтора месяца с определением необходимых ресурсов для последующей миграции сайта. Результат Андрей Осипов,CIO в MOYO: “Спустя полгода работы ни единого простоя платформы не было. За счет гибкого динамического управления ресурсами с помощью Amazon сервисов очень легко получается осуществлять масштабирование платформы.”