Проблема Дрю Энгельсон является главным архитектором и старшим директором по развитию платформы в PBS Interactive, подразделении, ответственном за присутствие PBS в Интернете и на мобильном рынке. Первоначально Энгельсон и его команда использовали сеть доставки контента, которая не вполне отвечала потребностям корпорации в части потоковой доставки мультимедийных файлов. Периодически потоковое видео не переходило в режим воспроизведения, нередко видео при потоковой передаче зависало и отказывалось перезапускаться. Так как существующая сеть доставки контента PBS не давала возможности замерять ухудшение рабочих характеристик, Энгельсон и его команда затруднялись определить источник проблем, возникающих при потоковой передаче видео. Для улучшения системы и предотвращения таких проблем PBS Interactive внедрила средство мониторинга, которое можно было также использовать для тестирования других сетей доставки контента, включая сети Amazon Web Services (AWS). Команда PBS Interactive была уже знакома с AWS и использовала Amazon Elastic Compute Cloud (EC2) и Amazon Simple Storage Service (Amazon S3).

Почему Amazon Web Services После мониторинга нескольких сетей доставки контента (CDN) PBS Interactive пришла к выводу, что CloudFront обладает значительно меньшим уровнем сбоев, чем другие CDN. В результате корпорация перенесла основную часть видео PBS в хранилище Amazon S3 и стала доставлять их через Amazon CloudFront. PBS Interactive в течение нескольких недель завершила миграцию своего контента в Amazon S3 и после этого начала доставлять этот контент через Amazon CloudFront. PBS Interactive утверждает, что после миграции количество сбоев при доставке потокового видео уменьшилось на пятьдесят процентов. С помощью функции аннулирования запросов сервиса Amazon CloudFront и анализа файлов журналов CloudFront стало возможным быстро проводить тестирование. Эта функция позволила PBS Interactive улучшить тестирование путем немедленного удаления поврежденных файлов и быстрого обновления кэша. Энгельсон полагает, что «Amazon CloudFront хорошо подходит к другим сервисам AWS, используемым PBS. Члены команды получили большое удовольствие от общения с командой AWS во время миграции в Amazon CloudFront, и им понравилось, что функция аннулирования запросов сервиса Amazon CloudFront появилась вскоре после того, как она им потребовалась».

Преимущества В настоящее время PBS Interactive доставляет практически все потоковое видео через сервис Amazon CloudFront. Это подразумевает доставку более одного петабайта видеоконтента ежемесячно. В дополнение к описанному PBS Interactive использует множество сторонних поставщиков для перекодирования и сегментирования мобильных видеоресурсов, которые затем доставляются через сервис Amazon CloudFront в мобильные приложения PBS на устройствах Apple iPhone и iPad. Энгельсон рассказывает: «Что касается используемых нами сервисов AWS, то работа с Amazon CloudFront происходит так просто и надежно, что команде даже не приходится размышлять на эту тему. Все просто работает как положено, и мы имеем возможность сосредоточиться на создании увлекательных приложений. Мы чрезвычайно довольны производительностью и простотой использования CloudFront для потоковой передачи видео на различные устройства – заключает он. –  CloudFront позволяет качественно обслуживать пользователей с меньшим количеством сбоев, а это очень важно для успеха нашего бизнеса».

Проблема Проработав на локальном оборудовании и собственном издательском ПО на протяжении почти двух десятилетий, компания The Seattle Times задалась целью перенести свой веб-сайт на современную платформу управления контентом. Чтобы избежать затрат на приобретение и настройку новой аппаратной инфраструктуры и на обслуживающий персонал, компания сначала обратилась к поставщику полностью управляемого хостинга. Однако через несколько месяцев программные инженеры компании осознали, что сокращение обязанностей по обслуживанию привело к потере гибкости и адаптивности. Хостинговая платформа едва справлялась с управлением трафиком в условиях неравномерных нагрузок, в итоге The Seattle Times оказалась в состоянии полной беспомощности и не могла масштабироваться в ответ на читательские запросы. Том Бэйн, директор по разработке ПО, ответственный за миграцию, рассказывает: «Когда мы планировали перенос, мы хотели реализовать архитектуру, далекую от стандартов, и рассчитывали, что поставщик адаптируется к нашим потребностям. Однако поставщик не рискнул изменить свою бизнес-модель, чтобы удовлетворить наши довольно специфичные требования к хостингу».

Почему Amazon Web Services Для решения основной проблемы с масштабируемостью техническая группа Seattle Times рассмотрела несколько альтернативных вариантов хостинга, включая собственный локальный, более гибкие автоматизированные варианты и предложения различных поставщиков облачных сервисов. В результате специалисты обнаружили, что доступные варианты облачного хостинга обеспечивают необходимую гибкость, подходящую архитектуру и столь важную экономичность. Компания однозначно выбрала платформу Amazon Web Services (AWS), аргументом в пользу которой частично была завершенность предлагаемого продукта, но главным образом – встроенные возможности автоматического масштабирования. Новое ПО The Seattle Times построено на основе стека LAMP, и дополнительные преимущества собственного облачного хостинга на основе Linux стали решающими при выборе нового поставщика. Техническая группа The Seattle Times разработала план создания опытного образца и внедрения, который был представлен на рассмотрение в службу поддержки AWS Support. «Служба поддержки рассмотрела предложенную нами архитектуру и дала ряд рекомендаций и ценных советов, – рассказывает Роб Грутко, технологический директор The Seattle Times. – Все это очень помогло нам при подготовке системы к работе». После реализации задуманной системной архитектуры и испытания выбранных компонентов и настроек с участием специалистов AWS техническая группа осуществила развертывание новой системы всего за шесть часов. Перенос веб-сайта на платформу AWS начался в 11 часов вечера и был закончен в 3 часа ночи, а окончательное тестирование было завершено к 5 часам утра – как раз к началу нового дня новостей.

Как The Seattle Times использует AWS Сейчас сайт seattletimes.com размещен в Amazon Virtual Private Cloud (Amazon VPC) – логически изолированном разделе облака AWS. Сайт использует масштабируемые вычислительные ресурсы сервиса Amazon Elastic Compute Cloud (Amazon EC2) и тома постоянного блочного хранилища сервиса Amazon Elastic Block Store (Amazon EBS). Сервис Amazon Relational Database Service (Amazon RDS) выступает в роли масштабируемой облачной базы данных, Amazon Simple Storage Service (Amazon S3) предоставляет инфраструктуру для хранения и извлечения данных с полным обеспечением избыточности, а Amazon Route 53 – высокодоступный и масштабируемый веб-сервис системы доменных имен (DNS). Сервис Amazon CloudFront в сочетании с несколькими корзинами Amazon S3 используется для доставки пользователям огромного количества фотоиллюстраций. Совместная работа сервисов Amazon CloudFront и Amazon S3 обеспечивает вставку фотографий в новостные статьи, которые читатели The Seattle Times получают с низкой задержкой и высокой скоростью передачи данных. Сервис Amazon ElastiCache в новой конфигурации сайта The Seattle Times работает как «облачный кэш» в памяти. Кроме того, The Seattle Times использует сервис AWS Lambda для изменения размера изображений при просмотре на различных устройствах, таких как настольные компьютеры, планшеты и смартфоны.

Преимущества Платформа AWS теперь обеспечивает чрезвычайно быстрое масштабирование сайта The Seattle Times в сторону увеличения при пиковых значениях трафика во время публикации самых популярных новостей и в сторону уменьшения при сокращении трафика для обеспечения экономии. «Возможность автоматического масштабирования стала решающим аргументом для миграции, – говорит Грутко . – Благодаря использованию платформы AWS мы смогли повысить скорость и эффективность обслуживания читателей интернет-версии нашего издания, а также обеспечить масштабирование и высокое качество обслуживания читателей». Кроме того, размер иллюстраций к статьям теперь можно быстро адаптировать для различных сред просмотра, благодаря чему читатели быстрее получают доступ к последним новостям. Грутко подтверждает, что сервис AWS Lambda обеспечивает чрезвычайно быструю адаптацию размеров изображений: «Раньше, когда требовалось создать 10 вариантов размеров изображения, это приходилось делать сериями. Благодаря AWS Lambda все 10 вариантов изображения создаются одновременно, что ускоряет работу, не требуя при этом обслуживания сервера». Теперь компания не зависит от сервиса хостинга при устранении проблем, которые неизбежно возникают в любой системе, а полностью контролирует свою серверную среду, что позволяет решать проблемы сразу после их появления. «На случай неполадок у нас есть доступ к системе, благодаря чему мы можем самостоятельно решить практически любую проблему, – утверждает Грутко. – Эта среда принадлежит нам, как и контроль над ней». С проблемами, которые не удается решить своими силами, компании помогает справиться служба AWS Support. «Опыт сотрудничества со службой поддержки AWS во время миграции был просто замечательным, – делится Майлз ван Пелт, старший разработчик The Seattle Times. – Ее сотрудники приложили все усилия, чтобы ответить на наши вопросы и раскрыть темы, разъяснение которых нам не удалось найти в обширной документации AWS». Выбрав AWS, издание Seattle Times смогло повысить качество предоставления контента и укрепило свои позиции как одной из ведущих информационных компаний в Интернете. «Миграция на платформу AWS обеспечила адаптивность и гибкость, которых требует журналистская миссия компании, причем без затрат и сложностей, которые были бы неизбежны при обслуживании физического оборудования», – к такому заключению пришел Грутко .

ПРОБЛЕМА С приобретением в 2015 году AlertMe, партнера по оборудованию и платформе, Centrica Connected Home столкнулась с перспективой значительного изменения фокуса. Раньше отношения были между поставщиком и заказчиком, и AlertMe также преследовала свои собственные цели по расширению и лицензированию своего программного обеспечения. После приобретения Centrica Connected Home перешла к быстрой интеграции технических талантов двух компаний, а затем к перестройке усилий разработчиков. Новые общие цели эволюции продукта, улучшения характеристик и запуска на международном уровне поставили ряд задач в виде требования быстрого масштабирования для их живой платформы при сохранении стабильности и доступности. К этим требованиям к компании добавились экспансия на новые рынки, а также запуск новых продуктов, в том числе сервис интеллектуальных котлов и растущая экосистема новых устройств для умного дома Hive. Они даже нашли время, чтобы развить глубоко функциональные навыки Alexa для своих продуктов и, следовательно, стать партнером по запуску Smart Home для Amazon Echo в Великобритании в 2016 году.

ПОЧЕМУ Amazon Web Services Вся сквозная инфраструктура, на которой основана платформа Hive, включая веб-сайты маркетинга и поддержки, службы сбора данных и хранилище данных пользователя и аналитики в реальном времени, работает на технологиях AWS. Основными технологиями, используемыми для работы Hive, являются Amazon Elastic Cloud Compute (Amazon EC2), Amazon Relational Database Service (Amazon RDS) и Amazon Simple Storage Service (Amazon S3). Новые проблемы означали, что им пришлось искать решения в дополнительных специализированных, управляемых сервисах AWS. Работая с группой обслуживания AWS IoT под руководством руководителя EMEA IOT по веб-сервисам Amazon Клаудиу Паса, они начали проект концептуального доказательства перехода с существующей платформы управления устройствами на специализированную службу AWS IoT для новых и существующих устройств. Эта более глубокая интеграция с AWS позволила заменить другие компоненты платформы более компактной и быстрой инфраструктурой микросервисов на основе Lambda, при этом Amazon EC2 и Amazon RDS по-прежнему играют большую роль в их инфраструктуре для более долгоживущих компонентов, таких как хранилища данных и пользовательские интерфейсы платформы. Дополнительное использование интегрированных сервисов AWS, таких как хранилище данных Amazon S3 и веб-хостинг, Amazon API Gateway, Amazon Cognito и Amazon Cloudfront, предлагают привлекательные преимущества при использовании в сочетании с более традиционной инфраструктурой, такие как более низкая задержка для клиента, меньшие ограничения масштабируемости и больше гибкости, что позволяет их инженерной команде сосредоточиться на системах, которые повышают ценность бизнеса, таких как расширенный мониторинг с помощью партнера AWS Wavefront, агрегированное ведение журналов и анализ приложений с помощью Amazon Elasticsearch Service, а также анализ затрат и атрибуция с использованием тегов ресурсов и консолидированного выставления счетов в организациях Amazon.

ПРЕИМУЩЕСТВА Centrica Connected Home является отличным примером бережливого предпринимательства в действии. Несмотря на то, что она является частью одной из крупнейших корпораций Великобритании, она работает гибко, быстро обучаясь и предоставляя передовые продукты сотням тысяч довольных клиентов. «Наши команды имеют право принимать собственные решения и ошибки, и они могут подобрать инструменты и работать с ними, пробуя новые вещи и вводя новшества. AWS помогает нам создавать эту гибкую инфраструктуру, потому что мы можем работать гибко и без ограничений, но в согласованной среде», - говорит Адриан Хисом, Centrica Connected Home. Хесом продолжает: «Наша способность разрабатывать новые функции намного проще в нашей среде AWS. Кроме того, облако AWS обеспечивает стабильно доступную платформу хостинга для наших услуг. Простота развертывания ресурсов в нескольких физических точках AWS дает нам уверенность в надежности нашей среды ». Кристофер Ливермор, руководитель отдела надёжности сайтов Centrica Connected Homes, говорит: «Использование управляемых оптимизированных сервисов, таких как Amazon EC2, Amazon S3, AWS IoT, API-шлюз, AWS Lambda, Amazon Cloudfront, Amazon RDS и Amazon Cognito, позволяет нашим разработчикам и инженерам сосредоточиться на поставке продукта и его ценности для наших клиентов. Он устраняет некоторые общие проблемы конфигурации операционной системы и проектирования архитектуры. Он также облегчает поддержание хорошей общей платформы для разработки продукта во всех наших командах на международном уровне». Стоимость является двукратным преимуществом для Centrica Connected Home. Он может получить доступ к ряду сред для проведения экономически эффективных экспериментов, при этом оплачивая только те ИТ-ресурсы, которые потребляются. Это модель, которую команда приняла для своих продуктов и сопутствующих услуг. «Все больше и больше наших клиентов хотят «платить по ходу» за наши продукты и услуги Centrica Connected Home», - говорит Хисом. «Это не только согласуется с тем, как мы платим за AWS и облегчаем нашу финансовую модель, но и позволяет нам сосредоточить еще больше ресурсов на дальнейшей модернизации наших услуг».

Challenge (Проблема) С ростом бизнеса компания столкнулась с проблемой нехватки вычислительных мощностей, которая чувствовалась особенно остро в пиковые нагрузки высокого сезона. Существующий хостинг не успевал динамически добавлять ресурсы под входящий трафик. Задачи Перед ИТ департаментом компании стояли следующие задачи:

• динамическое добавление ресурсов;
• масштабируемые вычислительные мощности;
• аналитика и статистика по нагрузке;
• прогнозирование пиковых нагрузок и готовность к ним.

Решение ИТ департамент рассматривал возможность покупки серверов. Но отказались от данного решения. Серверная архитектура требует постоянного планирования объема ресурсов для работы платформы, планирования резервирования. Сезонность бизнеса с подъемами и падениями входящего трафика с невозможностью их постоянного прогнозирования обусловили отказ от покупки оборудования. Поэтому ИТ департамент сконцентрировался на выборе облачного бессерверного решения как аренде вычислительных ресурсов. Искали бессерверную (serverless) архитектуру с масштабируемыми вычислительными мощностями. Задачей было обеспечение удобного сетевого доступа по требованию с минимальными эксплуатационными затратами или обращениями к провайдеру. После исследования предложений всех serverless-провайдеров, выбор остановился на сервисном решении компании Amazon Web Services. В решение вошли следующие продукты: CloudFront, CloudWatch, EC2 Container Registry, EC2 Container Service, EC2, S3, Lambda, SQS. EC2 Container Registry это реестр образов для Docker. В нем хранятся разные сервисы под определенное приложение. EC2 Container Service - сервис оркестрации контейнеров. EC2 Container Service берет образ, который указывает пользователь, из EC2 Container Registry и запускает его на кластере из EC2 инстансов. CloudFront использовали для кэширования в разных географических регионах и защиты сервиса от различных кибератак (DDoS и т.п.). AWS Lambda – это сервис облачных вычислений, хранит и запускает скрипты. AWS Lambda запускает программный код в ответ на определенные события и отвечает за автоматическое выделение необходимых вычислительных ресурсов. AWS Lambda в данном решении автоматически запускает программный код в ответ на изменение объектов в корзине Amazon S3 и обрабатывает изображения с целью их ресайзинга. Amazon S3 служит в решении диском для хранения данных. Amazon Simple Queue Service (SQS) используется в решении как управляемый сервис очередей сообщений, с помощью которого можно изолировать и масштабировать микросервисы. Таким образом осуществляется ресайзинг изображений с помощью бессерверного подхода. Артем Томюк, Senior DevOps Engineer LeBoutique объясняет выбор решения от AWS: “На момент интеграции это было самое зрелое решение. В процессе тестирования AWS решения нам понравилось, как оно работает, какая база под ним, сколько можно найти информации по проблемам, которые могут возникнуть. И что было не менее важно - поддержка продукта от производителя осуществляется должным образом.” ИТ департамент бессерверной архитектурой решил первоочередную задачу - динамическое добавление ресурсов, а также задачу масштабировать вычислительные мощности под входящий трафик. Интеграция и обучение ИТ команда переключилась на Amazon за одну ночь без потерь для бизнеса. Подготовка к процессу интеграции заняла одну рабочую неделю, что и было обучением для команды инженеров по инфраструктуре LeBoutique. Артем Томюк, Senior DevOps Engineer LeBoutique: “С инструментами AWS, которые внедрили, появилась внутренняя аналитика и статистика по нагрузке, стало возможно прогнозировать пиковые нагрузки и сглаживать их, удобно добавлять дисковое пространство, стореджи и т.д. Для динамики нашей компании удобно то, что сервисы имеют практически безграничные возможности по масштабированию”. Результат Облачное решение выявилось экономным и удобным в эксплуатации по сравнению с аналогами решения на земле. Теперь компания LeBoutique получает вычислительные мощности “по требованию” на платформах облачных сервисов через Интернет с оплатой по факту использования. Учитывая все сложности оценки реальных затрат на облачные вычисления, по расчетам компании, на момент перехода на сервисы AWS компания экономит до 12000$ в год по сравнению с расходами на серверные решения. Артем Томюк, Senior DevOps Engineer LeBoutique: “С точки зрения затрат мы понимали, сколько и на что мы тратили в разрезе сервиса - можем по аналитике наблюдать. Есть так называемые лямбда функции, за которые мы платим только тогда, когда они вызываются, что позволяет сэкономить много ресурсов по сравнению с закупкой собственных мощностей”. Serverless-архитектура на данный момент полностью устраивает потребности бизнеса и новые внедрения и переходы компанией не планируются.