Аутсорсинговая компания по разработке ПО AgiliWay (https://agiliway.com/) совместно с компанией-дистрибьютором Softprom (https://softprom.com/) поставили и внедрили сервисы AWS в ROI4CIO и повысили производительность сайта в 8 раз. Даты проекта: 28.09.2017 – 18.10.2017: подбор оптимальной конфигурации сервера, подбор оптимальных сервисов на AWS и полный переход на AWS, включая доменное имя. Проблема: Сервис, использовавшийся на сайте до внедрения AWS, не выдерживал работу с "тяжелым" функционалом, в частности, необходимость обработки большого количества информации. В результате при определенном количестве пользователей показатели CPU и RAM сервера поднимались до 100% и в работе сайта происходил сбой. Результат: Благодаря использованию сервера и сервисов AWS, количество одновременно присутствующих на сайте пользователей выросло в несколько раз, а нагрузка на сайт и базу данных уменьшилась в 2 раза. Производительность сайта удалось увеличить в 8 раз, при этом стоимость владения им выросла всего в 2 раза. ROI - 800% Проблема:

• "Команда столкнулась с проблемой недостатка производительности сайта. Во время тестирования при одновременном подключении определенного количества пользователей задержка отклика была больше 10 секунд. При увеличении нагрузки база не выдерживала, сервис "отказывался" работать" - Олег Пицык, Архитектор ИТ-систем ROI4CIO, Agiliway.

Решение: До принятия решения о внедрении сервисов AWS для проекта ROI4CIO, было проведено тестирование возможного размещения на другом облачном ресурсе. Сравнительные результаты тестирования показали однозначное преимущество сервисов AWS. В результате взаимодействия Softprom совместно с Agiliway разработали оптимальное решение для улучшения производительности сайта. Представители Agiliway, как разработчика и архитектора систем ROI4CIO, занимались настройкой сервера приложений и базы. Softprom выступал как поставщик платформ AWS и в роли консультанта по функциональному использованию сервисов AWS. Кроме того, сотрудники Softprom занимались настройкой мониторинга, уведомлений и автоматизации AWS Lambda. Домен сайта разместили в Amazon Route 53. Это высокодоступный и масштабируемый облачный веб-сервис системы доменных имен (DNS). Для обеспечения комплексной защиты от всех известных инфраструктурных атак (уровень 3 и 4) использовали систему анти DDoS AWS Shield. Для оптимизации нагрузок, требующих больших вычислительных мощностей, использовали виртуальный сервер EC2 типа C4, а также настроили auto scaling ресурсов и балансировку входящей нагрузки на сервер. В моменты пиковой загруженности сайта вычислительные ресурсы автоматически масштабируются, что позволяет выдержать практически любую нагрузку. С целью повышения надежности и отказоустойчивости, а также уменьшения затрат на администрирование, для размещения базы данных был выбран сервис баз данных Amazon Relational Database Service, выполняющий функции выделения аппаратного обеспечения, настройки базы данных, установки исправлений и резервного копирования. Для повышения скорости работы сайта был также использован ElastiCashe - веб-сервис, упрощающий развертывание и масштабирование в облаке хранилища или кэша памяти, а также управление ими. С помощью сервиса AWS CloudWatch был настроен расширенный мониторинг приложения и базы данных. Создавая различные правила, администратор сразу же получает sms-уведомление на мобильный и на e-mail в случае возникновения любой непредвиденной ситуации. Для реализации функции отправки сообщений в CloudWatch был интегрирoван сервис уведомлений AWS SNS (simple notification service). Помимо отправки сообщений, при определенных обстоятельствах срабатывают триггеры, которые активируют функции автоматизации, реализованные с помощью сервиса бессерверных вычислений AWS Lambda. Бекапы базы данных и сервера приложений автоматически создаются по расписанию и сохраняются в облачном хранилище AWS S3.

• "В основном все усилия были направлены на повышение производительности. Но также немало внимания уделили отказоустойчивости и резервному копированию.  По цифрам, наверное, можно выделить еще пропускную способность дискового хранилища базы (IOPS). Использовали диск с повышенной пропускной способностью Provisioned IOPS. На каждый инстанс БД может быть выделено до 40 000 IOPS" - Влад Гавриленко, ИТ директор Softprom.

• "Перенесли сервер очень быстро, буквально за 2 дня. Потом занимались настройкой сервисов. Это заняло около недели" -  Влад Гавриленко, ИТ директор Softprom.

Результат: Благодаря внедрению сервисов AWS, команда обеспечила восьмикратное увеличение производительности ресурса и одновременную автоматизацию трудоемких задач администрирования. При этом стоимость владения выросла всего вдвое. После исправления кода запросов и внедрения всех сервисов сайт сохраняет непрерывную и стабильную работоспособность даже при высоком уровне нагрузок.

"AWS Lambda позволяет техническим специалистам Localytics использовать параллельные потоки данных для создания микросервисов независимо от основного аналитического приложения. Это помогает быстрее выпускать новые сервисы для клиентов. Ведь быстро выйти на рынок чрезвычайно важно для стартапов", - Мохит Дилавари, технический директор Проблема

• Поддержка конвейера с миллиардами точек данных, загружаемых ежедневно из различных мобильных приложений, в которых используется ПО для анализа данных от Localytics.

• Технической группе требовался доступ к подмножествам данных для создания новых сервисов, но для этого нужно было планировать дополнительные ресурсы, проводить мониторинг их использования и управлять инфраструктурой.

• Группа поддержки платформы хотела обеспечить техническим группам возможность самостоятельной работы.

До начала использования сервисов Amazon Kinesis и Amazon Lambda при каждом добавлении микросервиса приходилось обновлять основной сервис обработки анализируемых данных Localytics.

Решение

• Использовать платформу AWS для отправки около 100 миллиардов точек данных ежемесячно через Elastic Load Balancing в сервис Amazon Simple Queue Service, затем в Amazon Elastic Compute Cloud и, наконец, в поток Amazon Kinesis.

• Для каждой новой возможности маркетингового ПО создается новый микросервис для доступа к потоку данных Amazon Kinesis с помощью AWS Lambda. Каждый микросервис получает доступ к потоку данных параллельно с остальными.

Выполнив развертывание сервисов Amazon Kinesis и Amazon Lambda, Localytics помещает подмножество данных в поток Kinesis, который может использоваться группами разработки различных микросервисов для создания собственных микросервисов Lambda без необходимости уведомлять группу аналитики или консультироваться с ней.

Проблема Проработав на локальном оборудовании и собственном издательском ПО на протяжении почти двух десятилетий, компания The Seattle Times задалась целью перенести свой веб-сайт на современную платформу управления контентом. Чтобы избежать затрат на приобретение и настройку новой аппаратной инфраструктуры и на обслуживающий персонал, компания сначала обратилась к поставщику полностью управляемого хостинга. Однако через несколько месяцев программные инженеры компании осознали, что сокращение обязанностей по обслуживанию привело к потере гибкости и адаптивности. Хостинговая платформа едва справлялась с управлением трафиком в условиях неравномерных нагрузок, в итоге The Seattle Times оказалась в состоянии полной беспомощности и не могла масштабироваться в ответ на читательские запросы. Том Бэйн, директор по разработке ПО, ответственный за миграцию, рассказывает: «Когда мы планировали перенос, мы хотели реализовать архитектуру, далекую от стандартов, и рассчитывали, что поставщик адаптируется к нашим потребностям. Однако поставщик не рискнул изменить свою бизнес-модель, чтобы удовлетворить наши довольно специфичные требования к хостингу».

Почему Amazon Web Services Для решения основной проблемы с масштабируемостью техническая группа Seattle Times рассмотрела несколько альтернативных вариантов хостинга, включая собственный локальный, более гибкие автоматизированные варианты и предложения различных поставщиков облачных сервисов. В результате специалисты обнаружили, что доступные варианты облачного хостинга обеспечивают необходимую гибкость, подходящую архитектуру и столь важную экономичность. Компания однозначно выбрала платформу Amazon Web Services (AWS), аргументом в пользу которой частично была завершенность предлагаемого продукта, но главным образом – встроенные возможности автоматического масштабирования. Новое ПО The Seattle Times построено на основе стека LAMP, и дополнительные преимущества собственного облачного хостинга на основе Linux стали решающими при выборе нового поставщика. Техническая группа The Seattle Times разработала план создания опытного образца и внедрения, который был представлен на рассмотрение в службу поддержки AWS Support. «Служба поддержки рассмотрела предложенную нами архитектуру и дала ряд рекомендаций и ценных советов, – рассказывает Роб Грутко, технологический директор The Seattle Times. – Все это очень помогло нам при подготовке системы к работе». После реализации задуманной системной архитектуры и испытания выбранных компонентов и настроек с участием специалистов AWS техническая группа осуществила развертывание новой системы всего за шесть часов. Перенос веб-сайта на платформу AWS начался в 11 часов вечера и был закончен в 3 часа ночи, а окончательное тестирование было завершено к 5 часам утра – как раз к началу нового дня новостей.

Как The Seattle Times использует AWS Сейчас сайт seattletimes.com размещен в Amazon Virtual Private Cloud (Amazon VPC) – логически изолированном разделе облака AWS. Сайт использует масштабируемые вычислительные ресурсы сервиса Amazon Elastic Compute Cloud (Amazon EC2) и тома постоянного блочного хранилища сервиса Amazon Elastic Block Store (Amazon EBS). Сервис Amazon Relational Database Service (Amazon RDS) выступает в роли масштабируемой облачной базы данных, Amazon Simple Storage Service (Amazon S3) предоставляет инфраструктуру для хранения и извлечения данных с полным обеспечением избыточности, а Amazon Route 53 – высокодоступный и масштабируемый веб-сервис системы доменных имен (DNS). Сервис Amazon CloudFront в сочетании с несколькими корзинами Amazon S3 используется для доставки пользователям огромного количества фотоиллюстраций. Совместная работа сервисов Amazon CloudFront и Amazon S3 обеспечивает вставку фотографий в новостные статьи, которые читатели The Seattle Times получают с низкой задержкой и высокой скоростью передачи данных. Сервис Amazon ElastiCache в новой конфигурации сайта The Seattle Times работает как «облачный кэш» в памяти. Кроме того, The Seattle Times использует сервис AWS Lambda для изменения размера изображений при просмотре на различных устройствах, таких как настольные компьютеры, планшеты и смартфоны.

Преимущества Платформа AWS теперь обеспечивает чрезвычайно быстрое масштабирование сайта The Seattle Times в сторону увеличения при пиковых значениях трафика во время публикации самых популярных новостей и в сторону уменьшения при сокращении трафика для обеспечения экономии. «Возможность автоматического масштабирования стала решающим аргументом для миграции, – говорит Грутко . – Благодаря использованию платформы AWS мы смогли повысить скорость и эффективность обслуживания читателей интернет-версии нашего издания, а также обеспечить масштабирование и высокое качество обслуживания читателей». Кроме того, размер иллюстраций к статьям теперь можно быстро адаптировать для различных сред просмотра, благодаря чему читатели быстрее получают доступ к последним новостям. Грутко подтверждает, что сервис AWS Lambda обеспечивает чрезвычайно быструю адаптацию размеров изображений: «Раньше, когда требовалось создать 10 вариантов размеров изображения, это приходилось делать сериями. Благодаря AWS Lambda все 10 вариантов изображения создаются одновременно, что ускоряет работу, не требуя при этом обслуживания сервера». Теперь компания не зависит от сервиса хостинга при устранении проблем, которые неизбежно возникают в любой системе, а полностью контролирует свою серверную среду, что позволяет решать проблемы сразу после их появления. «На случай неполадок у нас есть доступ к системе, благодаря чему мы можем самостоятельно решить практически любую проблему, – утверждает Грутко. – Эта среда принадлежит нам, как и контроль над ней». С проблемами, которые не удается решить своими силами, компании помогает справиться служба AWS Support. «Опыт сотрудничества со службой поддержки AWS во время миграции был просто замечательным, – делится Майлз ван Пелт, старший разработчик The Seattle Times. – Ее сотрудники приложили все усилия, чтобы ответить на наши вопросы и раскрыть темы, разъяснение которых нам не удалось найти в обширной документации AWS». Выбрав AWS, издание Seattle Times смогло повысить качество предоставления контента и укрепило свои позиции как одной из ведущих информационных компаний в Интернете. «Миграция на платформу AWS обеспечила адаптивность и гибкость, которых требует журналистская миссия компании, причем без затрат и сложностей, которые были бы неизбежны при обслуживании физического оборудования», – к такому заключению пришел Грутко .

Challenge (Проблема) С ростом бизнеса компания столкнулась с проблемой нехватки вычислительных мощностей, которая чувствовалась особенно остро в пиковые нагрузки высокого сезона. Существующий хостинг не успевал динамически добавлять ресурсы под входящий трафик. Задачи Перед ИТ департаментом компании стояли следующие задачи:

• динамическое добавление ресурсов;
• масштабируемые вычислительные мощности;
• аналитика и статистика по нагрузке;
• прогнозирование пиковых нагрузок и готовность к ним.

Решение ИТ департамент рассматривал возможность покупки серверов. Но отказались от данного решения. Серверная архитектура требует постоянного планирования объема ресурсов для работы платформы, планирования резервирования. Сезонность бизнеса с подъемами и падениями входящего трафика с невозможностью их постоянного прогнозирования обусловили отказ от покупки оборудования. Поэтому ИТ департамент сконцентрировался на выборе облачного бессерверного решения как аренде вычислительных ресурсов. Искали бессерверную (serverless) архитектуру с масштабируемыми вычислительными мощностями. Задачей было обеспечение удобного сетевого доступа по требованию с минимальными эксплуатационными затратами или обращениями к провайдеру. После исследования предложений всех serverless-провайдеров, выбор остановился на сервисном решении компании Amazon Web Services. В решение вошли следующие продукты: CloudFront, CloudWatch, EC2 Container Registry, EC2 Container Service, EC2, S3, Lambda, SQS. EC2 Container Registry это реестр образов для Docker. В нем хранятся разные сервисы под определенное приложение. EC2 Container Service - сервис оркестрации контейнеров. EC2 Container Service берет образ, который указывает пользователь, из EC2 Container Registry и запускает его на кластере из EC2 инстансов. CloudFront использовали для кэширования в разных географических регионах и защиты сервиса от различных кибератак (DDoS и т.п.). AWS Lambda – это сервис облачных вычислений, хранит и запускает скрипты. AWS Lambda запускает программный код в ответ на определенные события и отвечает за автоматическое выделение необходимых вычислительных ресурсов. AWS Lambda в данном решении автоматически запускает программный код в ответ на изменение объектов в корзине Amazon S3 и обрабатывает изображения с целью их ресайзинга. Amazon S3 служит в решении диском для хранения данных. Amazon Simple Queue Service (SQS) используется в решении как управляемый сервис очередей сообщений, с помощью которого можно изолировать и масштабировать микросервисы. Таким образом осуществляется ресайзинг изображений с помощью бессерверного подхода. Артем Томюк, Senior DevOps Engineer LeBoutique объясняет выбор решения от AWS: “На момент интеграции это было самое зрелое решение. В процессе тестирования AWS решения нам понравилось, как оно работает, какая база под ним, сколько можно найти информации по проблемам, которые могут возникнуть. И что было не менее важно - поддержка продукта от производителя осуществляется должным образом.” ИТ департамент бессерверной архитектурой решил первоочередную задачу - динамическое добавление ресурсов, а также задачу масштабировать вычислительные мощности под входящий трафик. Интеграция и обучение ИТ команда переключилась на Amazon за одну ночь без потерь для бизнеса. Подготовка к процессу интеграции заняла одну рабочую неделю, что и было обучением для команды инженеров по инфраструктуре LeBoutique. Артем Томюк, Senior DevOps Engineer LeBoutique: “С инструментами AWS, которые внедрили, появилась внутренняя аналитика и статистика по нагрузке, стало возможно прогнозировать пиковые нагрузки и сглаживать их, удобно добавлять дисковое пространство, стореджи и т.д. Для динамики нашей компании удобно то, что сервисы имеют практически безграничные возможности по масштабированию”. Результат Облачное решение выявилось экономным и удобным в эксплуатации по сравнению с аналогами решения на земле. Теперь компания LeBoutique получает вычислительные мощности “по требованию” на платформах облачных сервисов через Интернет с оплатой по факту использования. Учитывая все сложности оценки реальных затрат на облачные вычисления, по расчетам компании, на момент перехода на сервисы AWS компания экономит до 12000$ в год по сравнению с расходами на серверные решения. Артем Томюк, Senior DevOps Engineer LeBoutique: “С точки зрения затрат мы понимали, сколько и на что мы тратили в разрезе сервиса - можем по аналитике наблюдать. Есть так называемые лямбда функции, за которые мы платим только тогда, когда они вызываются, что позволяет сэкономить много ресурсов по сравнению с закупкой собственных мощностей”. Serverless-архитектура на данный момент полностью устраивает потребности бизнеса и новые внедрения и переходы компанией не планируются.