Американская компания EngagePoint с центром разработки в Киеве была основана в 2007 году. В 2012, 2013 и 2014 годах EngagePoint вошла в список 500 самых быстрорастущих компаний США по версии журнала Inc. Компания разрабатывает инновационные решения для правительства США, призванные ускорить переход государственных организаций на современный уровень управления. В частности, компания выиграла тендеры на разработку систем онлайн-страхования для штатов Миннесота, Миссури и Арканзас.

За 7 лет существования EngagePoint выросла c небольшого офиса с тремя сотрудниками до компании со штатом более 400 человек и государственными заказами в США. Когда численность отдела разработки составляла около 20 человек, в качестве вычислительных ресурсов использовались три сервера IBM, на которых были развернуты по три виртуальных машины под управлением гипервизора Xen. Позднее были приобретены три сервера НР, на которых работали уже 70 ВМ под управлением гипервизора от VMware.

Cо временем, получение новых больших заказов повлекло за собой увеличение штата отдела разработки (сейчас он насчитывает 120 человек) и создание ИТ-инфраструктуры, позволяющей развернуть под каждый проект необходимую среду, в которой можно было проводить разработку и тестирование продуктов. В частности, для тестирования ПО необходимо было иметь кластеры такие же, как и у заказчиков.

Поэтому был предпринят поиск компаний-производителей, которые могли бы поставить необходимую аппаратную платформу. Основными требованиями, которые предъявлялись к аппаратной платформе, были легкость масштабирования при минимальных затратах, надежность и отказоустойчивость, проста в управлении.

Рассматривались Dell, IBM и HP. Представительствам этих компаний было разослано техническое задание. От каждой компании было получено техническое предложение, и после их анализа на основании технических характеристик и цены было выбрано оборудование НР и компания Integrity Systems в качестве интегратора.

При разработке проекта компании-интегратору со стороны заказчика были выставлены только требования в отношении объема дискового пространства, количества процессорных ядер и объема ОЗУ.

Пул серверов содержит 16 двухпроцессорных лезвий НР BL460c Gen8 на базе десятиядерных CPU Intel E5-2660v2 с объемом ОЗУ 128 ГБ каждое. Лезвия установлены в шасси HP BLc7000, которые оборудованы двумя конвергентными модулями HP Virtual Connect FlexFabric 10Gb/24-port, поддерживающими трафик Ethernet 1-10Gb, FC, FCoE и iSCSI SAN. СХД служит HP 3PAR StoreServ 7200, содержащая 48 SAS-дисков емкостью по 600 ГБ каждый. СХД подключена напрямую по схеме flat SAN к модулям HP Virtual Connect FlexFabric 10Gb/24-port.

Вычислительный комплекс для разработки ПО не обязан обладать характеристиками бизнес-критических систем, поэтому включение в его состав СХД 3PAR требует некоторых комментариев. На предыдущей аппаратной платформе часто возникали проблемы с дисковым пространством: нельзя было заранее спрогнозировать, какой объем дискового пространства понадобиться в недалеком будущем. Если возникала необходимость его увеличить, то, с учетом плохой масштабируемости, это требовало существенных затрат. В то же время СХД 3PAR является одной из лучших систем по критерию производительность/стоимость. Это высоконадежное решение с расширяемой по мере необходимости функциональностью, которое легко масштабируется при минимальных затратах. А технология Thin Provisioning решает проблему планирования дискового пространства, которая в случае разработки и тестирования является весьма острой. К тому же специфика работ требовала разворачивания порядка 500 ВМ с гибким распределением дискового пространства.

Проект был разбит на несколько этапов. Это диктовалось тем, что строить инфраструктуру с учетом запланированного роста за один шаг нерационально: через 2–3 года многие компоненты устареют, а новые версии подешевеют. Поэтому проект был разбит на этапы по шесть месяцев каждый. Другими словами, сначала реализуется инфраструктура, необходимая для выполнения запланированных на шесть месяцев работ. По прошествии этого времени, проводится анализ соответствия имеющейся инфраструктуры следующему этапу работ, и, при необходимости, выполняется модернизация и/или расширение. На данный момент реализован I этап из запланированных трех.

В результате реализации данного проекта компания может полностью воссоздать ту инфраструктуру, которая будет у заказчика и протестировать продукт на реальной системе без симуляции. Это также упрощает последующие модификации продукта и, при необходимости, расширение его функциональности. Крайне важным является также то, что новая ИТ-инфраструктура позволила EngagePoint собирать и тестировать модули, разрабатываемые другими компаниями в рамках общих проектов.

Комментарий специалиста компании «Интеграционные Системы»:
«При составлении спецификации принимался во внимание тот факт, что на базе выбранного оборудования должна быть построена инфраструктура для разработки сложных многоуровневых приложений и конфигурации сред для их тестирования. Другими словами, необходимо было создать высокодинамичную ИТ-инфраструктуру, в которой требуются максимальная гибкость, простота управления и высокая скорость перераспределения вычислительных ресурсов между сервисами. Отдельным пунктом хотел бы отметить, что также нужно было обеспечить высокую плотность производительности в пересчете на конструктивную единицу (unit). В связи с этими требованиями было принято решение построить инфраструктуру на основе оборудования HP BladeSystem с конвергентными модулями Virtual Connect FlexFabric и систему хранения данных HP 3PAR StoreServ 7200. Использование серверной виртуализации и виртуальных профилей серверов Virtual Connect позволило добиться высокой гибкости и скорости перераспределения вычислительных ресурсов ОЗУ и процессорной мощности, а также простоты управления. А технологии Thin Provisioning, Thin Persistence, Thin Reclamation и виртуализации дисковых ресурсов системы HP 3PAR StoreServ 7200 позволили добиться высокой гибкости и скорости перераспределения дисковых ресурсов, а также простоты управления дисковыми ресурсами. Таким образом была построена ИТ-инфраструктура, которая является надежным фундаментом для виртуальной среды и в будущем, возможно, для облачной среды.»

Методичная реализация выверенной стратегии развития ИТ-инфраструктуры позволила компании «АЛЛО» предложить клиентам торговой сети новые сервисы и повысить эффективность бизнеса в целом.

Группа компаний «АЛЛО» является крупным поставщиком телекоммуникационных технологий, портативных аудио и видеоустройств и сопутствующих услуг. На сегодня она имеет разветвленную розничную сеть, представленную в большинстве городов Украины, и занимает значительную долю украинского рынка цифрового оборудования. Принадлежащий ей интернет-магазин «АЛЛО-онлайн» по некоторым оценкам является одной из наиболее быстрорастущих компаний в Украине. Это стало возможно в том числе благодаря внедрению новых технологий и модернизации ЦОД с использованием оборудования компании HP.

Два года назад компания «АЛЛО» поставила перед собой амбициозную цель выйти на лидирующие позиции как по продажам цифровой техники, так и в области предоставления сервиса, для чего была разработана стратегия среднесрочного развития. В рамках этой стратегии был принят план вывода на рынок нового вида сервисов — мгновенного пополнения (с нулевой комиссией) счетов мобильных операторов связи, оплаты онлайн-игр, интернет-услуг операторов в разных регионах, услуг кабельного телевидения, страховых услуг и пр. Теперь каждый клиент в любом магазине «АЛЛО» может сделать платеж и практически мгновенно получить подтверждение о его проводке. Естественно, новые сервисы потребовали развертывания в сети компании дополнительных программных инструментов для их обслуживания, доставки данных из всех точек продаж в ЦОД и связи в каждой точке продаж с серверами операторов. Для этого потребовалось обновить инфраструктуру.

Наряду с развертыванием новых услуг, «АЛЛО» поставила перед собой задачу развития бизнеса, связанного с розничными продажами цифрового оборудования и мобильных телефонов. Данное направление требовало повышения эффективности управления полезными площадями на складах и в торговых точках, увеличения точности прогнозирования товарных запасов и продаж. С этой целью в 2011 г. в компании была внедрена система JD Edwards EnterpriseOne. По словам Елены Тейтельман, директора по информационным технологиям группы компаний «АЛЛО», результаты этого проекта не заставили себя ждать — все бизнес-процессы на складах, в головном офисе и в торговых точках компании регистрируются в системе, что обеспечивает прозрачность, безопасность и управляемость. А современные методики прогнозирования позволили оптимизировать процессы в распределительном центре компании, уменьшить затоваренность до 4%, а по отдельным позициям — до 20%.

Кроме того, в течение прошлого года компания перевела всю розничную сеть на новую версию системы «1С:Предприятие 8», обеспечивающую работу в бэк-офисе. Что также потребовало проведения реинжиниринга всех бизнес-процессов.

Прием платежей в режиме онлайн предъявляет высокие требования к быстродействию. Тем более, что работа в системе осуществляется с использованием различных валют. Задержка в доли секунд в ЦОД означает отсрочку операции, которая должна быть для пользователя мгновенной, либо обсчет недостоверных данных аналитической системой, и, как следствие, неоптимальную загруженность складов разными видами товаров. Именно потребность в быстродействии определили выбор нового оборудования для перечисленных проектов — было решено преобразовать ЦОД, использовав унаследованные стоечные системы для некритичных операций, а для новых сервисов развернуть блейд-системы.

Выбор поставщика оборудования был обусловлен несколькими факторами. Несколько лет назад, после детального изучения предложений на рынке серверного оборудования, группа компаний «АЛЛО» остановила выбор на HP, предложение которой оказалось оптимальным по цене, качеству обслуживания, а также уровню консалтинга и сервиса, предоставляемых в Украине. Ставка на монобрендовый подход была сделана поскольку это упрощает автоматизацию всего комплекса. К тому же, у «АЛЛО» уже был успешный опыт внедрения систем на основе продуктов HP Integrity на процессорах Itanium для ERP-системы.

Немаловажным фактором в пользу дальнейшего сотрудничества с данным вендором послужило и то, что HP занимает более 50% рынка в сегменте блейд-серверов и предоставляет наиболее широкий портфель решений для построения ЦОД разного уровня. Компания HP имеет в Украине свое подразделение, где работает достаточно квалифицированных технических специалистов, которые в сотрудничестве с занятым в проекте интегратором могут оперативно разрешать возникающие проблемы.

«HP для нас удачный выбор и с точки зрения будущего — их системы давно разрабатываются с учетом потребностей виртуализации и построения частных «облачных» инфраструктур», — отметила Елена Тейтельман. — В отношении нашей компании о таких проектах говорить пока рано. Но мы пристально следим за развитием перспективных технологий, и хотели бы иметь оборудование, которое позволит, в случае необходимости, модернизировать инфраструктуру не меняя полностью весь ЦОД».

Интегратором проекта модернизации центра обработки данных группы «АЛЛО» выступила компания Integrity Systems, сотрудничающая с этим заказчиком на протяжении последних двух лет. В 2010 г. ее специалистами была проведена комплексная оценка инфраструктуры клиента и стоящих перед ним бизнес-задач и разработано предложение, с учетом темпов роста предприятия и его планов по выводу на рынок новых продуктов. В проекте были четко описаны все этапы внедрения на период до 2014 г., с возможностью постепенного приобретения оборудования. И теперь, в процессе его реализации, вносятся лишь незначительные корректировки. Например, в связи с выпуском новых моделей серверов. Параллельно проводится ротация имеющегося комплекса оборудования ЦОД.

По словам Евгения Войтовича, руководителя проектного отдела компании Integrity System, принимая во внимание потребность «АЛЛО» в высокой скорости обработки транзакций, было предложено для этих бизнес-критических операций использовать блейд-системы НР С7000 с четырехпроцессорными серверами bl680 и bl685, а также двухпроцессорными серверами bl460. Кроме того, новые задачи потребовали и модернизации системы хранения — теперь она реализована на нескольких уровнях. Для приложений, требовательных к скорости доступа к данным, используются СХД HP EVA, которые отличаются высокой производительностью и отказоустойчивостью. А для архивных данных и менее зависящих от скорости доступа приложений применяются СХД HP MSA 2000 и HP P2000. Нужно отметить, что пока системы EVA далеки от максимальной конфигурации — они будут дополняться в течение нескольких лет. Для объединения сети хранения данных использованы коммутаторы HP Brocade, преимущественно модульные, в блейд шасси C7000. Все оборудование заказчик приобретает с 5-летним обслуживанием. Что позволяет избавиться от рутинной административной работы и дешевле с точки зрения ТСО.

Компания АМИ успешно завершила проект по модернизации серверной инфраструктуры и системы охлаждения серверных помещений ПАО «Артемовский завод по обработке цветных металлов» (ПАО «АЗОЦМ»), одного из крупнейших производителей цветного проката в странах СНГ и дальнего зарубежья. ЗАДАЧА В связи с планируемым переводом ИТ-сервисов ПАО «АЗОЦМ» в виртуальную среду возникла необходимость модернизации серверной инфраструктуры. РЕШЕНИЕ В рамках проекта компания АМИ установила современные серверы-лезвия HP BL460c с многоядерными процессорами и объемом оперативной памяти 64GB с возможность расширения, а также реализовала централизованное хранение информации с помощью системы хранения HP P2000 G3 MSA Array Systems со скоростным интерфейсом SAS 6Gb. Все работы по настройке аппаратной части решения были выполнены сертифицированными сотрудниками компании АМИ, имеющими все необходимые сертификаты для развертывания подобных решений: ASE HP BladeSystem Solutions и AIS HP StorageWorks. Владислав Масло, исполнительный директор компании АМИ, отмечает: «На этапе проектирования ИТ-инфраструктуры предприятия одним из ключевых параметров является возможность дальнейшего легкого масштабирования решения по мере роста задач компании. В 2007 году компания АМИ внедрила в ПАО «АЗОЦМ» гибкое решение на базе архитектуры HP BladeSystem. И спустя 5 лет мы смогли успешно нарастить вычислительные мощности без замены ключевых элементов инфраструктуры. Данный факт еще раз подтверждает правильность выбора блейд-серверов в качестве корпоративного стандарта, и получение в результате таких преимуществ, как максимальная надежность, управляемость, возможность простого наращивания производительности, в течение всего периода эксплуатации системы». Для обеспечения стабильности работы серверного оборудования компанией АМИ была модернизирована система охлаждения серверных комнат, которая в настоящее время обеспечивает надежное охлаждение серверного помещения за счет резервирования кондиционеров 2N и автоматического согласования их совместной работы как в штатном, так и в аварийном режимах. РЕЗУЛЬТАТЫ Благодаря модернизации серверной инфраструктуры ПАО «Артемовский завод по обработке цветных металлов» получил высокую скорость доступа к данным и хорошую возможность для будущего масштабирования. Кроме того, такое решение позволило отказаться от непрактичного подхода - загрузки операционных систем с локальных жестких дисков - в пользу более надежной загрузки с системы хранения.

Миссия «Укртранснафты» – комплексное и безопасное развитие нефтетранспортной системы Украины и других европейских стран. Для эффективной работы предприятия необходимо было повысить гибкость управления ИТ-сервисами и сократить издержки на их администрирование.

Решение IT-Solutions построила для организации новую надежную и отказоустойчивую ИТ-инфраструктуру на блейд-серверах НР с использованием модулей HP Virtual Connect, которые позволяют обеспечить высокую производительность и масштабируемость всей системы, удобное управление и легкое обслуживание. С помощью HP Virtual Connect затраты на компоненты сетевой инфраструктуры дата-центров снижаются до 90%. HP Virtual Connect расширяет возможности DAS до уровня корпоративных систем, вдальнейшем его можно будет применять для крупномасштабного внедрения виртуализации на основе комбинации HP BladeSystem и HP 3PAR.

Результат Новая ИТ-инфраструктура позволит компании сократить расходы на оборудование до 65%, способствует уменьшению совокупной стоимости и обеспечивает безопасность и быстрое устранение неполадок. После нововведений компания обеспечена надежным функционалом для интеграции в "Евразийское энергетическое пространство".

«Киевоблэнерго» нужна была надежная, отказоустойчивая, масштабируемая и легко управляемая IT-инфраструктура ЦОД.

Решение Специалисты IT-Solutions предложили компании решение, построенное на блейд-серверной системе НР –BladesystemC7000 + BL490, СХД среднего класса – HPStorageWorksEVA8400, которая обеспечивает до 628 Терабайт и вмещает до 324 дисков. Также было установлено высокопроизводительное резервное копирование HP DataProtector и VMware vSpherе, с помощью которого была виртуализирована серверная инфраструктура дата-центра.

Результат Проект, внедренный в «Киевоблэнерго» позволил построить ИТ-инфраструктуру, которая соответствует самым жестким требованиям к производительности, доступности, масштабируемости, стоимости и времени жизни. Система позволяет повысить емкость и функциональность, а также адаптировать ресурсы под изменяющиеся бизнес-задачи.

Завод «ЖБК им. С. Ковальской» планировал запустить CRM систему и 1С бухгалтерию для решения и оптимизации комплекса внутренних задач. Под этот проект необходимо было поставить специализированное оборудование, имеющее высокую производительность, плотность наполнения, энергоэффективность и возможность масштабирования.

Решение В качестве решения была выбрана blade-система НР, состоящая из шасси с7000, блейд серверов bl460, Storage-лезвий SB40с и сетевого оборудования НР ProCurve. Все оборудование было поставлено и внедрено в кратчайшие сроки специалистами компании IT-Solutions.

Результат Данное решение позволило поднять уровень оперативности компании, управляемости системы, эффективности и улучшить качество предоставляемых клиентам услуг. Также компания получила базу с полной, постоянно обновляющейся информацией по клиентам, продажам, продуктам и результатами такой работы.

Входящая в десятку крупнейших национальных ритейлеров сеть супермаркетов «ЕКО-маркет» всерьез взялась за наведение порядка в постоянно растущем ИТ-хозяйстве. Формула проста: виртуализация и кластеризация всей информационной инфраструктуры плюс переход на технику А-брендов.

Розничная торговля продовольственными товарами через сеть магазинов «ЕКО-маркет» является ведущим направлением деятельности ООО «ЕКО». По состоянию на конец 2009 г. в структуру компании входило 67 торговых точек (седьмое место в Украине) в 14 областях нашей страны. Кроме того, она работает в таких направлениях, как строительство и производство.

Торговая сеть «ЕКО-маркет» ведет свою деятельность с 2003 г. – с тех пор вместе с появлением новых магазинов постепенно разрасталась и ИТ-инфраструктура. По мере увеличения масштабов бизнеса и возникновения новых задач регулярно приобреталось дополнительное серверное оборудование, как правило, собранное из разнородных комплектующих украинскими компаниями на заказ.

Технологии 10-летней давности лежат и в основе учетной системы, самостоятельно создававшейся «ЕКО» в период становления торговой сети. На ее поддержку требуется немалое количество человеческих ресурсов – в настоящий момент штат ИТ-департамента здесь насчитывает 40 человек!

Задача роста В отличие от многих конкурентов, сокращавших или даже полностью сворачивавших бизнес, сеть «ЕКО-маркет» продолжала развиваться даже в период кризиса. В то же время увеличивающаяся сложность ИТ-инфраструктуры и нерациональное использование вычислительных ресурсов больше не могли оставаться без внимания сотрудников ИТ-департамента. Убедить руководство в необходимости радикальных перемен помогли и расчеты, указывающие на потери при незапланированных простоях торговых площадей.

В рамках принятой стратегии развития ИТ-инфраструктуры в компании решили полностью виртуализировать вычислительные мощности. «Независимая от аппаратного обеспечения среда позволит максимально утилизировать ресурсы наших серверов, – с энтузиазмом говорит директор по информационным технологиям «ЕКО» Александр Никифоров. – Кроме того, наше оборудование станет отказоустойчивым. В случае сбоя система самостоятельно перераспределит нагрузку между серверами и не утратит работоспособности. Впоследствии администраторы смогут в штатном режиме решать вопросы с нефункционирующим оборудованием».

Одновременно в «ЕКО» инициировали масштабный проект по замене существующей учетной системы. Она больше не в состоянии справляться с возрастающими требованиями бизнеса, в частности, ее архитектура не предполагает использования модели централизованных вычислений, мешая тем самым оперативно собирать качественную аналитику по всей сети. Новое решение, на которое в компании возлагают большие надежды, тоже частично будет «жить» в виртуальной среде. Эффективному переходу на него должно поспособствовать и то, что Александр Никифоров по прошлому опыту работы в торговой сети «КОСМО» не понаслышке знаком с примером успешного внедрения более развитой системы, на сопровождение и модернизацию которой тратится в несколько раз меньше ресурсов, чем сейчас в «ЕКО».

Поступательное движение вперед Первые консультации по проекту оптимизации ИТ-инфраструктуры «ЕКО» пришлись на начало текущего года. Между поставщиками проводился тендер, при этом заказчик получал возможность протестировать технику. В итоге со своей задачей лучше всего справилась Integrity Systems с продукцией НР. Компания не единственная настаивала на использовании аппаратного обеспечения НР, но ее предложение оказалось предпочтительнее других в части производительности.

«ЕКО» продолжит эксплуатировать существующий серверный парк, но расширит его устройствами, необходимыми для организации работы SAN (Storage Area Network). В настоящий момент это корзина с двумя лезвийными серверами НР ProLiant BL460 G6. В перспективе такое решение позволит без труда наращивать вычислительную инфраструктуру заказчика.

Обязательным атрибутом систем с технологиями кластеризации и виртуализации является внешнее хранилище данных. На СХД среднего уровня HP StorageWorks EVA 4400 будут располагаться данные, поступающие от бизнес-критических транзакционных систем компании. Они представлены консолидирующим ПО SQL Server и построенной на нем OLAP-базой с многомерным бизнес-аналитическим инструментарием Microsoft.

Проект реализуется в тесном сотрудничестве системных администраторов «ЕКО» и ИТ-специалистов Integrity Systems, но его архитектурную составляющую полностью формировали представители заказчика. На первом этапе с помощью Microsoft Hyper-V R2 предстоит виртуализировать и отделить ОС от аппаратного обеспечения, на втором – выделить их в кластеры. Наиболее мощные серверы не удастся виртуализировать из-за ограничений самой технологии (по количеству процессорных ядер и объему памяти на виртуальную машину).

От центра к периферии Известная особенность бизнеса любой крупной торговой сети состоит в необходимости непрерывной работы всех без исключения входящих в ее состав магазинов. В «ЕКО» пока не особо склонны доверять доступным в нашей стране каналам связи и централизованной модели хранения данных предпочитают территориально распределенную. Поэтому, помимо модернизации главной серверной в Киеве, перед ИТ-департаментом «ЕКО» возникла задача усовершенствования информационной инфраструктуры на местах.

В наиболее крупных бюджетообразующих магазинах (их в сети «ЕКО-маркет» почти половина) предстоит внедрить системы с возможностью бесперебойной работы. В случае возникновения нештатной ситуации за несколько минут в автоматическом режиме произойдет переключение на резервный сервер, и сотрудники ничего не заметят, разве только некоторое замедление работы ПО. В Integrity Systems предложили строить кластеры из двух стоечных серверов HP ProLiant DL160 с системой виртуализации, а информацию размещать на СХД начального уровня HP StorageWorks 2000 Modular Smart Array c SAS-интерфейсом (уже доступно третье поколение – Р2000).

Не забудут в компании и менее крупные торговые точки – они тоже получат похожие решения, но без внешнего хранилища данных и поддержки кластеров. Другими словами, региональным администраторам придется самостоятельно переносить виртуальные машины на резервный сервер и вручную их запускать.

Первое отказоустойчивое решение для магазинов уже протестировано. Пока оно находится в киевском офисе «ЕКО», но в ближайшее время будет внедряться. Если не возникнет непредвиденных сложностей, его начнут тиражировать повсеместно.

Самое сложное позади С момента размещения заказа на оборудование скоро пройдет полгода, но о завершении проектов «ЕКО» говорить рано, многое еще предстоит сделать. «Они никогда не закончатся, – поспешил нас заверить Александр Шаповалов, заместитель директора по проектной работе Integrity Systems, – ведь на практике часто один проект порождает следующий». Александр Никифоров его тут же поправил: «Чтобы качественно внедрить проект, необходимо четко определить концепцию, проработать спецификации и уточнить все технологические моменты. Проект заканчивается при стабилизации разработанного решения и его успешной эксплуатации. Тиражирование готовых решений – это суровые будни».

По мнению г-на Никифорова, проект в самом деле можно считать почти завершенным. Чтобы поставить в нем точку, остается еще закупить чуть более медленное по сравнению с НР EVA хранилище данных для образов виртуальных машин. Составляющие решения еще находятся на стадии проработки, но предпочтение скорее всего отдадут HP LeftHand с интерфейсом iSCSI. А дальнейшее расширение серверного парка действительно уже можно считать суровыми буднями, а не частью проекта.

В компании не называют расчетных цифр, в которые выливается экономия от внедренных решений. Но они и не имеют принципиального значения, в конце концов зачастую к ним приходят через множество косвенных факторов. Выгоды и так очевидны: простои магазинов, связанные с поломками оборудования, удастся свести на нет, время подготовки чрезвычайно важной для руководства бизнес-аналитики сократится, а после завершения внедрения новой учетной системы еще и значительно снизится нагрузка на сотрудников сопровождения.

Задача С развитием компании потребовалась комплексная модернизация ИТ-инфраструктуры в центральном офисе, а также в филиалах ПАТ «Укрнафта». Причина – необходимость увеличения мощности и наличие возможности дальнейшей оптимизации инфраструктуры. Наряду с этим компании было необходимо оборудование, которое обеспечивает высокий уровень надежности функционирования ИТ-инфраструктуры. Решение Специалисты IT-Solutions оборудовали центральный аппарат компании и его подструктуры. На объекте установлена компьютерная и печатная техника, источники бесперебойного питания производства АРС, инсталлировано компьютерное оборудование специальной сборки. Обновление головного офиса проводилось с использованием оборудования HP: высокопроизводительных систем хранения данных HP Eva 6300, лезвийных серверов семейства С7000 и «лезвий» BL460. В свою очередь филиалы были обеспечены серверным оборудованием Результат «Укрнафта» получила возможность внедрения интегрированной системы обмена сообщениями Microsoft Exchange Server 2010. В дальнейшем это позволит заказчику решить задачу повышения производительности, стабильности и масштабируемости почтовой системы при снижении нагрузки на ИТ. Также в компании заложен фундамент для внедрения системы контроля складских остатков, Microsoft SharePoint и финансового управления. Решение, предложенное и реализованное IT-Solutions, позволило усовершенствовать уровни эффективности операционной деятельности и защиты данных, а также упростить рабочие процессы в «Укрнафте». О компании «Укрнафта» – крупнейшая нефтегазодобывающая компания Украины и один из лидеров розничного рынка нефтепродуктов в Украине.

По мнению представителей системных интеграторов, в последние годы ГК «Спортмастер» в Украине сделала значительный рывок в применении информационных технологий, в результате которого по уровню ИТ-зрелости вышла в лидеры рынка розничной торговли. Мы решили познакомиться поближе с одним из ключевых проектов организации – построением надежной высокопроизводительной вычислительной ИТ-инфраструктуры.

Мастер спорта и активного отдыха Группа компаний «Спортмастер» (со штаб-квартирой в Москве) основана в 1992 г., работает на оптовом и розничном рынке товаров для спорта и активного отдыха, занимая третье место в Европе и 12-е место в мире среди спортивных розничных сетей. Помимо одноименной торговой розничной сети «СПОРТМАСТЕР» и ее дистрибьюторского подразделения, группа также управляет торговой сетью O'STIN (одежда и аксессуары в стиле casual). На данный момент торговые сети группы насчитывают более 900 магазинов в странах СНГ, из которых порядка 70 расположены в крупнейших городах Украины. Ритейлер постоянно открывает новые магазины. Так, в нынешнем финансовом году (начавшемся 1 сентября 2012 г.) в Украине уже было открыто более 10 объектов сети. И в планах у руководства ГК не сбавлять темпов роста, активно развиваясь в областных центрах и крупных городах.

Нормативы В конце 2010 г. на уровне группы компаний было принято стратегическое решение о централизации управления торговыми сетями в рамках СНГ, которую планируется завершить в 2013 г. С учетом особенностей архитектуры информационной системы возникла необходимость в консолидации вычислительных мощностей. В результате внедрения в Украинском филиале ГК в рамках процесса централизации нескольких больших корпоративных систем, отличающихся ресурсоемкостью, также потребовалось наращивание вычислительных мощностей. После проведения внутреннего аудита, выяснилось, что большинство из трех десятков используемых в киевском офисе серверов закупались еще в 2005-2006 гг., морально устарели и нуждаются в замене. Наконец, часто возникают ситуации, когда нужно быстро развернуть приложение с оперативным выделением вычислительных ресурсов. «Эти факторы и послужили основной предпосылкой для проекта по модернизации ИТ-инфраструктуры с использованием лезвийных систем и технологий серверной виртуализации», – рассказал ИТ-директор украинского филиала ГК «Спортмастер» Юрий Уманский.

Кроме того, принималось во внимание и то соображение, что централизованные ИТ-системы легче и дешевле развертывать, администрировать, аудитировать, а собственнику – при грамотном применении виртуализации ресурсов – проще понимать общую картину без углубления в технические детали.

Первый подход к снаряду Первым этапом проекта стало построение ИТ-инфраструктуры основного центра обработки данных. Он стартовал в начале 2011 г. Подготовительная стадия заняла в общей сложности около трех месяцев. Как это нередко бывает, больше всего времени потребовалось на формулирование основных требований и выработку технического задания. С выбором поставщика при его создании вопросов не возникло – в группе компаний уже много лет используется вычислительное оборудование Hewlett-Packard, по-существу, это корпоративный стандарт.

После проведения подготовительной работы и в результате тендера был выбран интегратор, компания Integrity Systems, с которым далее совместно велись работы. С ним был подписан комплексный договор, который помимо оборудования включал также программную платформу виртуализации VMware vSphere 5 и комплексный пакет поддержки инфраструктуры для критически важных бизнес-приложений HP Critical Advantage сроком на три года. Часть оборудования была поставлена сразу же после этого, в июле, оставшееся поступило в конце августа. Монтаж и наладка заняли в общей сложности две недели. Начался перенос наименее критичных сервисов головного офиса в Киеве в виртуальную среду.

Аппаратная часть включала в себя шасси HP BladeSystem c7000, куда установлены два 4-процессорных «лезвия» HP ProLiant BL680c на базе 10-ядерных чипов семейства Intel Xeon E7, объем оперативной памяти в каждом – 256 Гб. В качестве основной системы хранения данных выбрана HP P6300 EVA в 4-полочной конфигурации. В каждую было смонтировано по 8 SAS-дисков малого форм-фактора (2.5") объемом 600 Гб. Таким образом, изначально общая емкость СХД составила около 15 Тб с хорошим запасом для масштабирования. Для резервного копирования применяется решение семейства HP MSA P2000. Две эти системы объединены в SAN-сеть. За бесперебойное питание оборудования отвечает ИБП НР R5500.

К слову сказать, вопрос энергоснабжения площадки в «Спортмастере» был решен на должном уровне (что и неудивительно, учитывая ответственность возложенных на него задач, которая с запуском новой централизованной торговой системы только возрастет). Его обеспечивает два независимых ввода, подключенных по схеме АВР. Микроклимат в серверной обеспечивают два промышленных канальных кондиционера Mitsubishi. Реализована автоматическая газовая система пожаротушения.

Второй подход к снаряду В начале прошлого года начался второй этап проекта – построение резервной площадки. По мнению Юрия Уманского, с одной стороны, задача упрощалась, так как вычислительные системы практически зеркалировались, с другой – усложнялись, поскольку требовалась тщательная проработка вопросов, связанных с каналами передачи данных.

Подготовительные работы велись с января по апрель 2012 г. В мае был проведен тендер, в рамках которого вновь победителем вышла Integrity Systems, и размещен заказ на оборудование. Поставка оборудования и его конфигурирование пришлись на лето-осень.

Резервная площадка размещена на расстоянии порядка 30 км от основной. Между ними проведены две независимых оптических линии. По словам Александра Шаповалова, заместителя директора по проектной работе компании Integrity Systems, для обеспечения отказоустойчивости применяются основной и резервный оптические каналы (проходят по разным мостам через р. Днепр). Было модернизировано ядро сети. В киевском офисе был установлен корпоративный коммутатор ядра сети HP A10500, а в резервном ЦОД – лезвийный коммутатор HP 6200-10GE.

В общей сложности в проекте были задействованы три инженера Integrity Systems и эккаунт-менеджер, а также четыре представителя заказчика.

Награждение Как отмечает представитель «Спортмастера», основные цели были достигнуты. Проект позволил организации не только подготовить необходимую для внедрения новой учетной системы надежную, отказоустойчивую инфраструктуру, но и заложить хороший фундамент для дальнейшего динамичного расширения розничной сети. «Консолидация вычислительных мощностей позволила повысить их утилизацию, а широкое применение технологий виртуализации – улучшить управляемость», – добавил Александр Шаповалов.

Все имеющиеся на сегодня серверы (в общей сложности их около 100) и сетевое оборудование (порядка 70 устройств Cisco) обсуживают три системных администратора. Поддержку оказывает интегратор и компания HP – в рамках решения HP Critical Advantage, предусматривающего наличие выделенной группы поддержки, хорошо знающей среду заказчика и требования бизнеса, гарантированное восстановление функционирования оборудования в течение 6 часов, а также проведение проактивных работ.

Что интересно, уже даже был случай вызова сервисной поддержки. «В середине февраля был сбой. Без задержек (вечером) приехали специалисты и обновили прошивки контроллеров. Отработали отлично, – поделился информацией Юрий Уманский. – Так что мы абсолютно не жалеем о затратах. А системные администраторы спят спокойно».

Наученные опытом Конечно, гладко все проходит только на бумаге, а в реальных внедрениях избежать непредвиденных ситуаций непросто. Это касается и рассматриваемого проекта.

Например, в рамках реализации проекта возникли сложности с межвендорной несовместимостью. У специалистов не получалось настроить ЕtherChannel на коммутаторе ядра, сказывались проблемы взаимодействия стека коммутаторов Cisco и HP. Соответствующий «кейс» был открыт в HP. На текущий момент проблема решена.

Между тем, интересным представляется вопрос лицензирования ПО, усложнившийся в связи с применением технологий виртуализации. Как рассказал Юрий Уманский, проблема состоит в том, что разработчики ПО не учитывают, какие реальные мощности задействуются для исполнения их решений. И очень часто заказчиков вынуждают приобретать лицензии на весь физический сервер. «Поэтому при покупке мощного вычислительного оборудования нужно принимать во внимание лицензионные условия программных продуктов, они могут нести дополнительную финансовую нагрузку», – советует ИТ-директор украинского филиала ГК «Спортмастер».

Новые соревнования В начале нынешнего года был инициирован процесс перевода продуктивных систем на новую вычислительную систему. На текущий момент все сервисы «Спортмастера» исполняются в виртуальной среде (примерно по 50 на каждый физический сервер).

1 марта стартовало внедрение новой учетной системы в магазинах сети. В рамках этого проекта серверы из магазинов O’STIN будут убраны. Все ПК магазина по имеющимся каналам связи будут напрямую взаимодействовать с общим центром обработки данных. Предполагается пакетный режим обмена информацией кассовых узлов с вычислительной площадкой в ЦОД с указанной периодичностью. Это обеспечит катастрофоустойчивость работы торговых точек. Сеть «СПОРТМАСТЕР» пока будет работать в прежнем режиме, но также рассматривает данную архитектуру.

Учитывая рост вычислительной мощности ИТ-системы, Юрий Уманский планирует отказ от дорогостоящего подхода полного зеркалирования площадок в пользу резервирования критичных для бизнеса сервисов (торговая система, финансовые модули, отгрузка товара и пр.). Уже закончена процедура ранжирования сервисов. «Как таковых клиентских онлайн-сервисов на наших площадках в Украине нет, поэтому, если произойдет аварийная остановка, у нас есть 10-15 минут чтобы понять, что происходит и перенести при необходимости сервис на резервную площадку».

Показателем качества жизни современного человека является не только уровень дохода и соответствующая покупательная способность, но и то как быстро он может приобрести необходимые ему товары и сервисы. Ключевую роль в ускорении этого процесса играют компьютерные технологии.

В качестве примера можно привести платежные терминалы, которые вошли в нашу жизнь не так давно, но уже стали привычной частью антуража украинских городов. Оплачивать с их помощью различные услуги легко и сравнительно быстро. Причем потребитель имеет возможность делать это в любое удобное ему время, просто по дороге. Кроме того, терминалы самообслуживания избавляют от необходимости стоять в очереди в кассу, со всеми «прелестями» этого процесса. О некоторых составляющих такого сервиса мы поговорим на примере одного из лидеров отечественного рынка моментальных платежей.

Компания iBox была создана в 2006 г. и с тех пор развивает одноименную сеть терминалов по приему платежей населения в пользу операторов услуг. Среди ее партнеров: крупнейшие операторы связи, кабельного телевидения и коммунальных услуг, интернет-провайдеры, страховые компании, банки и т.д. На сегодня ее сеть включает без малого 6 тыс. терминалов во всех регионах страны, в большинстве населенных пунктов с количеством жителей свыше 20 тыс. человек. Последние несколько лет их количество практически не менялось – идет процесс оптимизации с точки зрения местоположения и доходности. По официальным данным, годовой оборот предприятия составляет около 1 млрд. долл. Ежемесячно через процессинговый центр компании проходит свыше 20 млн. операций, а число ее активных клиентов превышает 1,5 млн.

По экспертным оценкам, это делает iBox крупнейшим в Украине участником рынка моментальных платежей. Причем, в отличие от ряда конкурентов, компания самостоятельно контролирует почти все бизнес-процессы – она сама управляет сетью терминалов самообслуживания, сама устанавливает их, обслуживает и ремонтирует. Для этого в каждом регионе есть филиал со штатом менеджеров по бизнесу, техническим персоналом и т.п. Общее количество сотрудников компании достигает 285 человек.

Но есть пока и одно весомое исключение. В силу исторически сложившихся обстоятельств, процессинг компании осуществляется за рубежом. Желание обеспечить стабильность и безопасность бизнеса через полный контроль такого важного его элемента как процессинг, стремление повысить скорость и качество обслуживания клиентов, а также иметь возможность оперативно внедрять новые сервисы и стали основными предпосылками проекта создания собственного процессингового центра и соответствующей технической площадки.

Во второй половине 2011 г. была собрана команда специалистов, имеющих необходимый опыт и квалификацию и началась работа над проектом. До его старта компания использовала бэк-офисную систему собственной разработки, которая была частично, посредством файлового обмена, интегрирована с «1С». Это решение обеспечивало взаиморасчеты с партнерами, на основе данных процессинга, ведение статистической и аналитической отчетности и т.п. Для его работы хватало одного не самого производительного сервера, поскольку при такой схеме работы основная нагрузка лежит на внешнем процессинговом центре.

Проект создания собственного процессинга начался в октябре 2011 г. со сбора функциональных требований, разработки прототипа и его тестирования. Затем, на основе полученных результатов были подготовлены требования к аппаратному обеспечению и начался процесс выбора платформы. К участию в конкурсе, были приглашены пять компаний, которые представляли ведущих мировых производителей в области построения инфраструктуры для работы в режиме 24х7, включая Cisco, HP и IBM.

Два из пяти интеграторов отсеялись на начальном этапе, поскольку в проекте изначально были заданы довольно жесткие временные рамки – четыре месяца на все про все. И это с учетом новогодних праздников. В итоге наиболее сбалансированное по сумме факторов решение предложила компания Integrity Sysytems, с которой в начале февраля был подписан контракт.

Одним из основных преимуществ ее предложения стал опыт в реализации подобных проектов, а также, что особенно важно, наличие в штате специалистов по вошедшему в спецификацию оборудованию. Это позволило оперативно решать все возникавшие по ходу разработки проекта вопросы, в отличие от варианта с привлечением внешних консультантов. В итоге обсуждение конфигурации и возможных вариантов ее развития заняло минимальное время.

Кроме того, ввиду упомянутого ограничения по срокам, одним из существенных плюсов стала возможность в ожидании поставки предоставить клиенту часть необходимого оборудования в аренду. Благодаря чему iBox уже в марте начала обкатку программного решения, которое создавалось и дорабатывалось собственными силами. Позже, в апреле была развернута аппаратная инфраструктура и стартовал пилотный проект. Затем часть терминалов была переведена на собственный процессинг.

Исходя из технического задания и после дополнительных консультаций с заказчиком специалисты Integrity Sysytems предложили катастрофоустойчивое решение на базе двух ЦОДов. На каждой площадке предполагается задействовать кластер из семи лезвийных серверов HP BL680 и BL460, две системы хранения данных HP P6300 EVA с 40 жесткими дисками в каждой, конвергентные модули HP Virtual Connect FlexFabric и Cisco Load Balancer. На сегодня полностью поставлено и настроено оборудование для первого ЦОДа.

На базе блейд-серверов масштабирована отказоустойчивая ферма серверов, которая управляется балансировщиком. В общей сложности имеется четыре равнозначные фермы. При этом благодаря проведенной оптимизации отдельных процессов для поддержки имеющегося парка терминалов достаточно трех. Четвертая может быть использована для повышения отказоустойчивости, а также для развития дополнительных сервисов. Таких, например, как различные виды безналичных платежей.

Одна из сложностей проекта заключалась в том, что настройка оборудования и расширение числа подключенных к своему процессингу терминалов должны были идти без ущерба действующему бизнесу. Из-за этого часть работ приходилось проводить в часы с минимальной интенсивностью транзакций. Отметим, что в пиковое вечернее время интенсивность потока достигает 80 транзакций в секунду, а большая часть терминалов доступна в круглосуточном режиме и определенная нагрузка имеется даже в ночное время.

В результате слаженной работы над проектом специалистов заказчика и интегратора была создана необходимая для перехода на собственный процессинг отказоустойчивая инфраструктура и на ее базе развернуто программное ядро. В настоящее время происходит поэтапный перевод платежных терминалов на новый процессинг. Интересно, что по грубым оценкам окупаемость этого проекта составит около года. После ввода в строй второй площадки компания iBox получит катастрофоустойчивую инфраструктуру и возможность развивать новые сервисы.