AWS для Coinbase

ПРОБЛЕМЫ С момента своего основания в 2012 году, Coinbase быстро стала лидером по операциям с биткойнами. Готовясь реагировать на постоянно растущий спрос клиентов на операции с биткойнами, компания знала, что ей необходимо инвестировать в правильные базовые технологии. «Сейчас мы находимся на этапе легализации этой валюты и ее доведения до широких масс», - говорит Роб Витофф, директор Coinbase. «В рамках этого нашими основными принципами являются безопасность, масштабируемость и доступность». По словам Витоффа, безопасность является наиболее важным из этих принципов. «Мы контролируем сотни миллионов долларов биткойнов для наших клиентов, что делает нас одним из крупнейших резервов в нашей отрасли», - говорит Витофф. «Подобно тому, как традиционный банк надежно охраняет активы своих клиентов в физическом банковском хранилище, мы принимаем те же или более строгие меры предосторожности с нашими серверами». Масштабируемость также имеет решающее значение, поскольку Coinbase должны иметь возможность гибко масштабировать свои услуги в глобальном масштабе, не тратя драгоценные инженерные ресурсы. «Как стартап, мы тщательно следим за тем, куда мы тратим свое время», - говорит Витофф. «Мы хотим сосредоточиться на том, как наши клиенты взаимодействуют с нашим продуктом и предлагаемыми нами услугами. Мы не хотим изобретать решения для уже решенной фундаментальной инфраструктуры ». Coinbase также стремится дать своим разработчикам больше времени, чтобы сосредоточиться на инновациях. «У нас есть креативные инженеры, которые стремятся к конверту, и мы запускаем наш стартап, предлагая новые инновационные услуги, сочетающие восхитительный опыт с бескомпромиссной безопасностью», - говорит Витофф. «Вот почему мы должны провести обмен на то, что, как мы знаем, сработает». Кроме того, Coinbase искала лучшее решение для анализа данных. «Мы генерируем огромные объемы данных сверху донизу нашей инфраструктуры, которые традиционно хранятся в удаленном и устаревшем хранилище. Но мы все больше внимания уделяем внедрению новых технологий без потери надежного и надежного ядра », - говорит Витофф. «В то же время мы хотели получить лучшее представление о том, как работают наши сервисы в режиме реального времени». Для поддержки своих целей Coinbase решила развернуть свою новую биржу биткойнов в облаке. «Когда я присоединился к Coinbase в 2014 году, компания была загружена довольно многими сторонними хостинг-провайдерами», - говорит Витофф. «Но поскольку мы управляем фактической стоимостью и реальными активами на наших машинах, нам необходимо было полностью контролировать нашу среду».

ПОЧЕМУ Amazon Web Services Coinbase провели оценку различных поставщиков облачных технологий в конце 2014 года, но были наиболее уверены в Amazon Web Services (AWS). В своей предыдущей должности в Лаборатории реактивного движения НАСА Витофф приобрел опыт работы с безопасными и чувствительными рабочими нагрузками на AWS. Исходя из этого, Витофф говорит, что «пришел к доверию правильно спроектированному облаку AWS». Компания начала проектировать новую Coinbase Exchange с использованием AWS Identity and Access Management (IAM), которая надежно контролирует доступ к сервисам AWS. «Облачные вычисления предоставляют API для всего, включая случайное уничтожение компании», - говорит Витофф. «Мы считаем, что безопасность, идентификация и управление доступом, выполненные правильно, могут дать нашим инженерам возможность сосредоточиться на продуктах в ясных и надежных стенах, и именно поэтому мы внедрили проверяемую основу безопасности самообслуживания с AWS IAM». Обмен осуществляется в производственной среде Coinbase в AWS, на основе специально созданного механизма транзакционных данных вместе с экземплярами Amazon Relational Database Service (Amazon RDS) и базами данных PostgreSQL. Экземпляры Amazon Elastic Compute Cloud (Amazon EC2) также обеспечивают обмен данными. Организация обеспечивает надежную доставку своего кошелька и обмен с глобальными клиентами, нативно распределяя свои приложения по нескольким зонам доступности AWS. Coinbase создала в AWS конвейер для анализа потоковых данных с аналитикой обмена в реальном времени, обрабатываемой сервисом обработки больших данных Amazon Kinesis. «Вся наша аналитика операций передается в Kinesis в режиме реального времени, а затем отправляется нашему аналитическому механизму, чтобы инженеры могли искать, запрашивать и находить тренды по данным», - говорит Витофф. «Мы также переносим эти данные из Kinesis в отдельную среду аварийного восстановления». Coinbase также интегрирует конвейер аналитики с файлами журналов AWS CloudTrail, которые отправляются в корзины Amazon Simple Storage Service (Amazon S3), а затем в службу AWS Lambda compute, и на контейнеры Kinesis на основе изображений Docker. Это дает Coinbase полные, прозрачные и проиндексированные журналы аудита во всей ИТ-среде. Каждый день по этому пути проходит 1 ТБ данных - около 1 миллиарда событий. «Всякий раз, когда наши группы безопасности или элементы управления доступом к сети изменяются, мы видим предупреждения в режиме реального времени, поэтому мы получаем полное представление обо всем, что происходит во время обмена», - говорит Витофф. Для получения дополнительной информации о больших данных Coinbase использует Amazon Elastic MapReduce (Amazon EMR), веб-сервис, который использует среду с открытым исходным кодом Hadoop для обработки данных, и Amazon Redshift, управляемое хранилище данных в масштабе петабайт. «Мы используем Amazon EMR для преобразования наших растущих баз данных в структурированные, действенные данные Redshift, которые говорят нам о том, как работает наша компания и куда направлять наш корабль дальше», - говорит Витофф. Все сети компании разрабатываются, создаются и обслуживаются с помощью шаблонов AWS CloudFormation. «Это дает нам роскошь контроля версий в нашей сети, а также обеспечивает плавное и точное дублирование сети для среды разработки и подготовки по требованию», - говорит Витофф. Coinbase также использует конечные точки Amazon Virtual Private Cloud (Amazon VPC) для оптимизации пропускной способности Amazon S3 и Amazon WorkSpaces для предоставления облачных рабочих столов для глобальных работников. «Поскольку мы расширяем наши услуги по всему миру, мы также расширяем нашу команду. Мы полагаемся на Amazon WorkSpaces для доступа наших подрядчиков по требованию к соответствующим частям нашей сети », - говорит Витофф. Coinbase запустила американскую Coinbase Exchange на AWS в феврале 2015 года и недавно расширилась для обслуживания европейских пользователей.

ПРЕИМУЩЕСТВА Coinbase может безопасно хранить средства своих клиентов с помощью AWS. «Я считаю облако Amazon своим собственным частным облаком, и когда мы внедряем что-то там, я верю, что мои сотрудники и администраторы - единственные люди, которые имеют доступ к этим ресурсам», - говорит Витофф. «Кроме того, безопасное хранение биткойнов остается для нас основным направлением, которое помогло нам завоевать доверие потребителей во всем мире. Вместо того, чтобы тратить наши ресурсы на репликацию и защиту нового центра обработки данных с решенными задачами, AWS позволяет нам сосредоточиться на одной из наших основных задач: безопасном хранении закрытых ключей ». Coinbase также использует AWS для быстрого расширения своей клиентской базы. «За три года наша база биткойн-кошельков выросла с нуля до более чем 3 миллионов. Мы смогли добиться этого роста, предоставив быстрый глобальный сервис кошельков, который был бы невозможен без AWS », - говорит Витофф. Кроме того, у компании есть лучшая видимость в бизнесе с ее конвейером проникновения в суть. «Используя Kinesis для нашего конвейера, мы можем предоставить аналитическую информацию для нашей команды инженеров, не заставляя их прыгать через сложные обручи для прохождения нашей информации», - говорит Витофф. «Они могут использовать конвейер, чтобы легко просматривать все метаданные о том, как работает Coinbase Exchange». А поскольку Kinesis предоставляет метод доставки аналитики «один ко многим», Coinbase может собирать метрики в своей первичной базе данных, а также с помощью нового, экспериментального хранилища данных. «В результате мы можем идти в ногу с новейшими, лучшими, наиболее интересными инструментами в области науки о данных и анализа данных без необходимости чрезмерного риска для непроверенных технологий», - говорит Витофф. Как стартап-компания, которая с самого первого дня построила свою биржу биткойнов в облаке, Coinbase обладает большей гибкостью, чем если бы она создала биржу внутри компании. «Начав с облака в нашем ядре, мы смогли быстро двигаться туда, куда другие боятся», - говорит Витофф. «Развитие топологии нашей сети, масштабирование по всему миру и развертывание новых сервисов - это всего лишь несколько действий. Это дает нам возможность уделять больше времени размышлениям о том, что мы хотим сделать, а не о том, что мы можем сделать ». Эта гибкость помогает Coinbase удовлетворять требования быстрого роста бизнеса. «Наш обмен находится в режиме гипер-роста, и мы находимся в процессе его масштабирования по всему миру», - говорит Витофф. «Для каждой новой страны, в которую мы внедряем, мы можем географически масштабировать и одним нажатием кнопки запускать больше машин для поддержки большего количества пользователей». Используя AWS, Coinbase может еще больше сконцентрироваться на инновациях. «Мы доверяем AWS управлять самыми низкими уровнями нашего стека, что помогает мне спать по ночам», - говорит Витофф. «И по мере того, как мы поднимаемся выше в этом стеке - например, с помощью нашего аналитического конвейера - мы можем достичь новых высот как бизнес, поэтому мы можем сосредоточиться на инновациях для будущего финансов».