AWS для NASA

Национальное управление по аэронавтике и исследованию космического пространства (НАСА), созданное в 1958 году, работает в течение почти 60 лет по всему миру и за его пределами, пытаясь ответить на некоторые основные вопросы: что происходит в космосе? Как нам туда добраться? Что мы найдем? Чему мы можем научиться там или узнать, просто пытаясь туда добраться, что улучшит жизнь здесь, на Земле? Исследование космоса: не требуется ученая степень по ракетостроению Вы когда-нибудь смотрели ночью и задавались вопросом о тайнах космоса? Или удивлялись обширности нашей галактики? Вы можете легко изучить все это и многое другое в Библиотеке изображений и видео НАСА, которая обеспечивает легкий доступ к более чем 140 000 неподвижных изображений, аудиозаписей и видео, документируя более чем полувековые достижения НАСА в изучении неизвестного. Для НАСА предоставление публике такого легкого доступа к чудесам космоса стало самостоятельным путешествием. НАСА начало предоставлять онлайн-доступ к фотографиям, видео и аудио в начале 2000-х годов, когда захват медиафайлов начал переходить с аналогового и кинофильма на цифровой. Вскоре каждый из 10 полевых центров НАСА делал свои снимки доступными онлайн, включая оцифрованные версии некоторых более старых активов. В этом и заключалась проблема: «Поскольку средства массовой информации находятся в различных уголках земли, вам необходимы институциональные знания НАСА, чтобы знать, где искать», - говорит Родни Граббс, руководитель программы экспертов по изображениям в НАСА. «Если вы хотели получить видео о запуске космического челнока, вам нужно было зайти на сайт космического центра Кеннеди. Если вы хотели получать фотографии с космического телескопа Хаббла, вы заходили на сайт Центра космических полетов Годдарда. С 10 различными центрами и десятками распределенных коллекций изображений потребовалось много копаться, чтобы найти то, что вы хотели ». Первоначальные усилия по созданию универсального магазина заключались в том, чтобы по сути «убирать» контент с разных сайтов, объединять его в одном месте и размещать поисковую систему на вершине. «По большей части эти первоначальные усилия оказались безуспешными, потому что каждый центр классифицировал свои изображения по-разному», - говорит Граббс. «В результате у нас часто было от пяти до шести копий одного и того же изображения, каждое из которых описывалось по-разному, что усложняло поиск и ухудшало качество обслуживания пользователей». В 2011 году НАСА решило, что лучший подход к решению этой проблемы - начать все сначала. К концу 2014 года все необходимые детали для второй попытки были на месте:

• Программа экспертов по изображениям разработала и опубликовала общий стандарт метаданных, который был принят всеми центрами НАСА.

• Контракт на обслуживание Web Enterprise Service Technologies (WESTPrime), один из пяти контрактов на обслуживание для всего агентства в рамках программы NASA Enterprise Services, предоставил средство доставки для создания и управления новым сайтом.

• Федеральная программа управления рисками и авторизацией (FedRAMP), которая обеспечивает стандартизированный подход к оценке безопасности, авторизации и постоянному мониторингу облачных продуктов и услуг.

«Мы хотели создать наше новое решение в облаке по двум причинам», - говорит Груббс. «К 2014 году, как и во многих государственных учреждениях, НАСА пыталось уйти от покупки оборудования и создания центров обработки данных, которые дорого строить и управлять ими. Облако также предоставило возможность легко масштабировать при необходимости, оплачивая только ту емкость, которую мы используем, вместо того, чтобы делать крупные первоначальные инвестиции ». Десятилетия достижений НАСА - все в одном месте Разработка новойNASA Image and Video Libraryосуществлялась Управлением веб-служб Отдела корпоративного обслуживания и интеграции НАСА. Выбором технологии, разработкой и внедрением решения управлял InfoZen, поставщик услуг по контракту WESTPrime. Будучи партнером по расширенным консультациям партнерской сети AWS (APN), InfoZen решила создать решение на веб-сервисах Amazon (AWS). «Amazon был крупнейшим поставщиком облачных услуг, имел сильное правительственное облачное присутствие и предлагал наиболее подходящее облако с точки зрения эластичности», - вспоминает Сандип Шилават, менеджер облачных программ в InfoZen. НАСА официально запустило свою библиотеку изображений и видео в марте 2017 года. Ключевые функции включают в себя:

• Пользовательский интерфейс, который автоматически масштабируется для ПК, планшетов и мобильных телефонов практически во всех браузерах и операционных системах.

• Интерфейс поиска, который позволяет людям легко находить то, что они ищут, включая возможность выбора из представления галереи или списка, а также для сужения результатов поиска по типу медиа и / или по годам.

• Возможность легко загружать любые медиа, найденные на сайте, или делиться ими на Pinterest, Facebook, Twitter или Google+.

• Доступ к метаданным, связанным с каждым активом, таким как размер файла, формат файла, центр, в котором был создан актив, и когда он был создан. Если доступно, пользователи могут также просматривать данные EXIF ​​/ камеры для неподвижных изображений, таких как экспозиция, выдержка и используемый объектив.

• Интерфейс прикладного программирования (API) для автоматической загрузки нового контента, включая интеграцию с существующим механизмом аутентификации НАСА.

Архитектура NASA Image and Video Library - это облачное решение с интерфейсным веб-приложением, отделенным от внутреннего API. Оно работает как неизменяемая инфраструктура в полностью автоматизированной среде, и вся инфраструктура определена в коде для поддержки непрерывной интеграции и непрерывного развертывания (CI / CD). При создании решения InfoZen использовала следующие веб-сервисы Amazon:

• Amazon Elastic Compute Cloud (Amazon EC2), который обеспечивает безопасную вычислительную емкость с изменяемым размером в облаке. Это позволяет НАСА масштабироваться под нагрузкой и уменьшаться в периоды бездействия, чтобы сэкономить деньги и платить только за то, что оно использует.

• Упругая балансировка нагрузки (ELB), которая используется для распределения входящего трафика по нескольким экземплярам Amazon EC2, что необходимо для обеспечения избыточности и отказоустойчивости.

• Amazon Simple Storage Service (Amazon S3), который поддерживает хранение объектов для входящих (загруженных) носителей, метаданных и опубликованных ресурсов.

• Amazon Simple Queue Service (SQS), которая используется для отделения входящих заданий от процессов конвейера.

• Сервис реляционных баз данных Amazon (Amazon RDS), который используется для автоматической синхронизации и восстановления после отказа.

• Amazon DynamoDB, быстрый и гибкий сервис баз данных NoSQL, который используется для отслеживания входящих заданий, опубликованных ресурсов и пользователей.

• Amazon Elastic Transcoder, который используется для перекодирования аудио и видео в различные разрешения.

• Amazon CloudSearch, который используется для поддержки поиска по свободному тексту или полям.

• Amazon Simple Notification Service (SNS), которая используется для запуска конвейера обработки при загрузке нового контента.

• AWS CloudFormation, позволяющая автоматически создавать, обновлять и уничтожать ресурсы AWS. InfoZen также использовал библиотеку Troposphere, которая позволяет создавать объекты с помощью AWS CloudFormation с использованием Python вместо JSON с ручным кодированием - каждый объект представляет один ресурс AWS, например, экземпляр, адрес Elastic IP (EIP) или группу безопасности.

• Amazon CloudWatch, который предоставляет сервис мониторинга облачных ресурсов AWS и приложений, работающих на AWS.

NASA Image and Video Library для будущего Благодаря использованию AWS при поддержке InfoZen НАСА создает огромное количество изображений, видео и аудиофайлов - ранее в 60 «коллекциях» в 10 центрах НАСА - легко обнаруживаемых в одном централизованном месте, обеспечивая следующие преимущества:

• Легкий доступ к чудесам космоса. Библиотека изображений и видео автоматически оптимизирует взаимодействие с пользователем для каждого конкретного пользователя. Он также полностью соответствует разделу 508 Закона о реабилитации, согласно которому федеральные агентства должны предоставлять свои технологические решения для людей с ограниченными возможностями. Подписи могут быть включены или выключены для видео, воспроизводимых на сайте, а текстовые файлы подписей могут быть загружены для любого видео.

• Встроенная масштабируемость. Все компоненты NASA Image and Video Library созданы для масштабирования по требованию, необходимого для обработки пиковых нагрузок. «Масштабируемость по требованию будет иметь неоценимое значение для таких событий, как солнечное затмение, которое произойдет позднее этим летом - и когда мы загружаем новые медиа, и когда публика просматривает этот контент», - говорит Брайан Уоллс, заместитель руководителя программы Imagery Experts из НАСА.
• Хорошее использование долларов налогоплательщиков. Построив свою библиотеку изображений и видео в облаке, NASA избежало затрат, связанных с развертыванием и обслуживанием серверного оборудования и оборудования для хранения данных. Вместо этого агентство может просто оплатить ресурсы AWS, которые оно использует в любой момент времени.

• Хотя новая библиотека изображений и видео НАСА предоставляет множество новых удобных возможностей и возможностей, для таких людей, как Граббс и Уоллс, это только начало. «Теперь у нас есть гибкая, масштабируемая основа для создания всевозможных удивительных вещей», - говорит Уоллс. «Как и в случае с исследованием космоса, мы только начинаем представлять все, что можем с ним сделать».