eD3P

О клиенте

eD3P (Enterprise Digital Data Distribution Platform) — британская компания, которая занимается Security и Data Distribution с энтерпрайз систем. Основной экосистемой для eD3P является IBM мейнфрейм Z серии.

Мейнфреймы — это высокопроизводительные, высоконагруженные сервера с архитектурой (Z Architecture) отличной от архитектуры обычных серверов (PC). Имеют высокую степень защищенности, доступности и отказоустойчивости — первая наработка на ошибку 12-15 лет непрерывной работы. Высокая скорость транзакций: минимум 56 тысяч транзакций/сек и поддержка до 300 млрд транзакций/день (для сравнения, Google поддерживает 3,5 млрд запросов/день). Используются для коммерческих баз данных, серверов транзакций и mission-critical приложений с 1960-х годов по всему миру.

По современным подсчетам, ~80% энтерпрайз данных находятся и обрабатываются на мейнфреймах. Их используют ~75% корпораций из списка Global Fortune-500: топовые банки, крупнейшие страховые и инвестиционные компании, биржи, букинги авиабилетов, автопроизводители, почтовые сервисы, энергетические энтерпрайзы, топовые ритейлеры США, IT компании. 225 мировых правительств и военные министерства также хранят свои данные на мейнфреймах, — все благодаря вышеуказанным преимуществам этих серверов.

О проекте

На проекте eD3P команда Provectus производит весь стек ETL процесса (Extract, Transform, Load) для корпоративных данных с мейнфрейма в облачные сервисы (AWS, Azure, Google Cloud, IBM Cloud). Наш продукт — Dell сервер (appliance) используется для планирования бэкапа и восстановления данных (Backup & Restore), а также обеспечения аварийного восстановления (Disaster Recovery) и непрерывности бизнеса (Business Continuity).

Архивирование и бэкап данных с мейнфреймов до сих пор происходит на записывающих магнитных лентах. Наша команда предлагает альтернативу — цикл ETL и commodity storage за счет функционала виртуальных лент и виртуальных дисков, который позволяет записывать данные, а затем получать их в облаке. А также возможность доступа к данным в облаке путем анализа и парсинга виртуальных лент.

Иными словами, мы занимаемся тем, чем не занимается никто в мире. Основные потенциальные клиенты — большие энтерпрайзы. Поэтому распространять решение планируем через IBM-сертифицированных партнеров.

Планы и достижения

Наша команда разработала свою реализацию протокола IBM(Ficon) для доступа к мейнфрейму и дисковым стойкам. Мы также разработали прошивку для PCI Express карты и драйвер. Вместе это позволяет нам копировать дисковые образы и передавать результаты запросов данных с мейнфрейма на наш Dell сервер (appliance).

Используя веб приложение, мы считываем дисковый образ с мейнфрейма или записываем данные на виртуальную ленту, архивируем и шифруем, передаем его в облачное хранилище. Для хранения криптографических ключей мы используем NIST/FIPS сертифицированный менеджер ключей, — так как мы работаем исключительно с энтерпрайзами, то должны соблюдать высочайшие требования по безопасности.

Наша команда на проекте разработала полноценное облачное приложение. Благодаря гибкой архитектуре, основанной на Docker контейнерах, мы смогли развернуть наш веб стек в двух облачных сервисах, — AWS, Azure. Наш облачный солюшн позволяет вернуть данные в исходное состояние (расшифровать, разархивировать) и предоставить для анализа в облачные сервисы (Big Data, BI, ML/AI).

Также в облачном приложении реализовали идею удаленного управления серверами: это своего рода TeamViewer для энтерпрайз данных. Благодаря этой реализации клиент получает централизованную точку доступа и возможность управлять нашими appliances удаленно по безопасным шифрованным каналам.

Какой технологический стек проекта eD3P?

Технологический стек проекта eD3P достаточно разнообразный, за каждое направление отвечают 1-2 специалиста. В данный момент работаем с таким стеком:

В чем преимущества работы на проекте eD3P?

Q&A по проекту eD3P

Напишите нам на jobs@provectus.com и мы расскажем вам о проекте eD3P подробнее.