eD3P

eD3P (Enterprise Digital Data Distribution Platform) — британская компания, которая занимается Security и Data Distribution с энтерпрайз систем. Основной экосистемой для eD3P является IBM мейнфрейм Z серии. 

Мейнфреймы — это высокопроизводительные, высоконагруженные сервера с архитектурой (Z Architecture) отличной от архитектуры обычных серверов (PC). Имеют высокую степень защищенности, доступности и отказоустойчивости — первая наработка на ошибку 12-15 лет непрерывной работы. Высокая скорость транзакций: минимум 56 тысяч транзакций/сек и поддержка до 300 млрд транзакций/день (для сравнения, Google поддерживает 3,5 млрд запросов/день). Используются для коммерческих баз данных, серверов транзакций и mission-critical приложений с 1960-х годов по всему миру. 

По современным подсчетам, ~80% энтерпрайз данных находятся и обрабатываются на мейнфреймах. Их используют ~75% корпораций из списка Global Fortune-500: топовые банки, крупнейшие страховые и инвестиционные компании, биржи, букинги авиабилетов, автопроизводители, почтовые сервисы, энергетические энтерпрайзы, топовые ритейлеры США, IT компании. 225 мировых правительств и военные министерства также хранят свои данные на мейнфреймах, — все благодаря вышеуказанным преимуществам этих серверов.

На проекте eD3P команда Provectus производит весь стек ETL процесса (Extract, Transform, Load) для корпоративных данных с мейнфрейма в облачные сервисы (AWS, Azure, Google Cloud, IBM Cloud). Наш продукт — Dell сервер (appliance) используется для планирования бэкапа и восстановления данных (Backup & Restore), а также обеспечения аварийного восстановления (Disaster Recovery) и непрерывности бизнеса (Business Continuity).

Архивирование и бэкап данных с мейнфреймов до сих пор происходит на записывающих магнитных лентах. Наша команда предлагает альтернативу — цикл ETL и commodity storage за счет функционала виртуальных лент и виртуальных дисков, который позволяет записывать данные, а затем получать их в облаке. А также возможность доступа к данным в облаке путем анализа и парсинга виртуальных лент.

Иными словами, мы занимаемся тем, чем не занимается никто в мире. Основные потенциальные клиенты — большие энтерпрайзы. Поэтому распространять решение планируем через IBM-сертифицированных партнеров.

Наша команда разработала свою реализацию протокола IBM(Ficon) для доступа к мейнфрейму и дисковым стойкам. Мы также разработали прошивку для PCI Express карты и драйвер. Вместе это позволяет нам копировать дисковые образы и передавать результаты запросов данных с мейнфрейма на наш Dell сервер (appliance).

Используя веб приложение, мы считываем дисковый образ с мейнфрейма или записываем данные на виртуальную ленту, архивируем и шифруем, передаем его в облачное хранилище. Для хранения криптографических ключей мы используем NIST/FIPS сертифицированный менеджер ключей, — так как мы работаем исключительно с энтерпрайзами, то должны соблюдать высочайшие требования по безопасности.

Наша команда на проекте разработала полноценное облачное приложение. Благодаря гибкой архитектуре, основанной на Docker контейнерах, мы смогли развернуть наш веб стек в двух облачных сервисах, — AWS, Azure. Наш облачный солюшн позволяет вернуть данные в исходное состояние (расшифровать, разархивировать) и предоставить для анализа в облачные сервисы (Big Data, BI, ML/AI). 

Также в облачном приложении реализовали идею удаленного управления серверами: это своего рода TeamViewer для энтерпрайз данных. Благодаря этой реализации клиент получает централизованную точку доступа и возможность управлять нашими appliances удаленно по безопасным шифрованным каналам. 

Технологический стек проекта eD3P достаточно разнообразный, за каждое направление отвечают 1-2 специалиста. В данный момент работаем с таким стеком:

• Firmware: Verilog.
• Driver: WDF.
• Libraries and Protocol: C.
• Device manager: C/C++ (C++ 14).
• Backend: PHP, Laravel.
• Frontend: AngularJS.
• QA Automation: Selenium, WebDriver/Java.
• OS: Windows Server 2016, Ubuntu.
• Toolset: Docker, Redis, RabbitMQ, Node.js, ELK (ElasticSearch, Logstash, Kibana), PerconaDB (MySQL).
• Clouds: AWS, Azure, Google Cloud, IBM Cloud, Private Cloud.

Также в нашей команде: System Analyst, Technical Writer, Product Manager.

На проекте мы используем современный веб стек, который пополняется по необходимости лучшими решениями. Работаем со всеми основными облачными сервисами. Как на сервере, так и в облаке — современная инфраструктура, основанная на Docker. 

Проект перспективный, проводим много RnD и исследований на всех уровнях нашего стека. И действительно сложный — по сути, это rocket science.

• Есть ли тестовое задание? 

Зачастую не проводим.

• Какую методологию использует команда? 

Методологии Agile и Scrum.

• Нужен ли английский для работы на проекте? 

Да, достаточно уровня Intermediate. На данный момент вся разработка ведется в одесском офисе Provectus, удаленной команды нет. 

• Есть ли перспектива командировок? 

В планах — командировки к клиентам.

• Какая нагрузка на проекте? 

Нагрузки характерные для стартапов. Перед демонстрациями и тестированиями в выездных лабораториях (к примеру, лаборатории IBM) — периоды повышенной нагрузки.

Напишите нам на jobs@provectus.com и мы расскажем вам о проекте eD3P подробнее.