eD3P (Enterprise Digital Data Distribution Platform) — британская компания, которая занимается Security и Data Distribution с энтерпрайз систем. Основной экосистемой для eD3P является IBM мейнфрейм Z серии.
Мейнфреймы — это высокопроизводительные, высоконагруженные сервера с архитектурой (Z Architecture) отличной от архитектуры обычных серверов (PC). Имеют высокую степень защищенности, доступности и отказоустойчивости — первая наработка на ошибку 12-15 лет непрерывной работы. Высокая скорость транзакций: минимум 56 тысяч транзакций/сек и поддержка до 300 млрд транзакций/день (для сравнения, Google поддерживает 3,5 млрд запросов/день). Используются для коммерческих баз данных, серверов транзакций и mission-critical приложений с 1960-х годов по всему миру.
По современным подсчетам, ~80% энтерпрайз данных находятся и обрабатываются на мейнфреймах. Их используют ~75% корпораций из списка Global Fortune-500: топовые банки, крупнейшие страховые и инвестиционные компании, биржи, букинги авиабилетов, автопроизводители, почтовые сервисы, энергетические энтерпрайзы, топовые ритейлеры США, IT компании. 225 мировых правительств и военные министерства также хранят свои данные на мейнфреймах, — все благодаря вышеуказанным преимуществам этих серверов.
На проекте eD3P команда Provectus производит весь стек ETL процесса (Extract, Transform, Load) для корпоративных данных с мейнфрейма в облачные сервисы (AWS, Azure, Google Cloud, IBM Cloud). Наш продукт — Dell сервер (appliance) используется для планирования бэкапа и восстановления данных (Backup & Restore), а также обеспечения аварийного восстановления (Disaster Recovery) и непрерывности бизнеса (Business Continuity).
Архивирование и бэкап данных с мейнфреймов до сих пор происходит на записывающих магнитных лентах. Наша команда предлагает альтернативу — цикл ETL и commodity storage за счет функционала виртуальных лент и виртуальных дисков, который позволяет записывать данные, а затем получать их в облаке. А также возможность доступа к данным в облаке путем анализа и парсинга виртуальных лент.
Иными словами, мы занимаемся тем, чем не занимается никто в мире. Основные потенциальные клиенты — большие энтерпрайзы. Поэтому распространять решение планируем через IBM-сертифицированных партнеров.
Наша команда разработала свою реализацию протокола IBM(Ficon) для доступа к мейнфрейму и дисковым стойкам. Мы также разработали прошивку для PCI Express карты и драйвер. Вместе это позволяет нам копировать дисковые образы и передавать результаты запросов данных с мейнфрейма на наш Dell сервер (appliance).
Используя веб приложение, мы считываем дисковый образ с мейнфрейма или записываем данные на виртуальную ленту, архивируем и шифруем, передаем его в облачное хранилище. Для хранения криптографических ключей мы используем NIST/FIPS сертифицированный менеджер ключей, — так как мы работаем исключительно с энтерпрайзами, то должны соблюдать высочайшие требования по безопасности.
Наша команда на проекте разработала полноценное облачное приложение. Благодаря гибкой архитектуре, основанной на Docker контейнерах, мы смогли развернуть наш веб стек в двух облачных сервисах, — AWS, Azure. Наш облачный солюшн позволяет вернуть данные в исходное состояние (расшифровать, разархивировать) и предоставить для анализа в облачные сервисы (Big Data, BI, ML/AI).
Также в облачном приложении реализовали идею удаленного управления серверами: это своего рода TeamViewer для энтерпрайз данных. Благодаря этой реализации клиент получает централизованную точку доступа и возможность управлять нашими appliances удаленно по безопасным шифрованным каналам.
Технологический стек проекта eD3P достаточно разнообразный, за каждое направление отвечают 1-2 специалиста. В данный момент работаем с таким стеком:
На проекте мы используем современный веб стек, который пополняется по необходимости лучшими решениями. Работаем со всеми основными облачными сервисами. Как на сервере, так и в облаке — современная инфраструктура, основанная на Docker.
Проект перспективный, проводим много RnD и исследований на всех уровнях нашего стека. И действительно сложный — по сути, это rocket science.
Есть ли тестовое задание?
Зачастую не проводим.
Какую методологию использует команда?
Методологии Agile и Scrum.
Нужен ли английский для работы на проекте?
Да, достаточно уровня Intermediate. На данный момент вся разработка ведется в одесском офисе Provectus, удаленной команды нет.
Есть ли перспектива командировок?
В планах — командировки к клиентам.
Какая нагрузка на проекте?
Нагрузки характерные для стартапов. Перед демонстрациями и тестированиями в выездных лабораториях (к примеру, лаборатории IBM) — периоды повышенной нагрузки.
Напишите нам на jobs@provectus.com и мы расскажем вам о проекте eD3P подробнее.
Я даю разрешение на обработку моих персональных данных и согласен с политикой конфиденциальности сайта.