Как превратить корпоративное хранилище данных в self-service-платформу, Шмитов "Deco Systems"
Михаил Шмитов, генеральный директор Deco Systems. Форум Data Day 2026 «ИИ + Данные». Организатор — Издательский дом «Регламент».
Как упростить создание и сопровождение корпоративных платформ данных, включая классические DWH и современные Lakehouse-сценарии. Основная идея состоит в том, что ценность заключается не только в выборе технологий хранения, но и в инструменте, который “накрывает” всю архитектуру сверху и делает работу с ней доступной не только узким техническим специалистам, но и аналитикам из бизнес-подразделений. Такой подход особенно важен там, где наблюдается дефицит компетенций, а потребность в выпуске дата-продуктов уже высокая.
Отдельный акцент сделан на том, что продукт помогает уменьшить совокупную стоимость владения хранилищем. Вместо того чтобы строить каждый элемент вручную и зависеть от большой команды инфраструктурных специалистов, компания предлагает модель, в которой значительная часть работы с объектной моделью, слоями данных, зависимостями и процессами загрузки переносится в единый инструмент. Это позволяет быстрее получать результат, снижать затраты на кастомную разработку и убирать зависимость от сложной ручной поддержки архитектуры.
Сильная сторона решения — ориентация на self-service, но не на уровне витрин, а ниже, ближе к слоям и процессам доставки данных. Аналитики получают возможность самостоятельно создавать объекты доменной модели, настраивать проверки качества данных, описывать зависимости и формировать регламентные процессы. По сути, продукт переводит работу с хранилищем в более прикладной и управляемый формат, где бизнес-аналитик может участвовать в создании дата-продуктов без необходимости глубоко погружаться в каждую технологическую деталь.
Отдельно подчеркивается поддержка гетерогенных окружений. Решение рассчитано на ситуации, когда разные слои данных живут в разных системах — например, в MPP-СУБД, S3, ClickHouse и других хранилищах. Важен не только факт совместимости, но и правильный механизм переноса данных между слоями с использованием подходящих драйверов и транспортеров, таких как PXF, Trino или Spark. Это делает платформу гибкой и позволяет заказчику не быть привязанным к одной технологии хранения.
Еще один важный тезис — метаданные становятся центральным активом. В докладе показано, что современное хранилище должно строиться от меты: сначала определяются дата-продукты и модель, а затем из этой меты генерируются процессы загрузки и телы. Такой подход делает платформу устойчивой к смене вендоров и технологий, потому что бизнес-логика и описание данных сохраняются, даже если под капотом меняется инфраструктура. Это особенно важно для долгоживущих корпоративных систем.
Большое внимание уделено управлению зависимостями, мониторингу и контролю изменений. Инструмент позволяет прозрачнее видеть граф загрузки, отслеживать пререквизиты процессов и контролировать их состояние. Также отмечена ценность сценариев, когда данные меняются задним числом, что особенно актуально для финансовых организаций. Возможность корректно подхватывать такие изменения делает решение практичным для регуляторной и управленческой отчетности.
Современная data-платформа должна не просто хранить данные, а ускорять создание дата-продуктов, снижать зависимость от редких технических компетенций и передавать больше контроля бизнес-аналитикам. Главный эффект — сокращение сроков проектов, рост автономии заказчика и более предсказуемое управление корпоративным хранилищем данных.
