Sber Data Science, цифровая трансформация от экспериментов к промышленному эффекту, Дамадан Шавлуков
Дамадан Шавлуков, эксперт по технологиям, Sber Data Science. "Искусственный интеллект и большие данные: от экспериментов к эффекту", конференция TAdviser.
Эволюция экосистемы анализа данных в Сбере
Современный бизнес-ландшафт требует не просто наличия инструментов искусственного интеллекта, а создания полноценной инфраструктуры, которая способна превращать сырые данные в измеримую прибыль. Именно такой задачей стала платформа полного цикла анализа данных Sber Data Science. На протяжении более чем десяти лет эта система развивалась внутри Сбера, становясь фундаментом для работы огромного количества моделей машинного обучения.
Основная проблема крупных корпораций при работе с ИИ заключается в том, что модели часто создаются разрозненно, в рамках отдельных проектов, что приводит к дублированию усилий и низкой стабильности процессов. Блочная архитектура СберДС была разработана именно для того, чтобы автоматизировать этот хаос. Она позволяет переиспользовать наработки, делать процессы разработки надежными и, что самое важное, масштабируемыми.
Повышение уровня абстракции и доступность технологий
Одним из главных достижений платформы стало значительное повышение уровня абстракции при работе с моделями. В традиционном подходе создание качественной ML-модели требует глубочайших знаний в математике и программировании. СберДС меняет эту парадигму: благодаря low-code инструментам люди с меньшим уровнем технической экспертизы теперь могут участвовать в разработке и запуске моделей.
Это не просто упрощение работы, а стратегический рывок в масштабируемости. Когда пайплайн (последовательность действий по обработке данных) собирается один раз на платформе, он становится общим активом компании. Его можно копировать, адаптировать под новые задачи и запускать повторно, что позволяет количеству моделей расти кратно из года в год. Кроме того, такая централизация дает возможность точно контролировать вычислительные ресурсы, оптимизируя затраты на инфраструктуру.
Прагматичный подход к ИИ: работа с табличными данными
Важно четко определить, что именно понимается под искусственным интеллектом в контексте данной платформы. В то время как мир обсуждает генеративные сети, СберДС фокусируется на самом востребованном для бизнеса сегменте — обучении моделей машинного обучения на табличных данных. Это фундамент всей банковской и ритейл-аналитики: прогнозы спроса, оценка кредитоспособности, анализ оттока клиентов.
Процесс выглядит прозрачно: сбор исторических данных →→ обучение модели →→ получение прогноза →→ внедрение в бизнес-логику. Например, прогноз спроса на определенные товары позволяет оптимизировать закупки, а точный скоринг в банке определяет, стоит ли выдавать кредит конкретному заемщику. Таким образом, ИИ перестает быть «черным ящиком» и становится инструментом прямого влияния на прибыль и снижение операционных рисков.
Валидация как гарант стабильности и безопасности
Любая модель может ошибаться, а в масштабах огромной корпорации ошибка модели может привести к колоссальным финансовым потерям или репутационному ущербу. Именно поэтому критически важным этапом является валидация — проверка модели на устойчивость, точность и соответствие регламентам.
Особенно остро этот вопрос стоит в регулируемых отраслях. Существуют жесткие требования Центрального Банка и государственные стандарты, которые обязывают компании гарантировать безопасность работы алгоритмов, чтобы они не наносили вред пользователям из-за некорректных вычислений. СберДС изначально создавался блоком рисков Сбера, поэтому оптимизация процесса валидации была заложена в его «ДНК». Платформа превращает проверку из бюрократического барьера в технологический фильтр.
Кейс: от ручного управления к автоматизированному конвейеру
Рассмотрим реальный пример трансформации процесса валидации. До внедрения платформы взаимодействие между разработчиками моделей и командой валидаторов было выстроено крайне неэффективно. Модель передавалась «вручную», что часто нарушало протоколы безопасности и создавало риски утечки данных или несанкционированного доступа.
Процесс сопровождался бесконечными циклами обратной связи: валидаторы находили ошибку, передавали её разработчикам, те исправляли код и снова отправляли модель на проверку. Этот путь занимал недели и даже месяцы.
Решением стал перенос всех процессов на единую low-code платформу СберДС. Были созданы готовые пайплайны валидации, где область видимости строго разграничена. Разработчики не видят код тестов и методики проверки, которыми пользуются валидаторы. Это исключает возможность «подгонки» модели под тесты и гарантирует честность проверки перед выходом в продакшн.
Результаты оказались впечатляющими:
- Количество разрабатываемых моделей увеличилось на 15%, так как тестирование гипотез перестало быть изнурительным процессом.
- Срок валидации сократился с одного месяца до одной недели. Теперь достаточно найти нужный пайплайн на платформе, запустить его и мгновенно получить отчет.
Преодоление разрыва между продуктом и разработкой
Помимо валидации, СберДС закрывает одну из самых болезненных проблем крупных компаний — коммуникационный разрыв между продуктовыми менеджерами и командами разработки. Часто бывает так: продукт видит рыночную возможность или гипотезу, но путь этой идеи до реализации в коде занимает слишком много времени из-за организационной структуры (аналитики отдельно, разработчики отдельно).
Это создает «бутылочное горлышко», которое ограничивает количество проверяемых гипотез и замедляет развитие продукта. Платформа СберДС устраняет этот барьер. Благодаря low-code инструментам, путь от возникновения идеи до её проверки на данных сокращается в разы.
Сценарий работы теперь выглядит так: появляется продуктовая гипотеза →→ собираются данные →→ обрабатываются через переиспользованные пайплайны платформы →→ модель проходит автоматическую валидацию →→ решение внедряется в продукт. Это позволяет компании работать в режиме непрерывного экспериментирования, что является единственным способом сохранения конкурентоспособности в эпоху Big Data.
Выход на внешний рынок и масштабирование эффекта
Платформа СберДС прошла путь от внутреннего инструмента банка до полноценного рыночного продукта. Опыт применения системы внутри Сбера показал колоссальный эффект — в некоторых случаях речь идет о сотнях миллиардов рублей прибыли или сэкономленных средств за счет оптимизации процессов.
Сегодня возможности платформы доступны внешним клиентам. Кейсы использования показывают, что автоматизация анализа данных и валидации моделей дает аналогичный эффект роста эффективности и в других индустриях. СберДС предоставляет не просто софт, а методологию того, как превратить хаотичные эксперименты с данными в системный бизнес-результат.
- Демократизация разработки моделей: Переход на low-code архитектуру позволяет привлекать специалистов с разным уровнем экспертизы, что снимает зависимость от узкого круга высококвалифицированных разработчиков и кратно увеличивает количество создаваемых моделей.
- Оптимизация Time to Market (TTM): Стандартизация и переиспользование пайплайнов превращают разработку из уникального ручного процесса в конвейер, что позволяет сократить время вывода модели в продакшн с месяцев до недель.
- Безопасность через изоляцию: Внедрение механизмов разграничения прав доступа (скрытие кода валидаторов от разработчиков) обеспечивает объективность проверки моделей и соблюдение строгих регуляторных норм (ЦБ РФ, государственные стандарты).
- Ликвидация «бутылочного горлышка» между продуктом и разработкой: Платформа объединяет бизнес-гипотезы и техническую реализацию в едином контуре, позволяя быстро проверять идеи на реальных данных без длительных согласований между разными департаментами.
- Переход от внутреннего инструмента к рыночному продукту: Успешный опыт применения СберДС внутри экосистемы Сбера (включая значимые финансовые эффекты) подтверждает жизнеспособность платформы для внешнего рынка корпоративного анализа данных.
