×
Анализ Big Data требует превращения бизнес-задачи в математическую
Ключевые слова: Big Data

Исходя из моего опыта, российским компаниям пора прийти к пониманию того, что анализ Big Data — или больших данных — (датамайнинг) является обязательным инструментом для повышения эффективности бизнеса. Ключевое условие для этого — понятная модель рынка датамайнинга.

 

Давайте сначала точно определим суть анализа данных или датамайнинга. Ключевая задача этого инструмента — выявить среди данных компании ранее неизвестные, нетривиальные, практически полезные и доступные интерпретации знания. Иначе говоря, датамайнинг — это выявление скрытой полезности, которая приносит прибыль, уменьшает издержки, привлекает клиентов, помогает обойти конкурентов и т.д.

 

Ценность датамайнинга заключается в специфике данных и возможности извлечь максимум из них. Как не может быть двух одинаковых компаний, так и не может быть у них, соответственно, двух одинаковых алгоритмов.

 

На мой взгляд, сейчас есть три главных сдерживающих фактора развития датамайнинга: слабая прогнозируемость результатов, непрогнозируемые сроки и стоимость.

 

Дело в том, что специализированные программные решения для анализа больших данных, создаваемые крупными IT-корпорациями (IBM, Oracle, SAP и другими), дорого стоят и требуют специалистов по работе с ними. Кроме того, у любого датамайнерского софта есть главный недостаток — он априори универсален, что не дает ему возможность учесть специфические особенности данных конкретного клиента. И вот именно для этого нужен специально подготовленный человек, а именно — датамайнер.

 

Правильной моделью рынка датамайнинга нам представляется создание связующего звена между бизнесом и сообществом ученых, то есть специалистов по статистическому анализу, математическому моделированию и прогнозированию.

 

Задача такого звена — трансформировать поступающую от клиента бизнес-задачу по анализу больших данных в математическую задачу, которую затем решают команды датамайнеров в ходе конкурса на лучшее решение. Вслед за этим авторы лучших алгоритмов решения задачи работают над сверхалгоритмом, который объединяет все сильные стороны решений конкурсного этапа. При этом датамайнеры работают в тесной связке с профильными экспертами и «связующей» компанией между ними и бизнесом. Именно такой сверхалгоритм становится конечным продуктом для клиента, который он внедряет в свои бизнес-процессы.

 

Жизнеспособность такой модели подтверждается практическим опытом, например, решения задач управления активами на фондовом рынке с использованием алгоритмов обработки больших данных.


  Источник: http://digit.ru/opinion/20140303/412937632.html#ixzz2uyGXIAAD