Анализ бизнес-информации

Как человек принимает решения или что нужно для полноценного анализа. Полная версия статьи, опубликованной в Компьютере №446.

Об анализе информации в применении к бизнес-процессам в последнее время говорят много. Плохо лишь то, что под этим термином каждый понимает то, что ему нужно, часто не имея общей картины по проблеме. Фрагментарность в подходе напоминает другое, к сожалению, распространенное явление — «лоскутную автоматизацию», когда на отдельные рабочие места устанавливаются разрозненные, слабо взаимосвязанные программные средства.

С анализом ситуация аналогичная: очень часто в качестве «полнофункционального решения» предлагаются разрозненные механизмы, покрывающие только незначительную часть задач.

Как человек принимает решения?

Объяснить, как рождается мысль, мы, конечно, не в состоянии. Поэтому сконцентрируемся на том, как можно в этом процессе использовать информационные технологии. Первый вариант: лицо, принимающее решение (далее буду называть его ЛПР), использует компьютер только как средство извлечения данных, а выводы делает уже самостоятельно. Для решения такого рода задач используются системы отчетности, многомерный анализ данных, диаграммы. Второй вариант: программа не только извлекает данные, но и проводит их предобработку, например, очистку, сглаживание и пр., а к обработанным таким образом данным применяет математические методы анализа — кластеризацию, классификацию, регрессию и т.д. В этом случае человек работает уже с моделями, подготовленными компьютером.

В первом случае практически все, что связано собственно с механизмами принятия решений, возлагается на человека, а потому проблема с подбором адекватной модели и выбором методов обработки выносится за пределы механизмов анализа. Базой для принятия решения является либо инструкция (например, каким образом можно реализовать механизмы реагирования на отклонения), либо интуиция. Иногда этого вполне достаточно, но если ЛПР интересуют знания, находящиеся достаточно глубоко, то простое извлечение данных тут не поможет. Это и есть тот самый второй случай, когда лишь надежные механизмы предобработки и анализа позволят ЛПР работать на более высоком уровне. И если первый вариант хорошо подходит для решения тактических и оперативных задач, то второй — для тиражирования знаний и решения стратегических проблем.

В идеале человеку нужна возможность применять оба подхода к анализу, варьируя методики в зависимости от задач. Вместе они позволяют покрыть почти все потребности организации при работе с бизнес-информацией.

Элементы анализа

Часто при описании того или иного продукта, анализирующего бизнес-информацию, применяют такие термины как «риск-менеджмент», «прогнозирование», «сегментация рынка»… Но в действительности решения каждой из этих практических задач сводятся к применению одного из описанного ниже методов анализа. Например, прогнозирование —  это задача регрессии, сегментация рынка — это кластеризация, управление рисками — это комбинация кластеризации, классификации и, возможно, других методов. Фактически, они являются атомарными (базовыми) элементами, из которых собирается решение той или иной задачи (см. схему).

Источники данных

В качестве первичного источника данных должны выступать все сведения, которые могут пригодиться для принятия решения — базы данных систем управления предприятием, офисные документы, Интернет. Причем речь идет не только о внутренних, но и о внешних данных (макроэкономические показатели, конкурентная среда, демографические данные и т.п.).

Хранение данных

Хотя в хранилище данных не реализуются технологии анализа, оно является той базой, на которой нужно строить аналитическую систему. При отсутствии хранилища данных на сбор и систематизацию необходимой для анализа информации будет уходить большая часть времени. Что в значительной степени сведет на нет все достоинства анализа — ведь одним из ключевых показателей любой аналитической системы является возможность быстро получить результат.

Семантический слой

Следующий элемент схемы — семантический слой. Вне зависимости от того, каким образом будет анализироваться информация, необходимо, чтобы она была понятна ЛПР. В большинстве случаев анализируемые данные располагаются в различных базах данных, а ЛПР не должен вникать в нюансы работы с СУБД. Поэтому требуется создать некий механизм, трансформирующий термины предметной области в вызовы механизмов доступа к БД. Эту задачу и выполняет семантический слой. Желательно, чтобы он был один для всех приложений анализа — так будет легче применять к задаче различные подходы.

Системы отчетности

Предназначение систем отчетности — ответ на вопрос «что происходит». Первый вариант их использования — регулярные отчеты для контроля оперативной ситуации и анализа отклонений. Например, система ежедневно готовит отчеты об остатке продукции на складе, и когда его значение меньше значения средней недельной продажи, необходимо отреагировать подготовкой заказа на поставку. Обычно этот подход в том или ином виде реализован в компаниях (пусть даже просто на бумаге), но нельзя допускать, чтобы это был единственный из доступных подходов к анализу данных.

Второй вариант применения систем отчетности — обработка нерегламентированных запросов. Когда ЛПР хочет проверить какую-либо мысль (гипотезу), ему необходимо получить пищу для размышлений, подтверждающую либо опровергающую идею. Идеи, как известно, приходят спонтанно, а потому невозможно точно предсказать, какого рода информация потребуется. Это означает, что необходим инструмент, позволяющий быстро и в удобном виде нужную информацию получить. Извлеченные данные обычно представляются либо в виде таблиц, либо в виде графиков и диаграмм, хотя возможны и другие представления.

Механизм OLAP

Хотя для построения систем отчетности можно применять различные подходы, самый распространенный на сегодня — это OLAP. Основной его идеей является представление информации в виде многомерных кубов, где оси являют собой измерения (например, время, продукты, клиенты), а в ячейках помещаются показатели (сумма продаж, средняя цена закупки). Пользователь манипулирует измерениями и получает информацию в нужном разрезе.

Благодаря простоте понимания и наглядности OLAP получил широкое распространение в качестве механизма анализа данных, но необходимо понимать, что его возможности в области более глубокого анализа — например, прогнозирования — крайне ограничены. Основной проблемой при решении задач прогнозирования является вовсе не возможность извлечения интересующих данных в виде таблиц и диаграмм, а построение адекватной модели. Если модель есть, дальше все достаточно просто: на ее вход подается новая информация, пропускается через нее, а результат — это и есть прогноз. Но вот собственно построение такой модели является совершенно нетривиальной задачей! Конечно, можно заложить в систему несколько готовых простых моделей, например, линейную регрессию или что-то аналогичное. Довольно часто именно так и поступают, но, увы, это проблему не решает, поскольку реальные задачи почти всегда выходят за рамки простых моделей. А, следовательно, будут обнаружены только явные зависимости, ценность которых незначительна, либо прогноз будет слишком грубым, что тоже совершенно неинтересно. Приведу пример: если при анализе курса акций на фондовом рынке вы будете исходить из простого предположения, что завтра акции будут стоить столько же, сколько и сегодня, то в 90% случаев вы угадаете. Но насколько ценны такие знания? Интерес для брокеров представляют только оставшиеся 10%. Примитивные модели в большинстве случаев дают результат примерно того же уровня.

Собственно, задача построения прогнозов и тому подобные вещи выходят за рамки механизмов систем отчетности, поэтому и не стоит ждать от OLAP положительных результатов в этом направлении. Для решения задач более глубокого анализа применяется совершенно другой набор технологий, объединенных под названием Knowledge Discovery in Databases.

Knowledge Discovery in Databases

KDD — это процесс поиска полезных знаний в «сырых данных». KDD включает в себя вопросы подготовки данных, выбора информативных признаков, очистки данных, применения методов Data Mining (DM), постобработки данных, интерпретации полученных результатов.

Привлекательность этого подхода заключается в том, что, вне зависимости от предметной области, мы применяем одни и те же операции:

1. Извлечь данные. В нашем случае для этого нужен семантический слой.
2. Очистить данные. Применение для анализа «грязных» данных может полностью свести на нет применяемые в дальнейшем механизмы анализа.
3. Трансформировать данные. Различные методы анализа требуют данных, подготовленных в специальном виде. Например, где-то в качестве входов может использоваться только цифровая информация.
4. Провести собственно анализ — Data Mining.
5. Интерпретировать полученные результаты.

Этот процесс повторяется итеративно, и, по сути, это все, что необходимо сделать, чтобы автоматизировать процесс извлечения знаний. Дальнейшие шаги уже делает эксперт, он же ЛПР.

И снова человек

Интерпретация результатов компьютерной обработки возлагается на человека. Различные методы дают различную пищу для размышлений: в самом простом случае это таблицы и диаграммы, а в более сложном — модели и правила. Полностью исключить участие человека нельзя, ведь тот или иной результат не имеет никакого значения, пока не будет применен к конкретной предметной области. Но зато существует возможность тиражировать знания. Например, ЛПР при помощи какого-либо метода определил, какие показатели влияют на кредитоспособность покупателей, и представил это в виде правила. Правило можно внести в систему выдачи кредитов и таким образом значительно снизить кредитные риски, поставив их оценки на поток. При этом от человека, занимающегося собственно выпиской документов, не требуется глубокого понимания причин того или иного вывода. Фактически, это перенос методов, когда-то примененных в промышленности, в область управления знаниями. Основная идея — переход от разовых и неунифицированных методов к конвейерным.

Сами задачи и методы их решения не зависят от инструментария — можно применять все что угодно, начиная от классических статистических методов и заканчивая самообучающимися алгоритмами. Практически все реальные бизнес-задачи — прогнозирование, сегментация рынка, оценка риском, оценка эффективности рекламных кампаний, оценка конкурентных преимуществ и множество других — сводятся к описанным выше и решаются одним из указанных выше методов (или их комбинацией).

На практике под системой анализа бизнес-информации чаще всего понимается только OLAP, чего совершенно недостаточно для полноценного анализа. Под толстым слоем рекламных лозунгов находится всего лишь система построения отчетов. Эффектные описания того или иного инструмента анализа скрывают суть, но достаточно отталкиваться от предложенной схемы, и вы будете понимать действительное положение вещей. Лишь имея в распоряжении инструмент, решающий весь приведенный список задач, можно говорить, что вне зависимости от природы исследуемых объектов вы готовы справиться с любой задачей бизнес-анализа и выжать из данных максимум полезной информации, которая, собственно, и называется знаниями.