Эссе на тему: "Необходимость разделения данных на витрины"

Тема: Эссе о необходимости разделения данных на витрины, о "единой версии правды"
При внедрении высококачественных систем поставщики всегда сталкиваются с определенными трудностями. Например, необходимо организовывать работу на различных вычислительных платформах, использующих как открытые, так и "фирменные" системы; проводить интеграцию с уже имеющимися приложениями; взаимодействовать с пользователями, отличающимися по уровню технической подготовки, и т.д. С течением времени все эти задачи не теряют своей актуальности, однако современная проблема электронного бизнеса (e-business) отодвинула их на второй план.
Очевидно, что термин "электронный бизнес" воспринимается различными людьми по-разному, но для поставщиков приложений определенные его элементы имеют особое значение:
- необходимость интеграции систем и данных обо всех, кто имеет отношение к организации: о клиентах, поставщиках, сотрудниках, партнерах и прочих;
- усиление операций аналитическими возможностями;
- возможность быстро реагировать на изменяющиеся требования бизнеса.
Сегодня у компаний, функционирующих в различных сферах бизнеса, возникла серьезная информационная перегрузка. Количество программных систем для сбора данных растет по экспоненциальной зависимости, к ним относятся традиционные учетные системы, разработанные для мейнфреймов, ERP (Enterprise Resource Planning - планирование ресурсов предприятия) и другие учетные системы, приложения электронной коммерции, а также внешние системы поставщиков, клиентов и партнеров.
Данные, собираемые из учетных систем в огромных объемах, содержат очень важную информацию, которую компании могут использовать для преобразования своего бизнеса. Самое главное здесь организовать связь компонента, обеспечивающего аналитические функции и показатели эффективности, с реальными бизнес операциями.
Например, сам по себе факт того, что продажи конкретного продукта принесли в прошлом году в определенном регионе 2 миллиона долларов, без всякого контекста не имеет особой ценности. Но если с помощью аналитических средств пользователь выясняет, что продажи этого продукта в данном регионе удвоились, тогда как в среднем по стране они снизились, - это уже повод для размышления и хороший путь к осмыслению деятельности организации.
Предлагая аналитические компоненты для оценки ведения бизнеса, поставщики программного обеспечения дают своим клиентам существенные преимущества.
Обычно BI-решения входят в состав полномасштабной реализации Хранилища данных. Здесь есть ряд существенных преимуществ, в том числе сокращение потерь производительности учетной системы и интегрирование данных из нескольких источников.
К сожалению, при построении Хранилища возникает много сложностей, самая большая из них - весьма продолжительное время развертывания (часто растягивающееся на годы) и связанные с ним расходы. Учитывая скорость изменения современных требований к бизнесу, на момент завершения работ по внедрению структура Хранилища может уже и не соответствовать реальной бизнес-ситуации. Поэтому крупномасштабные Хранилища не всегда подходят для электронного бизнеса.
В качестве альтернативы многие организации выбирают витрины данных. Они представляют собой предметно- или функционально-ориентированные локальные базы данных, которые строятся во много раз быстрее, чем Хранилища.
На уровне хранилища данные должны представлять «единую версию правды» (single version of truth). В случае каких-либо вопросов со стороны потребителей к качеству данных следует обращаться на уровень хранилища и проверять там. Чтобы это было так и работало, очень критичными становятся процессы своевременной и технически корректной загрузки данных на этот уровень с выполнением всех проверок и т.п.
Допустим, это все выполнено, и на уровне хранилища данных у нас единая версия правды. Но информация здесь хранится в максимально детализированной структуре, что обычно означает большое количество данных. К тому же, на этом уровне не все требуемые показатели и аналитики рассчитаны и сохранены. Действительно, рассчитывать все требуемые показатели на уровне с максимальной детализацией данных может быть нерационально ввиду большого числа лишних вычислений, либо и вовсе невозможно в принципе, т.к. расчет может потребовать не только предварительной агрегации данных, но и данных других объектов того же уровня. А у других объектов, например, другой регламент обновления.
Поэтому появляется потребность в следующем, уже третьем снизу уровне данных, который бы хранил подмножества данных, адаптированные к потребностям группы пользователей и/или группы отчетов. Это уровень носит название «уровень витрины данных».
На этом уровне, наряду с простой агрегацией (например, уплотнение группе товаров и месяцу отгрузки), выполняется еще и объединение данных с нескольких объектов уровня хранилища данных. В объектах этого уровня сохраняются результаты расчетов показателей и аналитик. Последний уровень – это виртуальные провайдеры данных и отчеты. Он предназначен для объединения (виртуального, т.е. без хранения) данных из различных объектов как своего уровня, так и уровня «витрин данных». И, наконец, здесь определяются пользовательские отчеты, в которых также обычно заложена логика расчетов показателей.
Однако у витрин есть одна непривлекательная особенность: иногда анализ, проведенный в одном отделе, противоречит результатам, полученным в другом. Отсутствие согласованности связано с противоречивым определением общих бизнес-терминов (таких как "клиент" или "вид товара") и несоответствием данных по всей организации.
Непосредственным решением этой проблемы является создание координированных витрин данных, иначе называемое интегрированным Хранилищем.
Создание координированных витрин данных подразумевает проектирование системы для всей организации в целом и последующую детальную разработку по отдельным функциям. Такой итерационный подход снижает возможный риск и сразу дает множество преимуществ, а также позволяет со временем развивать систему, пока аналитические возможности не охватят всю деятельность организации.
Преимущества данного подхода:
- общие измерения разрабатываются один раз и распространяются на все витрины данных. Это экономит ресурсы, необходимые для развертывания системы, и кроме того, сокращает затраты на обработку, требующуюся для обновления данных, поскольку в данном случае отпадает необходимость отправлять данные из источника в каждую витрину отдельно;- каждый этап становится компоновочным блоком для следующего шага, следовательно, усилия, затрачиваемые на проектирование, моделирование и реализацию, сокращаются по мере роста программного решения. Например, поставщик может начать разработку аналитических функций с базовых OLAP-кубов и каталогов отчетности, и уже на их основе создавать первые витрины данных пользователя;
- решения, разработанные "под одного клиента", можно впоследствии использовать и для других заказчиков, внеся лишь небольшие конфигурационные изменения для согласования с конкретной вычислительной инфраструктурой компании-заказчика.
- заказчик может сразу обратиться к решению самых критических задач в деятельности компании, создав витрины данных в первую очередь для проблемных областей. По мере роста системы, время на получение результатов с каждой новой витриной сокращается;
- использование общих измерений гарантирует, что сотрудники "разговаривают на одном языке", т.е. все понятия, используемые в компании, унифицированы. Таким образом, принимаемые решения будут основываться на согласованной информации, отражающей не отдельные функции, а деятельность организации в целом.
Удовлетворение требований бизнеса в современных экономических условиях требует особых усилий от поставщиков приложений. Интеграция систем, использование аналитических возможностей в учетных системах, гибкость и открытость, позволяющие реагировать на все происходящие изменения, - вот далеко не полный список стоящих перед ними задач.
И одних только технических знаний и грамотной ценовой политики теперь уже недостаточно: они дают лишь равные возможности, но отнюдь не конкурентные преимущества.
Подход к интеграции аналитических компонентов в учетную систему, предполагающий разработку координированных витрин данных, предоставляет возможность создания качественного программного решения. С помощью такого средства пользователь сможет лучше понять, насколько правильно ведется его бизнес, что позволит ему своевременно принимать координированные и продуманные решения.