Доклад на тему: "Технологии бизнес-аналитики: OLAP-технологии"

В настоящее время вопросы аналитики данных в бизнес процессах играют важнейшую роль. От того насколько быстро и своевременно представлены данные зависит успех предприятия. Поэтому исследование вопросов аналитики данных, разработки необходимого программного обеспечения один из актуальных на современном этапе. Актуальность данной работы заключается в том, что современные тенденции развития технологий и автоматизации расчетов, роста баз данных и эффективности их использования создают такие условия для современных предприятий, которые вынуждают идти в ногу со временем и даже его опережать. Технология OLAP возникла в 1993 году, и составляла собой 12 правил аналитической обработки данных в данный момент времени. Если внедрение данных технологий не происходит вовремя, то предприятие может потерять свои конкурентные преимущества. Ведь другие фирмы на данном рынке могут иметь более точные, своевременные и реальные результаты анализа данных, которые будут влиять на принятие управленческих решений. Цель работы заключается в исследовании OLAP-технологии как технологии бизнес-аналитики.Исследование бизнес-процессов с применением OLAP-технологии занижались следующие ученые: Ральф Кимбалл, А. А. Федоров, Н. В. Елманова, А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод, В.А. Сергиенко, М.А. Альперович, В.Ю. Мятвиевский и т. д.По структуре работа состоит из введения, основной части, заключения и списка использованной литературы.Технологии бизнес-аналитики: OLAP-технологииМеханизм OLAP является на сегодня одним из популярных методов анализа данных. Технология OLAP представляет собой совокупность средств многомерного анализа данных, накопленных в хранилище данных. Хотя данная технология и не представляет собой необходимый атрибут хранилища данных, но именно она чаще всего и применяется для анализа накопленных в этом хранилище данных. OLAP (Online Analytical Processing – Оперативная аналитическая обработка данных) – класс приложений и технологий, предназначенных для сбора, хранения и анализа многомерных данных в целях поддержки принятия управленческих решений. Технология OLAP позволяет аналитикам, менеджерам и управляющим сформировать свое собственное видение данных, используя быстрый, единообразный, оперативный доступ к разнообразным формам представления информации. В своей работе Э. Кодд рассмотрел недостатки реляционной модели данных, в первую очередь указав на невозможность объединять, просматривать и анализировать данные с точки зрения множественности измерений, т.е. самым понятным для бизнес-аналитиков способом. Он также определил общие требования к системам OLAP и сформулировал принципы, которые позже были названы тестом FASMI (Fast – Analysis –Shared – Multidimensional – Information), т.е. Быстрый – Анализ – Разделяемой – Многомерной – Информации. Так как ключевым принципом OLAP-технологии является многомерное концептуальное представление данных, то в качестве логической модели данных OLAP выступает многомерный куб (гиперкуб или метакуб, рисунок 1). Осями OLAP-куба являются основные атрибуты анализируемого бизнес-процесса. Например, для продаж это могут быть продукция, страна (регион), тип покупателя и т.п. В качестве одного из измерений, как правило, выступает время. На пересечениях осей-измерений находятся данные, количественно характеризующие процесс – меры. Это могут быть объемы продаж в штуках или в денежном выражении, остатки на складе, издержки и т.п. Рисунок 1. OLAP-кубПользователь, анализирующий информацию, может «разрезать» куб по разным направлениям, получать сводные (например, по кварталам или годам) или, наоборот, детальные (по неделям) сведения и осуществлять прочие манипуляции, которые ему придут в голову в процессе анализа. Но даже трехмерный куб сложно отобразить на экране компьютера так, чтобы были видны значения интересующих мер, поэтому для визуализации данных, хранящихся в кубе, применяются, как правило, привычные двумерные, т.е. табличные, представления, имеющие сложные иерархические заголовки строк и столбцов. Двумерное представление куба можно получить, «разрезав» его поперек одной или нескольких осей (измерений): мы фиксируем значения всех измерений, кроме двух – и получаем обычную двумерную таблицу. Например, разрезав куб фронтальной плоскостью, мы получаем результат запроса «Объемы продаж продукции по предприятиям за I квартал» (таблица 1). Таблица 1Результат запроса «Объемы продаж продукции по предприятиям за I квартал»ПредприятияПродукцияОбщий итогПродукция 1Продукция 2Продукция 3Предприятие 1120000170000350000640000Предприятие 250000180000230000Предприятие 3110000120000200000430000Предприятие 4160000250000410000Предприятие 580000210000270000560000Общий итог31000071000012500002270000Разрезав куб, боковой плоскостью, мы получаем результат запроса «Объемы продаж продукции 1 по предприятиям и по кварталам» (таблица 2).Таблица 2 Результат запроса «Объемы продаж продукции 1 по предприятиям и по кварталам»ПредприятияКварталыОбщий итогКвартал 1Квартал 2Квартал 3Квартал 4Предприятие 1120000150000145000148500563500Предприятие 230000250002850083500Предприятие 3110000140000135000138500523500Предприятие 430000250002850083500Предприятие 580000110000105000108500403500Общий итог3100004600004350004525001657500Разрезав куб, горизонтальной плоскостью, мы получаем результат запроса «Объемы продаж продукции предприятием 1 по кварталам» (таблица 3). Все, что говорилось выше про OLAP, по сути, относилось только к многомерному представлению данных. Однако в OLAP-приложениях многомерность может присутствовать и в других аспектах: 1. Многомерное представление данных (то, что рассматривалось выше) – средства конечного пользователя, обеспечивающие многомерную визуализацию и манипулирование данными. 2. Многомерная обработка данных – средство (язык) формулирования многомерных запросов (традиционный реляционный язык SQL здесь оказывается непригодным) и процессор, умеющий обработать и выполнить такой запрос. 3. Многомерное хранение данных – средства физической организации данных, обеспечивающие эффективное выполнение многомерных запросов. Таблица 3 Результат запроса «Объемы продаж продукции предприятием 1 по кварталам»ПредприятияКварталыОбщий итогКвартал 1Квартал 2Квартал 3Квартал 4Предприятие 1120000150000145000148500563500Предприятие 2170000200000195000198500763500Предприятие 33500003800003750003785001483500Общий итог6400007300007150007255002810500Первые два уровня в обязательном порядке присутствуют во всех OLAP-приложениях. Третий уровень, хотя и является широко распространенным, не обязателен, так как данные для многомерного представления могут извлекаться и из обычных реляционных структур. Процессор многомерных запросов в этом случае транслирует многомерные запросы в SQL-запросы, которые выполняются реляционной СУБД. Однако, реализация именно третьего уровня позволяет обращаться с данными как с многомерным массивом, благодаря чему обеспечиваются одинаково быстрые вычисления суммарных показателей и различные многомерные преобразования по любому из измерений (следует, правда, отметить, что «физические» OLAP-кубы очень расточительны с точки зрения занимаемого объема, т.е. память разменивается на скорость обработки). В зависимости от ответа на вопрос, существует ли OLAP-куб как отдельная физическая структура или лишь как виртуальная модель данных, различают системы MOLAP (Multidimensional OLAP) и ROLAP (Relational OLAP). На заре развития технологии OLAP большинство производителей считало, что единственное возможное решение при создании OLAP-приложений связано с использованием специализированной, нереляционной модели хранения. Позднее другие производители обнаружили, что применение определенных структур базы данных позволяет использовать для OLAP реляционные системы управления базами данных. Такие производители назвали свою технологию Relational OLAP (реляционная OLAP), поставщики более старых систем для своей технологии приняли термин Multidimensional OLAP (многомерная OLAP). Позже были разработаны гибридные решения для OLAP, которые получили название HOLAP (hybrid OLAP). Одновременно используя архитектуры MOLAP и ROLAP, они соединяют в себе лучшие черты обоих решений – превосходную производительность первых и высокую масштабируемость вторых. Конкретные OLAP-продукты, как правило, представляют собой либо средство многомерного представления данных – OLAP-клиент, либо многомерную серверную СУБД – OLAP-сервер. В некоторых из OLAP-серверов встроен специализированный механизм «финансового» искусственного интеллекта (Financial Artifical Intelligence), специально разработанный для обработки финансовых данных и решения задач бюджетирования, прогнозирования, формирования отчетности, финансовой консолидации и т.п. OLAP – это совокупность средств многомерного анализа данных, накопленных в хранилище данных. Хранилище данных (data ware house) – предметно-ориентированная, интегрированная, неизменяемая и поддерживающая хронологию электронная коллекция данных для поддержки принятия решений. Хранилища данных рассматриваются как специально разработанные базы данных, предназначенные для подготовки отчетов и бизнес-анализа с целью поддержки принятия решений на предприятии. Предметная ориентированность означает, что хранилище данных строится на атрибутах сущностей бизнеса (предметно-ориентированно), собирая данные об этих сущностях из различных источников. Данные объединяются в категории и хранятся в соответствии с предметными областями, которые они описывают, а не с приложениями, которые они используют. Хранилища данных позволяют интегрировать разные точки зрения на одну предметную область, так как решение, принятое на основе одной точки зрения, может быть неэффективным или даже неверным. Интегрированность – применение единых законов именования, способов вычисления данных, полученных из различных источников. Это позволяет решить проблему того, что один и тот же объект реального мира в разных системах описывается по-разному. Неизменяемость – после того, как данные загружены в хранилище данных, они не могут быть изменены, а только читаются. Их модификация возможна в крайне редких случаях. Поддержка хронологии – для анализа данных важно иметь возможность отслеживать хронологию изменений показателей предметной области. Поэтому все данные в хранилище должны соответствовать последовательным интервалам времени. В хранилище данных собирается информация о деятельности предприятия в прошлом. В накопленных данных предприятия находится «информационный снимок» хронологии его поведения на рынке. Анализ истории деятельности предприятия позволяет: – существенно увеличить эффективность управления им; – оперативно организовать взаимоотношения с клиентами, производство и сбыт продукции. Отправной точкой концепции складирования данных в хранилище является ретроспективный взгляд на данные, накопленные на предприятии. Собранная вместе и согласованная информация об истории развития предприятия, его успехах и неудачах, о взаимоотношениях с поставщиками и клиентами, об истории и состоянии рынка позволяет провести анализ прошлой и текущей деятельности предприятия и построение прогнозов на будущее. Создание хранилища данных предполагает следующие операции с данными: 1. Извлечение – перемещение информации от источников данных в отдельную базу данных. Данные в хранилище попадают прямо или косвенно из OLTP-систем, которые предназначены для автоматизации бизнес-процессов. Кроме того, хранилище данных может пополняться за счет внешних источников, например, статистических отчетов. Для извлечения данных существует множество инструментов, включая утилиты, предоставляемые системами поддержки принятия решений (СППР), пользовательские программы извлечения и коммерческие продукты извлечения (общего назначения). 2. Очистка данных. Обычно она предусматривает: заполнение отсутствующих значений; устранение ошибок, допущенных при вводе данных; определение стандартных сокращений и форматов; замену синонимов стандартными идентификаторами; устранение несоответствия типов, размеров и других свойств данных. Например, если даты представляются в разных форматах и называются по-разному, – «дата выполнения», «дата «исполнения», то данные несоответствия устраняются. Данные, которые определяются как ошибочные и не могут быть исправлены, отбрасываются. 3. Консолидация данных. Это процесс слияния данных, поступивших из нескольких разных источников, когда любая неявная связь между данными из отдельных источников преобразуется в явную путем введения явных значений данных. Кроме того, если отдельные значения даты и времени связаны и имеют определенный деловой смысл, они должны быть проконтролированы и приведены в соответствие между отдельными источниками. Этот процесс называется синхронизацией времени. 4. Преобразование данных. После очистки и консолидации данных полученная информация, скорее всего, еще не будет отвечать требованиям СППР, и, следовательно, будет нуждаться в соответствующем преобразовании – подготовке к хранению в оптимальной форме для реализации запросов, необходимых для принятия решений. Данные для пользователя удобно представлять в многомерных базах данных, где в качестве измерений могут выступать временные интервалы, географические регионы. Для разработки эффективного процесса преобразования данных необходима хорошо проработанная модель корпоративных данных и модель технологии принятия решений. 5. Загрузка – помещение данных в хранилище. Она разбивается на этапы: – пересылка консолидированных и преобразованных данных в базу данных поддержки принятия решений; – проверка целостности данных;– построение необходимых индексов, обеспечивающих быстрое выполнение запросов. 6. Обновление данных – производится атомарно, путем добавления новых фактов или корректировкой существующих. Обычно предусматривают частичную загрузку. Использование хранилищ данных предполагает анализ – сводные отчеты, OLAP, Data Mining. Data Mining – это технология интеллектуального анализа данных с целью выявления скрытых закономерностей в виде значимых особенностей, зависимостей, тенденций и шаблонов. Она позволяет исследовать и обнаруживать алгоритмами и средствами искусственного интеллекта в данных закономерности, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации человеком и необходимы для принятия решений в различных сферах деятельности.Известными производителями OLAP-продуктов, являются: MicroStrategy, SAP, Cartesis, Systems Union/MIS AG, Oracle, Applix, Microsoft, Hyperion, Cognos, Business Objects. Они очень конкурируют между собой и имеют свои преимущества и недостатки (таблица 4). Таблица 4Различие между производителями OLAPOLAP-технологии включает применение таких инструментов, как: статистика, теория вероятности, математика, компьютерные технологии, аналитика и другие. Работа в OLAP программе представляет собой графическое изображение куба (многомерного куба различных соотношений данных). Программа OLAP взаимодействует с такими программами, как: Access, Microsoft Excel и Microsoft Data Access Components, PivotTable Services и другие. При работе с OLAP используется язык програмирования SQL (декларативный язык программирования, применяемый для создания, модификации и управления данными в реляционной базе данных, управляемой соответствующей системой управления базами данных). Вначале SQL являлся главным способом для работы пользователя с базой данных, благодаря ему можно было выполнять следующий перечень операций: изменение структур и добавление в таблицу новых записей, удаление записей и т. д. Приведем примеры использования технологии разработки данных в разных сферах: 1) Страхование: анализ потребителей; анализ страховых требований; определение приоритетных предложений в области страхования. 2) Медицина: анализ закономерностей в поведении пациентов, их целях, финансовых возможностях и потребностях; поиск более эффективных стратегий и процедур в работе с пациентами. 3) Розничная торговля и маркетинг: составление прогнозов реакции по продажам, акциям; поиск закономерностей в покупках, сделках; сегментация клиентов по типам; анализ потребителя. 4) Банки: анализ клиентов, их надежность и платежеспособность; поиск закономерностей мошеннического использования кредитных карточек. OLAP-средства позволяют обращаться к серверным хранилищам в роли клиентских приложений, с которых можно брать данные и работутьа с: Microsoft Excel 2000, Seagate Analysis и др. Анализ финансовых показателей деятельность предприятия является главным инструментом для принятия управленческих решений. Примером может быть анализ из бухгалтерской отчетности активов и пассивов предприятия (см. рисунок 2). Кроме табличного вида данных, можно сделать 3D-изображение данных, для более удобного зрительного просмотра. Рис. 2. Изображение бюджета активов и пассивов в OLAPВ таблице присутствуют данные об депозитах, кредитовании, операциями с картами, ценными бумагами, расчетно-кассовое обслуживание и т. д. На графике прослеживается бизнес направление в разных сферах предприятия, так и в капитале. Для анализа клиентов компании берем другую базу данных и графические инструменты (см. рисунок 3). Рис. 3. Анализ клиентов в OLAPСуществуют различные склады для хранения товара (одежды, обуви) предприятия. Благодаря графику можем увидеть объем поставок и соотношение различных заказов клиентов. Также можно проследить сегмент целевой аудитории компании, которые схожи между собой. Продажи предприятия в сфере B2B приносят более крупные оптовые заказы, и размер фабрик клиентов корреляционно зависим с показателями объема продаж товара. Кроме того, что можно проанализировать данные сгруппировав их по названиям клиентов, можем сделать группировку по городам и регионам. Основные клиенты находятся в Москве. При том, что есть информация о сегменте рынка B2B, можем сделать вывод, что для поиска новых клиентов для сбыта, необходимо провести анализ регионов РФ на наличие подходящих вариантов. Также можно сделать анализ между состоянием экономических показателей региона; его климатических условий; специфики работы; количества подходящих предприятий и организаций, которые могут стать нашими клиентами; чтобы понять на каких областях сфокусировать силы предприятия на сбыт продукции. Практические рекомендации будут являться выводами из анализа данной темы: 1) использование OLAP дает дополнительные возможности развития и, как следствие, выводит предприятия, которые применяют OLAP-технологии, на лидерские позиции в конкурентной борьбе. При росте количества баз данных, сложнее вручную увидеть все возможные варианты решений проблемы и выбора, поэтому такие многомерные системы и позволяют добиться более качественных решений. 2) проблема с установкой и выбором программы, решается выбором необходимых характеристик и особенности программы. Для русскоязычных стран удобным будет использование MS SQL Server 2012, который можно скачать с официального сайта. Именно эта программы характерна удобством, свободой действий и простотой. 3) при установке OLAP программы, необходимо установить все необходимые пакеты и приложения для полного взаимодействия с: базой данных, хранилищем, управлением, инструментами анализа. При установке MS SQL Server 2012 пользователь получает все необходимое за один раз. 4) большая часть специалистов имеют определенные знания в работе с C1, но совершенно не знакомы с работой OLAP-систем, их установок и прочего. В интернете есть определенные YouTube-каналы, и книги для получения этого знания, но не все являются качественными и действительно помогающими в обучении. Поэтому на предприятии должен быть специалист, который уже знает основу и все нюансы работы в программе и может обучить других. Хотя при достаточном стимуле сотрудник сможет и самостоятельно изучить данный вопрос, но задачей менеджера является правильное руководство, которое обеспечивает комфортную среду для работы сотрудников. 5) OLAP - простая программа для визуализации данных (имеет несколько функций: хранение, анализ и обработку); OLAP заменяет систему отчетности (она лишь может работать с показателями отчетности, что позволяет анализировать актуальные данные); для получения результата лишь подключение OLAP-программы (OLAP-продукты обычно имеют возможности подключения к различным учетным системам, в большинстве случаев задача консолидации решается на уровне хранилища данных). Рекомендуется использовать также SAP Crystal Reports 10 (генератор отчетов). ЗаключениеСейчас бизнес невозможен без принятия обоснованных решений. Такие решения могут быть построены на основе всестороннего анализа результатов выполнения бизнес-процессов в организации и ее деятельности на рынке товаров и услуг. Время принятия решений в современных условиях и потоках информации сокращается. И роль анализа на основе новых информационных технологий возрастает. Традиционный анализ, как правило, осуществляется при помощи изучения набора готовых отчетных форм, а его результатом является принятие одного из бизнес-решений. На практике руководителю может потребоваться исследование множества комбинаций данных, не укладывающихся в имеющийся набор готовых отчетных форм. Эти проблемы легко решаются, если использовать OLAP-технологию. Она предполагает: – возможность полной и легкой настройки отчета без программиста; – возможность детализации отчета в процессе анализа данных; – непротиворечивость данных между отчетами; – простоту использования и восприятия отчетов.Несомненно, можно сказать, что OLAPтехнология является очень эффективным инструментом для успешного развития компании. Однако, следует отметить, что разработка приложений для многомерного анализа данных на основе OLAP технологии трудоемкий процесс, а построение хранилищ данных эта одна из важнейших задач, в условиях применения этой технологии.Список использованных источниковАльперович М.А. Введение в OLAP и многомерные базы данных [Электронный ресурс] – Режим доступа: http://www.olap.ru/basic/alpero2i.asp Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и Data Mining. Москва, 2015. – 425 с.Батьковский А.М., Трофимец Е.Н., Трофимец В.Я. Системы поддержки принятия решений в обороннопромышленном комплексе // Вопросы радиоэлектроники, серия СОИУ, 2015. – № 7. – С. 247-264.Блинов А.О. Реинжиниринг бизнес-процессов [Электронный ресурс]: учебное пособие/ Блинов А.О., Рудакова О.С., Захаров В.Я.— Электрон, текстовые данные.— М.: ЮНИТИ- ДАНА, 2012.— 341 с.— Режим доступа: http://www.iprbookshop.ru/16437.— ЭБС «IPRbooks».Сергиенко В.А. Введение в многомерный анализ [Электронный ресурс] – Режим доступа: https://habr.com/ru/post/126810/ Сравнение OLAP-серверов. [Электронный ресурс] – Режим доступа: http:// search.ebscohost. сот/Томсон Эрик. Построение многомерной информационной системы [Электронный ресурс] – Режим доступа: https://books.google.com.ua/books?id=eskZA1CFdqMC&printsec=frontcover&dq=Book+OL AP&hl=ru&sa=X&ved=0ahUKEwiI36368J7lAhXGwqYKHeTaCQ8Q6AEIOzAC#v=onepag e&q=Book%20OLAP&f=false Трофимец Е.Н. Автоматизированные системы поддержки принятия экономических решений: структура, функции, классификация // Материалы Международной научной конференции «Высокие технологии и инновации в науке» ГНИИ «Нацразвитие». Июль 2018: Сборник избранных статей. – СПб.: ГНИИ «Нацразвитие», 2018. – С. 133-139Федин Ф.О. Анализ данных. Часть 2. Инструменты Data Mining [Электронный ресурс]: учебное пособие/ Федин Ф.О., Федин Ф.Ф.— Электрон, текстовые данные.— М.: Московский городской педагогический университет, 2012.— 308 с.— Режим доступа: http://www.iprbookshop.ru/26445.— ЭБС «IPRbooks»Codd E. F., Codd S. B., Salley C. T. Providing OLAP (Online Analytical Processing) to User-Analysts: An IT Mandate. Codd & Date, Inc, 1993.