Информационные хранилища

Введение

На сегодняшний день существует масса источников информации об хранилище данных - это и книги и видео лекции и электронные учебники, и множество статей помогающих в освоении этого нелегкого дела сопровождения и администрирования хранилище данных. Хранилище данных (Data Warehouse) по сути представляет собой центр, в который собирается вся необходимая информация из различных подразделений предприятия.Прежде чем попасть в хранилище, данные должны быть соответствующим образом обработаны. БД, в которых происходит накопление, обработка первичных данных, на основании которых строится хранилище, будем далее называть транзакционными. Разные отделы могут использовать неодинаковые системы обработки со своими транзакционными БД. Соответственно, прежде чем использовать эти разрозненные данные, их нужно проанализировать.Этот процесс занимает весьма длительный период в процессе подготовки к созданию хранилища. В хранилище данных включены, средства повышения быстродействия и доступности, позволяющие распределить нагрузку и обеспечить бесперебойную работу, функции для улучшения управления и настройки, снижающие совокупную стоимость владения. Кроме того, хранилище данных полностью использует все возможности операционной системы Windows, а также другие ОС.При построении хранилища данных важную роль играют программные средства извлечения, преобразования и очистки данных.1. Назначение информационного хранилищаИнформационное хранилище (Data Warehousing) - это место хранения данных предприятия, предназначенное для упрощения принятия управленческих решений. Информационное хранилище включает в себя не только данные, но также инструменты, процедуры, обучение, персонал и другие ресурсы, облегчающие доступ к данным и делающие его более осмысленным для лиц, принимающих решения. Назначение информационного хранилища состоит в увеличении ценности информационных активов предприятия.Роль информационного хранилища заключается в том, чтобы хранить выдержки из рабочих данных и выдавать их пользователям в удобном формате.Информационные хранилища служат для хранения, комбинирования, агрегирования, преобразования и доставки данных пользователям с помощью средств анализа и принятия решений, таких как OLAP. Информационное хранилище считается новым этапом представления данных в рамках современных бизнес-процессов. Концепция информационных хранилищ предложена в 1990 году Уильямом В этом определении соединены две различные функции:- сбор, организация, подготовка данных для анализа в виде постоянно наращиваемой базы данных;- анализ, как элемент принятия решений.Назначение информационного хранилища заключается в следующем:- интеграция данных в масштабе бизнес-процессов;- функционально-стоимостной анализ эффективности бизнес-процессов;- сложные аналитические запросы в разрезах: виды услуг, клиенты, регионы, технологии;- анализ данных в динамике и в сравнении с показателями отрасли. Основная цель информационного хранилища - сделать все значимые для управления бизнесом данные доступными в стандартизованной форме, пригодными для анализа и получения необходимых отчетов.2. Виды информационных хранилищХранилище данных – это система, содержащая непротиворечивую интегрированную предметно-ориентированную совокупность исторических данных крупной или иной организации с целью поддержки принятия стратегических решений.Рост числа разнородных хранилищ информации как внутри предприятия, так и за его пределами повышает сложность поиска и доступа к ней. Информация может храниться в бесконечном количестве мест, включая хранилища данных, базы данных, приложения коллективной работы, Web-сайты, электронная почта, корпоративные приложения и многое другое.Корпоративные хранилища неструктурированной информации появились вместе с первыми носителями данных. Однако на протяжении многих лет единственной основой корпоративных хранилищ, доступ к которым имели конечные пользователи, оставалась файловая система. С появлением корпоративных систем управления содержанием (их создатели предложили такие функции работы с информацией, как управление версиями и правами доступа, бизнес-правила, рассылка и т.д.) понадобилось соответствующим образом адаптировать модель хранилищ, устанавливая типы содержания, атрибуты, жизненные циклы и т.д. Чтобы обеспечить возможность подобной адаптации, корпоративные системы стали предлагать свои собственные модели, которые в отличие от файловых систем обладали куда большим спектром параметров для настройки. Наиболее популярной моделью хранилища содержания стала объектно-ориентированная модель, в которой любая информационная единица представляется самостоятельным объектом определенного типа и имеет уникальный набор атрибутов (классификаторов).Объектно-ориентированная модель имеет определенные преимущества перед традиционной реляционной моделью, поддерживая наследование признаков типов объектов, таких как состав атрибутов и операций. Благодаря этому при развитии структуры хранилища, а также при появлении новых функциональных задач не требуется вносить исправления в текущие настройки; достаточно создать потомков уже готовых типов объектов, добавив к ним новые функции.С увеличением числа внешних пользователей корпоративных хранилищ информации появилась необходимость в обеспечении удаленного доступа к хранилищам и возможности построения распределенных федеративных хранилищ. Ответом на эти требования стало создание технологий, которые позволили строить распределенные корпоративные информационные среды.Виртуальные хранилищаВ компании Documentum видят направление дальнейшей эволюции корпоративных хранилищ содержания в формировании виртуальных хранилищ. Концепция таких хранилищ состоит в том, что конечный пользователь, работая в привычных для себя приложениях, получает одновременный доступ к неструктурированной информации из разных источников. Виртуальное хранилище содержания составляют несколько механизмов.Интеграция корпоративного содержания. Обеспечивает универсальный доступ ко всем источникам информации — как внутри предприятия, так и за его пределами. Необходимость в таком механизме обусловлена тем, что с ростом числа возможных источников информации пользователю приходится работать с множеством документов и Web-страниц. Механизм интеграции корпоративного содержания призван сформировать универсальную программную и пользовательскую среду для доступа ко всем возможным источникам информации. Такая программная среда должна быть максимально открытой, поддерживать все актуальные стандарты, интерфейсы и протоколы обмена данными.Управление бизнес-процессами. Предоставляет единый доступ пользователей к задачам бизнес-процессов из разных информационных систем и обеспечивает их интеграцию. В управлении бизнес-процессами предприятия, как правило, задействовано несколько информационных систем (скажем, ERP и ECM); кроме того, в них могут принимать участие внешние пользователи и системы. Это требует обеспечить прозрачность взаимодействия между системами и универсальность доступа конечных пользователей к функциям бизнес-процессов. Обеспечение единого пользовательского интерфейса к потоку работ для всех информационных систем, возможность обмена данными через разнообразные интерфейсы и протоколы, интеграция со средствами анализа и моделирования бизнес-процессов, формирование отчетов — вот лишь основные требования концепции управления бизнес-процессами.Обмен содержанием. Позволяет передавать информацию из одной информационной системы в другую, а также за пределы корпоративной информационной среды. Информационные потоки любого предприятия не ограничиваются внутренним информационным пространством. Существует масса разнородных путей поступления информации, которую требуется поместить в корпоративное хранилище (факс, сканер, электронная почта, Web и др.). С другой стороны, существует и множество разнородных получателей информации, каждый из которых имеет свои каналы передачи данных и требует уникального формата представления (например, вывод на печать, отправка по электронной почте, запись на диск). Виртуальное хранилище должно обеспечивать поддержку всех современных каналов коммуникаций и позволять преобразовывать информацию в те формат и представление, которые требуются получателю. Классификация и категоризация. Делает возможным создание единой базы предметных классификаторов для распределенных объектов виртуального хранилища. Для возможности оперативного доступа к объектам виртуального хранилища, быстрого поиска, запуска бизнес-процессов, определения назначения той или иной информации виртуальное хранилище должно поддерживать единую систему их классификации.Платформа Documentum обеспечивает управление бизнес-процессами, поддерживает обмен содержанием и классификацию содержания. Расширив линейку своих продуктов инструментарием интеграции содержания, компания сделала возможным построение виртуальных хранилищ содержания.Важно подчеркнуть, что Documentum не предоставляет решения класса EAI (enterprise applications integration — «интеграция приложений предприятия»), основная цель которых состоит в том, чтобы интегрировать функции и транзакционные данные различных информационных систем. Компания ориентируется на интеграцию и классификацию неструктурированных типов содержания (традиционные документы, чертежи, отчеты, Web-ресурсы, отсканированные документы, мультимедийные данные и др.), расширяет возможности по предоставлению унифицированного доступа к таким ресурсам пользователей и приложений.3. Компоненты информационного хранилищаПО промежуточного слоя.Обеспечивает сетевой доступ и доступ к базам данных. Сюда относятся сетевые и коммуникационные протоколы, драйверы, системы обмена сообщениями и пр.Транзакционные БД и внешние источники информации.Базы данных OLTP-систем исторически предназначались для эффективной обработки структур данных в относительно небольшом числе четко определенных транзакций. Из-за ограниченной целевой направленности «учетных» систем применяемые в них структуры данных плохо подходят для систем поддержки принятия решений. Кроме того, возраст многих установленных OLTP-систем достигает 10 - 15 лет.Уровень доступа к данным.Относящееся сюда ПО обеспечивает общение конечных пользователей с информационным хранилищем и загрузку требуемых данных из транзакционных систем. В настоящее время универсальным языком общения служит язык структурированных запросов (SQL).Загрузка и предварительная обработкаЭтот уровень включает в себя набор средств для загрузки данных из OLTP-систем и внешних источников. Выполняется, как правило, в сочетании с дополнительной обработкой: проверкой данных на чистоту, консолидацией, форматированием, фильтрацией и пр.Информационное хранилище.Представляет собой ядро всей системы - один или несколько серверов БД.Метаданные.Метаданные (репозиторий, «данные о данных»). Играют роль справочника, содержащего сведения об источниках первичных данных, алгоритмах обработки, которым исходные данные были подвергнуты, и т.д.Уровень информационного доступа.Обеспечивает непосредственное общение пользователя с данным DW посредством стандартных систем манипулирования, анализа и предоставления данных типа MS Excel, MS Access, Lotus 1-2-3 и др.Уровень управления (администрирования).Отслеживает выполнение процедур, необходимых для обновления информационного хранилища или поддержания его состояния. Здесь программируются процедуры подкачки данных, перестройки индексов, выполнения итоговых (суммирующих) расчетов, репликации данных, построения отчетов, формирования сообщений пользователям, контроля целостности и др.4. Облачные хранилищаОтличительной чертой нашего времени является постоянный рост объема деловой информации. Дизайнеры, маркетологи, копирайтеры, представители IT-профессий, а также компании, работающие с огромными массивами данных, постоянно нуждаются в надежном месте, в котором можно было бы хранить ценные файлы. Если раньше их держали на дискетах, флешках и компакт-дисках, то сейчас лучше всего отправлять их в облачные хранилища.В общем и целом, это специально выделенное место на серверах, куда любой пользователь может закачать различные документы: текстовые файлы, любимые аудиозаписи и видеоролики, картинки, гифки, переписку из мессенджеров и многое другое. При этом серверы могут находиться где угодно: в Европе, Азии или Северной Америке.Механизм облачного хранилища очень прост: нужно установить клиентское приложение и зарегистрироваться в нем. После чего можете спокойно сбрасывать в «облако» любую информацию, обмениваться ей с коллегами, обновлять ее, просматривать и так далее. Доступ к нему можно получить с любого устройства и из любого места, в котором есть Интернет. Создать облачное хранилище сейчас проще простого!Поскольку данные бывают разные, то и хранить их лучше в подходящих для этого местах. По типу организации облачные хранилища делятся на:- файловые;- блочные;- объектные;- базы данных.Файловое хранилище.В основе файловой системы лежит иерархическая структура: корневая запись, от которой отходят данные о файлах и их атрибутах. Все они, в свою очередь, организованы в удобную структуру каталогов – зная имя того или иного документа, доступ к нему можно получить, щелкнув мышью по его имени. С ними можно осуществлять любые операции – открывать, изменять, переименовывать, удалять, копировать, перемещать в другую папку.Файловое хранилище может быть двух видов: физическим и виртуальным. В первом случае данные сохраняются на жестком диске, во втором – на виртуальном. Последний имеет намного больший объем чем жесткий, а еще туда можно настроить удаленный доступ. В качестве примера можно привести Dropbox, «Облако Mail.Ru», «Google Диск», «Яндекс. Диск» и другие аналогичные им сервисы.Преимущества:- Простая и понятная структура.- В таком хранилище легко ориентироваться, искать нужные документы. Недостатки:- Ограниченность в объеме, по мере заполнения которого падает скорость доступа, а вместе с ней и производительность.Блочное хранилище.В блочном хранилище структура размещения та же, но все попадающие туда файлы делятся системой на блоки, каждому из которых присваивается свой идентификатор. С его помощью система собирает файлы в случае надобности.Преимущества:- Каждая пользовательская среда находится отдельно, за счет чего можно рассортировывать данные и обеспечить отдельный доступ к ним.- БХ обеспечивает повышенную производительность: благодаря хост-адаптеру шины, который разгружает процессор и освобождает его ресурсы для выполнения других задач. Недостатки:- Оно дороже, и им трудно управлять, поскольку работа с блоками создает дополнительную нагрузку на базу данных.- Оно, как и файловое, ограничено в объеме.Объектное хранилище.Это самый популярный тип хранилища. Вместо файловой системы в нем есть плоское пространство, состоящее из множества объектов, каждый из которых состоит из идентификатора и метаданных. Идентификатор – это присвоенный адрес, в роли которого выступает 128-битное число. Зная его можно без труда найти нужный файл. Метаданные (информация о файле) – его имя, размер, координаты и другая информация. Объектные хранилища бывают частными или публичными. В первом случае оно создается в частном облаке, во втором – облако берут в аренду у провайдера публичных облаков.Достоинства:- Возможность работы с колоссальным объемом информации. Общий объем данных, хранящихся в Haystack Facebook, оценивается в 357 петабайт.- Возможность хранения резервных копий данных, особенно тех, от которых зависит жизнедеятельность системы (например, файлы для аварийного восстановления).- Возможность проверки корректности файлов и обеспечения быстрого доступа к ним.Недостатки:- Сложно называть объекты.- Во многих объектных хранилищах отсутствует интерфейс для загрузки и управления файлами.Для чего подходит: для хранения больших данных, текстовых документов, изображений, медиафайлов, переписок и многого другого.База данных.База данных – это совокупность определенной информации, хранящаяся в строго установленном порядке на физических или виртуальных носителях. Она управляется специальной программой под названием СУБД (Система Управления Базами Данных). СУБД позволяет обрабатывать любые тексты, графику, медиа; с ними можно делать все что угодно: хранить, анализировать, тестировать продукты и обновления, запускать новые проекты.Она очень хорошо подходят для постоянных типовых операций. Например, туда записывается информация о заказах, поступающих в интернет-магазин, на основе которой приложение автоматически выписывает счет на оплату. Примером такой базы может стать нереляционная высокопроизводительная СУБД Redis, она хранит данные в оперативной памяти.Базы данных могут находиться либо на сервере, либо в облаке. Облачные СУБД сегодня являются самыми популярными в своей области. Согласно исследованиям Market Realist, их используют 35% респондентов, экспериментируют с ними 14%, планируют внедрение – 12%.Преимущества:- Облачные базы данных имеют практически неограниченный объем хранения.- Есть функция резервного копирования.- Они обладают высоким внешним и внутренним уровнем безопасности, который обеспечивается техническими средствами и экспертами.- Поддержка многозадачного и многопользовательского режимов.Недостатки:- Сложность управления, что требует затрат на соответствующий персонал и ПО.- В случае нахождения их на физическом носителе имеют ограниченный объем, так что может потребоваться увеличение дискового пространства.- Высокая стоимость разработки и эксплуатации.Для чего подходят: для управления однородными массивами данных.
Заключение

Для развития и процветания бизнеса недостаточно просто владеть информацией, все зависит от качества владения - умения четко и быстро определять категорию показателей, на основании которых требуется принимать решение, проводить анализ определенных значений данных показателей с различной степенью детализации с учетом всех параметров, оказывающих на них влияние.Хранилище данных является хорошим инструментом в решении данной задачи. Тот, у кого есть средства, позволяющие четко представить картину бизнес-данных, их взаимосвязь, историю возникновения, временную глубину, оказывается в выигрыше. Он может отследить тенденции развития, спрогнозировать возможные изменения, и, соответственно, получить конкурентные преимущества. Качественная визуализация данных, ориентированных на различные группы работников и отделы - одна из основных задач, решаемых с помощью хранилища данных.Хранилище предоставляет возможность получения каждым подразделением данных в разрезе интересующих его показателей, в удобном и привычном для сотрудников этого подразделения виде. Можно сравнить хранилище с огромным складом с большим ассортиментом продукции, а информацию по подразделениям, получаемых из него, с небольшими специализированными отделами, где собрана соответствующая категория товаров. Такого рода специализированные представления информации, часто называют витринами данных.Создание хранилища данных и соответствующей инфраструктуры начинается с тщательного планирования и определения сроков работ. Первое – как уже говорилось выше – надо четко определить цели визуализации данных. Должна быть проанализирована отчетность компании. Целесообразно разбить отчетность на обязательную (предоставляемую в контролирующие органы) и внутрикорпоративную.

Список использованных источников

1. Автоматизированные информационные технологии управления / под ред. ироф. Г. А. Титоренко. — М.: ЮНИТИ, 2018. – 315 с.2. Лохипенков, С. Я. Хранилища данных / С. Я. Архипенков, Д. В. Голубев, О. Б. Максименко. — М.: Диалог-МИФИ, 2020. – 250 с.3. Баранов, В. В. Исследование систем управления предприятием / В. В. Баранов, А. В. Зайцев, С. И. Соколов. — М.: Альпина Паблишер, 2018. – 310 с.4. Бахтизин, А. Р. Агент-ориентированные модели экономики / А. Р. Бах- тизин. — М.: Экономика, 2018. – 288 с.5. Болотова, JI. С. Системы искусственного интеллекта: модели и технологии, основанные на знаниях : учебник / Л. С. Болотова. — М.: Финансы и статистика, 2018. – 344 с.6. Бурков, В. Н. Введение в теорию управления организационными системами: учебник / В. Н. Бурков, Н. А. Коргин, Д. А. Новиков ; под ред. Д. А. Новикова. — М.: Либроком, 2019. – 274 с.7. Василевская, Т. И. Производственный менеджмент: инновационная адаптивная система управления предприятием и координации жизненного цикла продукта на основе PLM-технологий. В 2 кн.: учебник / Т. И. Василевская, В. Н. Гончаров, Н. А. Саломатин. — Минск : БДП, 2018. – 360 с.8. Васильев, Р. Б. Управление развитием информационных систем / Р. Б. Васильев, Г. Н. Каляпов, Г. А. Левочкина. — М. : Горячая линия - Телеком, 2018. – 264 с.9. Гаврилова, Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. — СПб.: Питер, 2017. – 213 с.10. Гейтс, Б. Бизнес со скоростью мысли / Б. Гейтс. — 2-е изд., испр. — М.: Эксмо, 2017. – 220 с.11 .Данилин, А. Архитектура и стратегия. «Инь» и «янь» информационных технологий / А. Данилин, А. Слюсаренко. — М.: ИНТУИТ, 2017. – 215 с.12. Дрогобыцкий, И. Н. Системный анализ в экономике : учебник / И. И. Дрогобыцкий. - М.: ЮНИТИ-ДАНА, 2018. – 277 с.13. Друкер, II. Задачи менеджмента в XXI в.: пер. с англ. / П. Друкср. — М.: Вильямс, 2018. – 195 с.14. Друри, К. Введение в управленческий и производственный учет : учеб, пособие: пер. с англ. / К. Друри ; под ред. И. Д. Эриашвили. — 3-е изд., перераб. и доп. — М. : Аудит : ЮНИТИ, 2018. – 180 с.15. Зиндер, Е. 3. Бизнес-реинжиниринг и технологии системного проектирования : учеб, пособие / Е. 3. Зиндер. — М. : Центр Информационных Технологий, 2017. – 300 с.