Дисковые массивы и уровни RAID

СОДЕРЖАНИЕ
ВВЕДЕНИЕ ……………………………………………………………………… 2
1. УРОВНИ RAID-МАССИВА …….…………………………….………….… 5
RAID 0,1 ……………………………………………………………..…. 6
RAID 2 …………………………………………………..……………… 9
RAID 3 …………………………………………………………………10
RAID 4 …………………………………………………………………11
RAID 5 …………………………………………………………………12
ДРУГИЕ УРОВНИ RAID-МАССИВА …………………………………...16
ЗАКЛЮЧЕНИЕ …………………………………………………………………22
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ ……………………………24

ВВЕДЕНИЕ
RAID является технологией виртуализации данных, объединяющей несколько дисков в один логический диск для увеличения избыточности и производительности. Слово RAID переводится как избыточный массив независимых дисков.
Объемы информации стремительно растут, что вызывает потребность в существенном увеличении производительности системы хранения данных и повышении надежности хранения данных. Частично эту проблему решает резервное копирование данных.
В настоящее время возможности накопителей данных и мощности процессоров не сбалансированы между собой, не справляются с этой задачей SCSI и IDE диски. В виде альтернативы возможно использовать совместно на одном компьютере несколько винчестеров с целью увеличения его производительности. Сбой одного винчестера не приведет к потере данных, которые дублируются на резервном винчестере для возможности их восстановления. Такая схема работы повышает надежность хранения данных.
Эта идея принадлежит команде ученых Д. Паттерсона в Калифорнийском университете. В частности, в 1987 в своей статье «Избыточный массив недорогих дисков» освящался способ объединения нескольких винчестеров в одно логическое устройство – RAID-массив. Изначально такой массив состоял из дешевых винчестеров. В результате анонсировалось увеличение емкости, надежности такого хранилища данных и быстродействия такой схемы.
Тема изучения дисковых массивов и уровней RAID является актуальной ввиду достаточной популярности технологии RAID.
При написании работы использовались печатные издания и Интернет-ресурсы образовательного характера.
Объект исследования  работы - дисковые массивы и уровни RAID, а предмет – технология RAID.
Цель данной работы в получении целостной картины о технологии RAID.
Для достижения поставленной цели требуется решение следующих задач:
исследовать способы объединения дисков в RAID-массив;
ознакомиться с принципами построения уровней RAID-массива;
изучить их возможности;
рассмотреть их преимущества и недостатки;
сделать выводы.
1. УРОВНИ RAID-МАССИВА
Технология объединения нескольких винчестеров в единое логическое устройство – параллелизм существенно увеличивает производительность ввода-вывода данных. Однако увеличение количества винчестеров в массиве приводит к снижению ее надежности [9]. Поэтому в процессе эксплуатации массива приходится выбирать между емкостью памяти и пропускной способностью ввода-вывода. Расширение массива за счет включения дополнительных винчестеров с избыточными данными позволяет восстановить данные с резервного винчестера в случае сбоя.
Существует несколько способов объединения дисков в RAID-массив. На каждом из них решается вышестоящая дилемма.
Для винчестера RAID-массива существует понятие среднего времени восстановления. Если массив имеет горячий резерв в виде дополнительных винчестеров, то среднее время восстановления существенно сокращается.
Подключение резервного диска осуществляется благодаря имеющимся программно-аппаратным средствам. На оператора возлагается только обязанность ручной замены отказавших винчестеров на резервные - работоспособные.
В результате сбоя винчестера необходимо предпринять следующие действия:
выявить отказавший винчестер;
без остановки обработки устранит отказ;
восстановить данные на резервном винчестере;
заменить отказавший винчестер на резервный.
Существует несколько способов объединения дисков в RAID-массив. На каждом из них решается вышестоящая дилемма.
Де-факто существуют следующие стандартные уровни спецификации RAID:
RAID 1 - зеркальный дисковый массив;
RAID 2  - зеркальный дисковый массив с кодом Хемминга;
RAID 3 и RAID 4 - дисковые массивы с чередованием и выделенным диском четности;
RAID 5 - дисковый массив с чередованием.
Что касается современных RAID-массивов, то они представлены следующими уровнями:
RAID 0 - дисковый массив (без избыточности) с повышенной производительностью и чередованием, но без отказоустойчивости;
RAID 6 - дисковый массив с чередованием и с использованием 2-х контрольных сумм по разным алгоритмам;
RAID 10 - массив RAID 0, построенный на базе массивов RAID 1;
RAID 01 - массив RAID 1, построенный на базе RAID 0, с низкой отказоустойчивостью;
RAID 1E – зеркальный дисковый массив из 3-х устройств.
Аппаратный RAID-массив может обладать дополнительными функциями.
Кроме того, существуют RAID-массивы файловой системы ZFS: RAID-Z, RAID-Z2, RAID-Z3 (с 1, 2 и 3-я избыточными дисками).
RAID 0,1
Это базовый изначальный уровень RAID 0, который по сути не является дисковым массивом. Количество винчестеров в нем от одного и более, но при этом нет резервирования.
В массиве данные разбиваются на блоки данных, записываемые одновременно на несколько винчестеров (рис. 1) [1, с.221].
Рисунок 1 - RAID 0
Достоинство RAID 0: существенное увеличение производительности, кратное количеству винчестеров.
Недостатки RAID 0:
надежность массива ниже надежности винчестеров в нем;
при увеличении количества винчестеров в массиве снижается его надежность;
массив станет неработоспособным при отказе любого винчестера массива, поскольку он не поддерживает резервирование.
Если массив дополнить зеркальными винчестерами, то получится уровень RAID 1. Это приведет к повышению надежности массива. В этом случае поддерживается параллельное считывание (рис. 2).
Достоинства RAID 1 [4]:
более высокая надежность хранения данных, в сравнении с RAID 0;
массив работоспособен до потери работоспособности последнего винчестера, поскольку вероятность выхода из строя сразу нескольких винчестеров равна произведению вероятностей отказа каждого из них;
 Рисунок 2 - RAID 1
требуется восстановление избыточности для поддержания постоянной доступности использование винчестеров «горячего резерва» [10];
более высокая скорость записи, особенно при распараллеливании запросов.
Недостатки RAID 1:
двойное увеличение стоимости из-за дублирования всех винчестеров массива и записей на проверочный диск;
только половина емкости винчестеров используется для хранения данных;
не эффективное использование емкости памяти и снижение пропускной способностью ввода-вывода данных для обеспечения высокой надежности [2, с.82].
Этот уровень получил широкое распространение для повышения отказоустойчивости системы благодаря зеркалированию, дублированию контролеров и магистралей ввода-вывода. Однако высокая стоимость данного уровня повлияла на возникновение следующего.
1.2. RAID 2
Для обеспечения высокой надежности системы, учитывая снижение потерь емкости памяти, необходима организация основной памяти. С этой целью вводят использование избыточных контрольных разрядов, позволяющих исправлять одиночные ошибки и обнаружить двойные ошибки. Данное решение повторяется поразрядным расслоением данных, а после данные записываются на винчестеры массива. Такой дисковый массив должен содержать контрольные винчестеры, чтобы находить и исправлять одиночные ошибки. 1 винчестер контроля четности на обнаружение одиночной ошибки, и еще несколько для ее исправления [12] (рис. 3).
Данная схема обеспечивает для дискового массива любого размера один поток ввода-вывода. Большие группы массивов существенно снижают избыточную емкость, но обеспечивают высокий уровень отказоустойчивости. В случае небольших групп массивов наблюдается снижение операций ввода-вывода, выполняемых параллельно [3].
 Рисунок 3 - RAID 2
Достоинство RAID 2 заключается в производительности аналогичной RAID 1 в случае записи больших объемов данных при наличии меньшего количества контрольных дисков.
Недостатки RAID 2:
при передаче небольших массивов данных снижается производительность, поскольку операции чтения-записи производятся для всей группы полностью;
данный уровень целесообразен для обработки транзакций и в суперкомпьютерах;
требуется структура двойного количества дисков.
Из-за имеющихся недостатков данный уровень не достаточно распространен.
1.3. RAID 3
Превалирующая часть контрольных дисков RAID 2 предназначения для поиска неисправного разряда. Такие диски считаются полностью избыточными, поскольку контроллеры способны выявить отказ винчестера по спецсигналу дискового интерфейса, дополнительного кодирования информации, записываемой и используемой для исправления случайных сбоев. В случае возможности определения контроллером положения ошибочного разряда для восстановления потребуется 1 бит четности. Уменьшение количества контрольных винчестеров (1 на группу) позволит значительно снизить избыточность емкости.
Как правило, в таком массиве количество винчестеров 4 штуки и 1 контрольный (рис. 4).
Компании-изготовители массивов уровня RAID 3: Micropolic и Maxtor.
Достоинства RAID 3 [2, с.84]:
высокая скорость чтения-записи;
не требуется большого количества винчестеров при построении массива (от 3-х).
  Рисунок 4 - RAID 3
Недостатки RAID 3 [7]:
целесообразнее использовать для однозадачной работы с емкими файлами;
надежность контрольного винчестера из-за больших нагрузок значительно меньше надежности остальных винчестеров массива.
1.4. RAID 4
Параллелизм RAID 4 приводит к увеличению производительности передачи небольших объемов данных. Так в единицу времени к группе происходит больше одного обращения ввода-вывода. При этом логические блоки передачи не распределены по отдельным винчестерам, каждый блок размещается на своем месте на отдельном винчестере (рис. 5).
Достоинства RAID  4 [4]:
простота обнаружения и исправления ошибок (кода Хэмминга) в массиве за счет поразрядного расслоения;
обнаружить ошибки отдельного считывания при записи отдельного блока передачи в отдельный сектор можно без доступа к дополнительным винчестерам;
Рисунок 5 - RAID  4
расслоение на уровне битов, а не сектора как в RAID 3;
2. простота обновления контрольной информации: старые блоки данных, четность и новые блоки данных для определения новой четности.
Недостаток уровня RAID  4 заключается в использовании 2-х винчестеров для записи небольших объемов данных. Производительность групповых операций записи и считывания не меняется, а для записей и считываний небольшой емкости производительность увеличивается. Уровень RAID  4 не стал популярным вследствие того, что его производительность по сравнению с предыдущим уровнем заметно не увеличилась. [8].
1.5. RAID 5
В предыдущем уровне RAID 4 внедрен параллелизм при считывании отдельных винчестеров. Запись данных ограничивается одной операцией на группу – операции записи-чтения контрольного винчестера осуществляются для каждой операции [9].
В RAID 5 контрольная информация распределена между всеми винчестерами группы. В результате существенно растет производительность системы при записи небольших объемов данных.
Если спланировать операций записи с обращением к разным винчестерам за данными и четностью, то достигается параллельное выполнение количества операций, вдвое меньших, чем количество винчестеров в массиве. При этом производительность операций записи-чтении значительно возрастает для любой размерности массива [5] (рис. 6).
Рисунок 6 RAID 5
Достоинство RAID 5 – высокая экономичность. Объем такого дискового массива, построенного на уровне RAID 5, составляет произведение количества винчестеров минус один на емкость наименьшего винчестера.
Стоит отметить, что данный уровень для записи данных потребует дополнительных вычислений и операций записи, что влечет за собой небольшое уменьшение производительности. В сравнении с простым винчестером операции чтения RAID 5-массива параллельно обрабатывают потоки данных сразу от нескольких винчестеров [5].
Недостатки RAID 5 [6]:
небольшая производительность (на 25% меньше производительности RAID 1/10) для операций записи в произвольном порядке, поскольку требуется большее количество операций с винчестерами;
если выйдет из хотя бы один винчестер массив будет находиться в критическом режиме с невысокой производительностью;
уровень надежности RAID 5 примерно равен надежности RAID 0  с одинаковым количеством винчестеров, но при этом надежность массива будет меньше надежности локального винчестера в количество раз, равное количеству винчестеров в массиве;
в случае выхода из строя одного винчестера или возникновения невосстановимой ошибки чтения на нем, то до полного восстановления массива данные на таком винчестере нельзя восстановить стандартными методами;
при выходе из строя винчестера в результате восстановления данных из-за избыточности увеличится нагрузка чтения, что вероятнее всего повлечет за собой выход из строя оставшихся винчестеров массива;
выявление в массивах малоактивных и архивных данных необнаруженных ранее сбоев чтения при восстановлении может также способствовать возникновению сбоя массива, поэтому лучше ограничиться тремя винчестерами на массив [1, с.215].
Существует новый усовершенствованный уровень RAID 5EE, который  поддерживается не всеми контроллерами. Уровень RAID level-5EE аналогичен RAID-5E, но имеет меньшее время восстановления и показывает эффективность при использовании резервного винчестера. Уровни RAID level-5E и RAID 5EE создают ряды данных и контрольные суммы для всех винчестеров массива. Что касается уровня RAID-5EE, то он наиболее производителен и надежен.
В уровне RAID level-5E емкость массива ограничена емкостями контрольного и резервного винчестеров. Резервный винчестер – это часть RAID level-5E. В уровне RAID level-5E для резерва используется неразделенное свободное место, а в уровне RAID level-5EE в резервном винчестере имеются блоки контрольных сумм, чтобы оперативно перестроить данные при поломке винчестера. Эта конфигурация не функционирует с другими массивами. Если будет потребность в запасном винчестере для другого массива, то понадобиться дополнительный резервный диск.
Уровень RAID level-5E может содержать от 4-х до 16-и винчестеров, это зависит от их емкости и уровня прошивки из-за ее специфичности у рассматриваемого уровня. Здесь можно использовать один логический том [11].
Достоинства RAID 5EE:
высокий уровень защити данных;
большая емкость винчестеров в сравнении с уровнем  RAID-1/1E;
высокая производительность массива;
быстрый процесс восстановления данных.
Недостатки RAID 5EE:
производительность ниже, чем у RAID-1/1E;
поддерживается один логический том на массив;
нельзя совместно использовать резервный винчестер с другими массивами;
поддерживается не всеми контроллерами.
2. ДРУГИЕ УРОВНИ RAID-МАССИВА
Стоит отметить, что уровень RAID 5 обладает одним измерением матрицы дисков, в качестве второго измерения выступают секторы. Если объединить винчестеры в двумерный массив, то секторы уже будут выступать в качестве третьего измерения. Этот принцип используется в следующе уровне - RAID 6 (рис. 1).
Рисунок 1 - RAID 6
Для расслаивания при параллельной записи можно сделать контроль четности по строкам и столбцам. В результате – система сохранит стабильность даже при выходе из строя 2-3 винчестеров [4].
При логической записи происходит шесть обращений к винчестеру: к старым данным; к четности по строкам и столбцам; запись новых данных и четности.
Для некоторых применений данная избыточность приемлема из-за их требовательности к отказоустойчивости, а для обработки транзакций и суперкомпьютеров - нет.
В сравнении с системой, у которой превалируют небольшие записи и считывания, не учитывая стоимость емкости памяти, уровень RAID 1 будет показывать большую производительность [4]. Если же учитывать стоимость емкости памяти и каким-то образом добиться снижения вероятности возникновения небольших записей, то уровень RAID 6 будет предпочтителен, поскольку покажут лучшую производительность. Вероятность появления небольших записей можно снизить благодаря высокому коэффициенту отношения числа считываний к числу записей при эффективной буферизации считываний и изменений записи. Кэширование файлов тоже способствует преобразованию небольших записей к большим.
Стоит отметить, что по сути RAID 7 является торговой маркой Storage Computer Corporation, а не уровнем. Структура этого заключается в хранении данных на всех винчестерах, кроме одного, предназначенного для хранения блоков четности. Запись на винчестеры кешируется за счет оперативной памяти. В этой схеме необходимо использовать источник бесперебойного питания, препятствующий повреждению данных.
Уровень RAID 10 – зеркалированный массив. В этом уровне запись данных осуществляется сразу на несколько винчестеров, как у  RAID 0 (рис. 2). Архитектурно RAID 10 аналогичен массиву RAID 0, при этом его сегменты выступают не в роли отдельных винчестеров, а в роли массивов RAID 1. Каждый массив имеет от 4-х винчестеров. Данная схема обладает достаточно высокой производительностью и отказоустойчивостью [6].
По умолчанию контроллеры настроены на режим RAID 1+0. Таким образом, один винчестер является базовым, а второй - зеркальным. При этом с винчестеров происходит поочередное считывание. Уровни RAID 10 и RAID 1+0 отражают одинаковый метод зеркалирования.
Недостатком RAID 10 является не очень высокая надежность, целостность уровня обеспечивается только при отказе половины винчестеров. Тут важно отметить, что при сбое 2-х дисков зеркальной пары произойдет разрушение массива.
 Рисунок 2 - RAID 10
Уровни от RAID 0-5 имеют следующие комбинации: RAID 1+0, RAID 3+0, RAID 5+0, RAID 1+5, при этом [10]:
RAID 1+0 включает  зеркалирование и чередование;
RAID 5+0 организует  чередование томов RAID 5;
RAID 1+5 совмещение RAID 5 из зеркалированных пар.
Крайне важно, что комбинированные уровни обладают недостатками и достоинствами своих основных уровней, из которых они составлены. Чередование в RAID 5+0 не повышает надежность системы, но сказывается в лучшую сторону на производительности. Уровень RAID 1+5 показывает высокую надежность, но при этом и невысокое быстродействие. Такая комбинация уровней неэкономична, поскольку предполагает использование только половины общей емкости винчестеров в качестве полезной емкости массива.
Комбинированные массы имеют следующее количество винчестеров: RAID 5+0 - 6 или 8; в RAID 1+0 - 4, 6 или 8.
Matrix RAID не является уровнем, это торговая марка компании Intel, имеющая аппаратный аналог RAID-контроллера. Matrix RAID содержит не много винчестеров, но может организовать несколько RAID 1,0,5. Данная схема при определенных условиях приводит у высокой надежности или высокой скорости доступа (рис. 3).
Рисунок 3 - Matrix RAID 
Чтобы создать RAID-массив применяют аппаратные и программные средства [2, с. 90]. ОС Linux с этой целью оснащены специальным модулем ядра и утилитой mdadm для управления RAID-массивом.
Преимущества программных RAID заключаются в небольшой стоимости, по сравнению с аппаратными.
Главный недостаток программных RAID – дополнительная нагрузка на центральный процессор. При пиковой нагрузке на дисковую систему большая часть мощности процессора уходит обслуживание RAID-массива.
Что касается ОС GNU/Linux, то ядро поддерживает программные RAID следующих видов: 0,1,4,5,6,10 (рис. 4). Кроме того, можно создать RAID-массив на отдельных разделах дисков, аналогично Matrix RAID. ОС представляет возможности загрузки с RAID-массива.
Рисунок 4 - RAID-массива в LinuxОС Windows NT аналогично имеет поддержку программного RAID: 0,1,5 (рис. 5).
Рисунок 5 - RAID-массив в Windows NT
ОС FreeBSD также занимается поддержкой программного RAID. Atacontrol позволяет выстроить программный RAID-массив и занимается поддержкой полу-аппаратного RAID-массива.
Дисковая подсистема FreeBSD управляется механизмом GEOM, встроенным в ядро. Такая модульная дисковая структура дает возможность строить gstripe – RAID 0, gmirror - RAID 1, graid3 - RAID 3, gconcat -объединение нескольких винчестеров в массив. Поддерживаются и устаревшие классы ccd: RAID 0 и RAID 1 gvinum- менеджером логических томов vinum. Файловая система ZFS поддерживает RAID 0,1,5,6 и его комбинации.
Файловая система ZFS поддерживает RAID 6. OpenSolaris и  Solaris  содержат Solaris Volume Manager для организации RAID 0,1,5 и комбинации.
ЗАКЛЮЧЕНИЕ
RAID-массив – это объединение дисков, представленных набором секторов. А драйвер файловой системы способен определить такой массив и работать с ним как с единым винчестером.
Применение RAID-технологии приводит к существенному увеличению надежности и производительности такой системы.
Более целесообразно использовать RAID 0-массив если в первую очередь акцент делается на увеличение размера винчестера и скорость, а не на надежность,
Драйвер файловой системы при построении программного RAID-массива может располагать небольшие файлы таким образом, чтобы каждый и них полностью размещался на один винчестер. Такое снижение фрагментированности файловой системы приводит к увеличению скорости RAID-массива.
К сожалению, но в результате сбоя любого винчестера RAID 0 данные будут безвозвратно потеряны. Если же каждый файл помещать целиком на один винчестер с правильно организованной структурой папок, то в результате отказа винчестера мы потеряем данные только на нем, а остальные данные, хранящиеся на остальных винчестера RAID-массива, будут доступны [1, с. 217].
Что касается уровня RAID 1, то у него надежность более высокая, но и одновременно низкая экономичность.
Уровень RAID 2 по производительности не превышает RAID 1 (в случае записи больших объемов данных), он также малоэкономичен. Поэтому эти два уровня имеют малую популярность.
Недостаток уровня RAID 3 заключается в том, что он предполагает однозадачную работы с большими файлами и отличается недостаточно высокой надежностью.
Следующий уровень - RAID  4 также не стал популярным из-за того, что уровень проявляет рост производительности для небольших записей и считываний, а по сравнению с предыдущими уровнями не дает высоких показателей производительности.
В качестве достоинства уровня RAID 5 можно обозначить высокую экономичность. Правда недостатком этого уровня считается невысокая производительность. Улучшенные уровни на базе RAID 5 уже имеют лучшую производительность.
Высокая производительность и экономичность уровня RAID 6 сказывается в случае уменьшения вероятности возникновения небольших записей.
Уровень RAID 10 имеет высокую производительность и отказоустойчивость, его недостаток - невысокая надежность.
В целом, все комбинированных уровней сочетают в себе недостатки и преимущества своих основных уровней, на базе которых они построены.
В данной работе рассматривались следующие понятия: RAID-массив, зеркалирование, поразрядное расслоение, внутригрупповой параллелизм, двумерная четность. Отдельно рассмотрены различные уровни RAID-массивов (основные и комбинированные) и их технологии построения, достоинства и недостатки. Кроме того, в работе освещались принципы работы программного RAID-массива.
На основании вышеизложенного можно сделать вывод о том, что поставленные в работе задачи решены, а цель - достигнута.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
Источники на русском языке
Сенкевич Г. Искусство восстановления данных. – Петербург: БХВ, 2014 г. – 304 с.
Ташков П. Восстановление данных на 100%. - Петербург: Питер, 2014 г. – 208 с.
Электронные ресурсы
3. Аппаратно-программные платформы корпоративных информационных систем // В помощь Веб-мастеру [Электронный ресурс]. URL: http://wm-help.net/books-online/print-page/29000/29000-40.html#_5_6_3
4. Дисковые массивы и уровни RAID (RAID массивы) // Perscom [Электронный ресурс]. URL: http://perscom.ru/index.php/2012-01-20-09-28-12/22-raid-massivi?limitstart=0
5. Обзор типовых уровней RAID// Интуит [Электронный ресурс]. URL: http://www.intuit.ru/studies/courses/68/68/lecture/1992?page=6
6. Про RAID массивы, серверы и сетевые хранилища // Datarc [Электронный ресурс]. URL: https://www.datarc.ru/articles/raid-articles/
7. Серверные технологии хранения данных в среде Windows® 2000 Windows® Server 2003// В помощь Веб-мастеру [Электронный ресурс]. URL: http://wm-help.net/lib/b/book/2770685295/83
8. Технология RAID // Виртуальный компьютерный музей [Электронный ресурс]. URL: http://www.computer-museum.ru/technlgy/raid_2.htm
9. Что такое RAID - массив. Варианты RAID-массивов // Настройка и оптимизация Microsoft Windows [Электронный ресурс]. URL: https://www.windxp.com.ru/raid.htm
10. RAID массив // Technocor [Электронный ресурс]. URL: http://technocor.3dn.ru/publ/10-1-0-35
11. RAID-массивы — надежность и производительность // Восстановление данных [Электронный ресурс]. URL: http://rlab.ru/doc/raid_arrays.html
12. RAID-массивы начального уровня // CitForum [Электронный ресурс]. URL: http://citforum.ck.ua/hardware/data/raid/