Критерии согласия: Колмогорова, Романовского, Пирсона, Мизеса, Шапиро и Уилка

Введение
Критериями согласия называют статистические критерии, предназначенные для проверки согласия опытных данных и теоретической модели. Лучше всего этот вопрос разработан, если наблюдения представляют случайную выборку. Теоретическая модель в этом случае описывает закон распределения.
Теоретическое распределение - это то распределение вероятностей, которое управляет случайным выбором. Представления о нем может дать не только теория. Источниками знаний здесь могут быть и традиция, и прошлый опыт, и предыдущие наблюдения. Надо лишь подчеркнуть, что это распределение должно быть выбрано независимо от тех данных, по которым мы собираемся его проверять. Иначе говоря, недопустимо сначала «подогнать» по выборке некоторый закон распределения, а потом пытаться проверить согласие с полученным законом по этой же выборке.
Критерии согласия основаны на использовании различных мер расстояний между анализируемым эмпирическим распределением и функцией распределения признака в генеральной совокупности.
Непараметрические критерии согласия Колмогорова, Смирнова, омега квадрат широко используются. Однако с ними связаны и широко распространенные ошибки в применении статистических методов.
Дело в том, что перечисленные критерии были разработаны для проверки согласия с полностью известным теоретическим распределением. Расчетные формулы, таблицы распределений и критических значений широко распространены. Основная идея критериев Колмогорова, омега квадрат и аналогичных им состоит в измерении расстояния между функцией эмпирического распределения и функцией теоретического распределения. Различаются эти критерии видом расстояний в пространстве функций распределения.

Теоретическое обоснование критерия согласия Понятие «критерий согласия»Критерии согласия -  статистические критерии, используемые для оценки степени совпадения двух или нескольких статистических совокупностей (выборок). Критерии согласия могут быть непараметрическими и параметрическими. В первом случае используются не сами значения наблюдаемых величин, а только их упорядоченность (для каждой пары величин известно, какая из них больше), т. е. критерии, не зависящие от параметров распределений. Такие критерии весьма удобны для практического использования, т. к. требуют меньшего объема вычислений и априорных сведений и могут использоваться даже при невозможности прямых измерений изучаемых признаков.
Основными из непараметрических критериев согласия являются критерий знаков, критерий Смирнова и критерий Вилконсона. Критерий знаков используется для обнаружения достаточно грубых различий совокупностей. Пусть имеются две выборки Xi....x 2 и У1—У2- Вычисляются величины Zj = Xj — у, (i = 1,N) и проверяется гипотеза о том, что P(Z S > 0) = 0,5. Если гипотеза выполняется (т. е. числа положительных Z, > 0 и отрицательных значений несущественно отличаются друг от друга), то между выборками х и у нет существенных различий. Критерий Смирнова позволяет непараметрически проверить совпадение друг с другом статистических распределений. Критерий Вилконсона также применяется для проверки гипотезы о совпадении выборок. Две выборки Xj...xn и У;...уп вместе ранжируют в порядке возрастания и в едином ряду подсчитывается число инверсий (число xir появившихся после yj). Если это число близко к 0,5п, то различие между выборками можно считать несущественным.
При использовании параметрических критериев вычисляются значения параметров сравниваемых распределений. Это усложняет применение критериев, однако позволяет получить более точные результаты. Основными из параметрических критериев являются критерий Фишера, критерий Стьюдента и критерий с2 . Критерий Фишера используется для проверки статистических гипотез о равенстве дисперсий двух или нескольких совокупностей. Критерий применяется в тех прикладных задачах, где необходимо исследовать стабильность изучаемых величин. Например, он может быть применен для сравнения рассеяний ошибок двух операторов, разбросов оценок экспертов, полученных по разным методикам, проверки однородности латентных периодов реакций в различных экспериментах и т. д. Применение этого и других критериев согласия возможно, если сравниваемые выборки подчинены нормальному закону распределения.
Предварительная проверка соответствия нормальному распределениюКритерии согласия требуют достаточно большой вычислительной работы, поэтому целесообразно перед тем, как их использовать, проверить с помощью более простых методов соответствие имеющихся экспериментальных данных нормальному распределению. Эти методы, естественно, обладают меньшей мощностью и позволяют установить только значительные расхождения с нормальным распределением, но если такие расхождения будут установлены, то необходимость в применении более точных, но более сложных критериев, как правило, отпадает.
Для предварительной проверки эмпирического распределения на нормальность можно использовать основные свойства нормального распределения, изложенные ранее. При этом эмпирическое распределение представляется в виде вариационного ряда или гистограммы.
Если в качестве параметров  и  нормального распределения принять их выборочные оценки  и S, то для проверки можно использовать следующие свойства нормального распределения:
1) практически все отклонения от среднего значения (99,7 %) должны быть меньше ±3S;
2) примерно 2/3 всех отклонений (68,3 %) должны быть меньше ±S;
3) половина всех отклонений от среднего значения должна быть меньше ±0,657S;
4) можно использовать такое свойство нормального распределения, что его коэффициенты асимметрии  и эксцесса  равны нулю.
Значения коэффициентов Аs и Ех сравниваются с критическими значениями на уровне значимости а, и если критические значения превышены, то делается вывод о том, что распределение генеральной совокупности, из которой получена выборка, не согласуется с нормальным. В противном случае модель нормального распределения может быть принята. Таблица критических значений Аs и Еха содержится в различных книгах. 1.3 Критерий согласия  (хи-квадрат)Критерий согласия  разработан лучше других критериев и чаще других используется. Он основан на сравнении эмпирических частот интервалов группировки с теоретическими (ожидаемыми) частотами, рассчитываемыми по формулам нормального распределения.
Условия применения: объем выборки n  40, выборочные данные сгруппированы в интервальный вариационный ряд с числом интервалов не менее 7, ожидаемые (теоретические) частоты интервалов не должны быть меньше 5.
Гипотеза Н0:  - плотность распределения  генеральной совокупности, из которой взята выборка, соответствует теоретической модели  нормального распределения.
Альтернатива Н1: .
Порядок, применения:
1. Формулируется гипотеза, выбирается уровень значимости.
2. Получается выборка объема n40 независимых наблюдений и представляется эмпирическое распределение в виде интервального вариационного ряда.
3. Рассчитываются выборочные характеристики  и S. Их используют в качестве генеральных параметров  и  нормального распределения, с которым предстоит сравнить эмпирическое распределение.
4. Вычисляются значения теоретических частот  попадания в i-й интервал группировки. Для этого необходимо вычислить:
где Ф0(u) - функции Лапласа, xвi и хнi - верхняя и нижняя границы i-го интервала группировки.
Если окажется, что вычисленные ожидаемые частоты  некоторых интервалов группировки меньше 5, то соседние интервалы объединяются так, чтобы сумма их ожидаемых частот была больше или равна 5. Соответственно складываются и эмпирические частоты объединяемых интервалов.
5. Значение - критерия рассчитывается по формуле:
де ni - эмпирические частоты;  – ожидаемые (теоретические) частоты; k - число интервалов группировки после объединения.
6. Из таблиц распределения  находится критическое значение  критерия для уровня значимости а и числа степеней свободы = n–3.
7. Вывод: если  то эмпирическое распределение не соответствует нормальному распределению на уровне значимости, в противном случае нет оснований отрицать это соответствие.
Критерии согласия: Колмогорова, Романовского, Пирсона, Мизеса, Шапиро и Уилка2.1 Критерий согласия Пирсона 
Критерий согласия Пирсона (χ2) применяют для проверки гипотезы о соответствии эмпирического распределения предполагаемому теоретическому распределению F(x) при большом объеме выборки (n ≥ 100).
Критерий применим для любых видов функции F(x), даже при неизвестных значениях их параметров, что обычно имеет место при анализе результатов механических испытаний. В этом заключается его универсальность.
Использование критерия χ2 предусматривает разбиение размаха варьирования выборки на интервалы и определения числа наблюдений (частоты) nj для каждого из e интервалов. Для удобства оценок параметров распределения интервалы выбирают одинаковой длины.
Число интервалов зависит от объема выборки. Обычно принимают: при n = 100 e = 10 ÷ 15, при n = 200 e = 15 ÷ 20, при n = 400 e = 25 ÷ 30, при n = 1000 e = 35 ÷ 40.
Интервалы, содержащие менее пяти наблюдений, объединяют с соседними. Однако, если число таких интервалов составляет менее 20 % от их общего количества, допускаются интервалы с частотой nj ≥ 2.
Статистикой критерия Пирсона служит величинагде pj - вероятность попадания изучаемой случайной величины в j-и интервал, вычисляемая в соответствии с гипотетическим законом распределением F(x). При вычислении вероятности pj нужно иметь в виду, что левая граница первого интервала и правая последнего должны совпадать с границами области возможных значений случайной величины. Например, при нормальном распределении первый интервал простирается до -∞, а последний - до +∞.
Нулевую гипотезу о соответствии выборочного распределения теоретическому закону F(x) проверяют путем сравнения вычисленной по формуле (3.91) величины с критическим значением χ2α, найденным по табл. VI приложения для уровня значимости α и числа степеней свободы k = e1 - m - 1. Здесь e1 - число интервалов после объединения; m - число параметров, оцениваемых по рассматриваемой выборке. Если выполняется неравенство χ2 ≤ χ2α  , то нулевую гипотезу не отвергают. При несоблюдении указанного неравенства принимают альтернативную гипотезу о принадлежности выборки неизвестному распределению.
Недостатком критерия согласия Пирсона является потеря части первоначальной информации, связанная с необходимостью группировки результатов наблюдений в интервалы и объединения отдельных интервалов с малым числом наблюдений. В связи с этим рекомендуется дополнять проверку соответствия распределений по критерию χ2 другими критериями. Особенно это необходимо при сравнительно малом объеме выборки (n ≈ 100).
Критерий РомановскогоКритерий Романовского с основан на использовании критерия Пирсона, т.е. уже найденных значений и числа степеней свободы df. Он удобен при отсутствии таблиц.
Критерий Романовского определяется:
где  – критерий Пирсона;
k - число единиц степеней свободы.
Если данный критерий , то расхождения нельзя считать случайными. Если же он < 3, то расхождение между эмпирическими и теоретическими частотами можно считать случайными.
А.Н.Колмогоров предложил критерий, основанный на сопоставлении распределения накопления накопленных частостей (частот):
где d – максимальная разность между накопленными частостями эмпирического и теоретического рядов распределения, а N – число единиц совокупности. Если же распределение задано в частотах, то:
где Д – максимальная разность накопленных частот двух распределений.
Критерий согласия КолмогороваКритерий согласия Колмогорова  основан на определении максимального расхождения между накопленными эмпирическими и теоретическими частотами: 
где D и d – соответственно, максимальная разность между накопленными частотами  и накопленными частостями  эмпирического и теоретического распределений.
По таблице распределения статистики Колмогорова определяют вероятность, которая может изменяться от 0 до 1. При Р(λ)=1- происходит полное совпадение частот, Р(λ)=0 – полное расхождение. Если величина вероятности Р значительна по отношению к найденной величине λ, то можно предположить, что расхождения между теоретическим и эмпирическим распределениями несущественны, т. е. носят случайный характер. Основное условие использования критерия Колмогорова – достаточно большое число наблюдений.
Рассмотрим как критерий Колмогорова (λ) применяется при проверке гипотезы о нормальном распределении генеральной совокупности. Выравнивание фактического распределения по кривой нормального распределения состоит из нескольких этапов:
Сравнивают фактические и теоретические частоты.
По фактическим данным определяют теоретические частоты кривой нормального распределения, которая является функцией нормированного отклонения.
Проверяют на сколько распределение признака соответствует нормальному.
Для IV колонки таблицы:
В MS Excel нормированное отклонение (t) рассчитывается с помощью функции НОРМАЛИЗАЦИЯ. Необходимо выделить диапазон свободных ячеек по количеству вариант (строк электронной таблицы). Не снимая выделения, вызвать функцию НОРМАЛИЗАЦИЯ. В появившемся диалоговом окне указать следующие ячейки, в которых размещены, соответственно, наблюдаемые значения (Xi), средняя (X) и среднеквадратическое отклонение Ϭ. Операцию обязательно завершить одновременным нажатием клавиш Ctrl+Shift+Enter
 Для V колонки таблицы:
Функцию плотности вероятности нормального распределения φ(t) находим по таблице значений локальной функции Лапласа для соответствующего значения нормированного отклонения (t)
Для VI колонки таблицы:
Критерий согласия Колмогорова (λ) определяется путем деления модуля max разности между эмпирическими и теоретическими кумулятивными частотами на корень квадратный из числа наблюдений:
 По специальной таблице вероятности для критерия согласия λ определяем, что значению λ=0,59 соответствует вероятность 0,88 (λ<P) критерий статистически не значим. Это значит, что с вероятностью 0,88 можно судить, что отклонения фактических (эмпирических) частот от теоретических являются случайными. Следовательно, нулевая гипотеза принимается и есть основания утверждать, что эмпирическое распределение подчиняется нормальному распределению.
Распределение эмпирических и теоретических частот, плотности вероятности теоретического распределения.
Применяя критерии согласия для проверки соответствия наблюдаемого (эмпирического) распределения теоретическому, следует различать проверку простых и сложных гипотез.
Одновыборочный критерий нормальности Колмогорова-Смирнова основан на максимуме разности между кумулятивным эмпирическим распределением выборки и предполагаемым (теоретическим) кумулятивным  распределением. Если D статистика Колмогорова-Смирнова значима, то гипотеза о том, что соответствующее распределение нормально, должна быть отвергнута.
Критерий согласия Шапиро-УилкаКритерий согласия Шапиро-Уилка предназначается для проверки гипотезы о нормальном или логарифмически нормальном распределении при ограниченном объеме выборки (n< 50) .
Результаты t-испытаний располагаются в вариационный ряд и подсчитывается значение:
где S2- квадрат среднего квадратического отклонения;b2- подсчитывается по формуле:
, где a n-i+1- табличное значения ;
если n-четное число, то ;
если n-нечетное, то .
Полученное значение W сравнивается с табличным значением  (Приложение Р); если выполняется условие: , то нулевая гипотеза не отвергается.
2.5 Критерий w2 Крамера-Мизеса-Смирнова при простой гипотезеПорядок проверки простой гипотезы о согласии
Простая проверяемая гипотеза имеет вид H0: F(x)=F(x,q), где F(x,q) – функция распределения вероятностей, с которой проверяется согласие наблюдаемой выборки, а q – известное значение параметра (скалярного или векторного). В случае простых гипотез предельные распределения статистик критерия согласия w 2не зависят от вида наблюдаемого закона распределения F(x,q) и, в частности, от его параметров. Говорят, что эти критерии являются "свободными от распределения”. Это достоинство предопределяет широкое использование данных критериев в приложениях.
При проверке согласия опытного распределения с теоретическим распределением случайной величины X:
1.        Формулируют проверяемую гипотезу, выбирая теоретическое распределение случайной величины, согласие которого с опытным распределением этой величины следует проверить.
2.        Из совокупности отбирают случайную выборку объема n. Полученные результаты наблюдений располагают в порядке их возрастания, так что в распоряжении имеют упорядоченную выборку значений
x1 ≤ x2 ≤ … ≤ xn.
3.        В соответствии с выбранным критерием проверки вычисляют значение статистики S* критерия w2 Мизеса.
4.        В соответствии с выбранным критерием проверки вычисляют значение
где G(S|H0) – распределение статистики критерия при справедливости гипотезы H0. Если P{S>S*}>a , где a – задаваемый уровень значимости, то нет оснований для отклонения проверяемой гипотезы. В противном случае проверяемая гипотеза H0 отвергается.
Можно вычисленное значение статистики S* сравнить с критическим значением Sa , определяемым из условия
Гипотеза о согласии отвергается, если значение статистики попадает в критическую область, т. е. при S*> Sa .
Нулевая гипотеза
В критериях типа w2 расстояние между гипотетическим и истинным распределениями рассматривают в квадратичной метрике.
Проверяемая гипотеза H0 имеет вид
при альтернативной гипотезе               
где E[.]  - оператор математического ожидания,  y(t) - заданная на отрезке 0≤t≤1 неотрицательная функция, относительно которой предполагают, что y(t), ty(t), t2y(t) интегрируемы на отрезке 0≤t≤1. Статистику критерия  выражают соотношением
где  Сатистика Крамера-Мизеса-Смирнова
При выборе y(t) º1 для критерия w2 Мизеса получают статистику вида (статистику Крамера-Мизеса-Смирнова),  которая при простой гипотезе в пределе подчиняется закону с функцией распределения a1(S), имеющей вид
Алгоритм
1.    Значение статистики Крамера-Мизеса-Смирнова S* вычисляется по формуле
2.    Значение вероятности P{S>S*}=1-a1(S*) вычисляется по функции распределения a1(S)
или берется из таблицы 1 приложения.
3.    Критические значения критерия Sa при заданном a могут быть взяты из таблицы 2.
4.    Гипотеза H0 не отвергается, если для вычисленного по выборке значения статистики S*
P{S>S*}=1-a1(S*)>a .
Заключение
Критерии согласия основаны на использовании различных мер расстояния между анализируемым эмпирическим распределением и функцией распределения признака в генеральной совокупности. Критериями согласия называют статистические критерии, предназначенные для проверки согласия опытных данных и теоретической модели.
Существует несколько критерий согласия: критерий согласия Колмогорова и омега-квадрат, х2 Пирсона, х2 Фишера и другие. Состоятельность критериев Колмогорова и омега-квадрат означает, что любое отличие распределения выборки от теоретического будет с их помощью обнаружено, если наблюдения будут продолжаться достаточно долго.
Практическую значимость свойства состоятельности не велика, так как трудно рассчитывать на получение большого числа наблюдений в неизменных условиях, а теоретическое представление о законе распределения, которому должна подчиняться выборка, всегда приближённое. Поэтому точность статистических проверок не должна превышать точность выбранной модели.
Закон нормального распределения лежит в основе многих теорем и методов статистики при оценке репрезентативности выборки (расчете ошибки выборки и распространении характеристик выборки на генеральную совокупность); измерении степени тесноты связи и составлении модели регрессии; построении и использование статистических критериев и др.Как показывают многочисленные статистические исследования, частоты (частости) эмпирических распределений за редким исключением будут отличаться от значений теоретического распределения. Расхождения между частотами (частостями) эмпирического и теоретического распределения могут быть несущественными и объяснены случайностями выборки и существенными при несоответствии выбранного и эмпирического законов распределения.
Для проверки гипотезы о соответствии эмпирического распределения теоретическому закону нормального распределения используются особые статистические показатели-критерии согласия (или критерии соответствия).
К ним относятся критерии Пирсона, Колмогорова, Романовского, Ястремского и др.
Большинство критериев согласия базируется на использовании отклонений эмпирических частот то теоретических. Очевидно, что чем больше эти отклонения, тем хуже теоретическое распределения соответствует (описывает) эмпирическому (эмпирическое). Статистические характеристики таких критериев согласия являются некоторыми функциями этих отклонений.
Список литературыБольшев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983.
Большев Л.Н. Асимптотические пирсоновские преобразования // Теория вероятностей и ее применения. 1963.
Бондарев Б.В. О проверке сложных статистических гипотез // Заводская лаборатория. - 1986.
Крамер Г. Математические методы статистики. – М.: Мир, 1975.
Лемешко Б.Ю., Постовалов С.Н. О распределениях статистик непараметских критериев согласия при оценивании по выборкам параметров наблюдаемых законов // Заводская лаборатория. 1998.
Лемешко Б.Ю., Маклаков А.А. Непараметрические критерии при проверке сложных гипотез о согласии с распределениями экспоненциального семейства // Автометрия. 2004.
Мирвалиев М., Никулин М.С. Критерии согласия типа хи-квадрат // Заводская лаборатория. 1992.
Никулин М.С. О критерии хи-квадрат для непрерывных распределений // Теория вероятностей и ее применение. – 1973.