ЛИСП-реализация методов проверки статистических гипотез

Содержание

Введение........................................................................................................... 2

1 Постановка задачи....................................................................................... 3

2 Математические и алгоритмические основы решения задачи................... 8

2.1 Общие понятия статистической проверки гипотез.................................. 8

2.2 t-критерий Стьюдента............................................................................. 13

3 Функциональные модели решения задачи................................................ 16

4 Программная реализация решения задачи............................................... 19

5 Пример выполнения программы............................................................... 23

Заключение.................................................................................................... 26

Список использованных источников и литературы.................................... 27

Введение

Статистическая проверка гипотез – система приёмов в математической статистике, предназначенных для проверки соответствия опытных данных некоторой статистической гипотезе. Процедуры статистической проверки гипотез позволяют принимать или отвергать статистические гипотезы, возникающие при обработке или интерпретации результатов измерений во многих практически важных разделах науки и производства, связанных с экспериментом. Правило, по которому принимается или отклоняется данная гипотеза, называется статистическим критерием. Построение критерия определяется выбором подходящей функции Т от результатов наблюдений, которая служит мерой расхождения между опытными и гипотетическими значениями. Эта функция, являющаяся случайной величиной, называется статистикой критерия, при этом предполагается, что распределение вероятностей Т может быть вычислено при допущении, что проверяемая гипотеза верна. По распределению статистики Т находится значение Т0, такое, что если гипотеза верна, то вероятность неравенства T >T0 равна α, где α — заранее заданный Значимости уровень. Если в конкретном случае обнаружится, что Т > T0, то гипотеза отвергается, тогда как появление значения Т ≤ T0 не противоречит гипотезе.

Целью данной курсовой работы является ЛИСП-реализация методов проверки статистических гипотез.

1 Постановка задачи

Требуется реализовать программу проверки статистических гипотез. Для реализации воспользуемся t-критерием Стьюдента.

Пример 1. Проверка гипотезы при наличии одной выборки

Имеются данные о заработной плате, полученные в ходе опроса: 450,680,850,1500,3500,1200,1000,700. Необходимо определить, является средняя заработная плата в регионе равной 1500 рублей.

Сформулируем нулевую и альтернативную гипотезу.

H0: - средняя заработная плата равна 1500 рублей.

H1: - средняя заработная плата не равна 1500 рублей

Выбор уровня значимости (вероятности ошибки).

.

Выбор теста.

t критерий Стьюдента:

,

где

,

где - среднее значение выборки, - среднее значение нулевой гипотезы, - среднеквадратическое отклонение, n – количество данных в выборке.

Определение критической области.

Так как альтернативная гипотеза имеет следующий вид: H1: , то необходимо применять двусторонний тест. Для определения критической области рассчитаем t (7, 0.005)=4.029 [t(n-1, /2)].

Правило принятия (отвержения) гипотезы: если TR<-4.029 и TR>4.029, то отвергается H0 и принимается H1.

Выполнение необходимых вычислений.

Вычислим t расчетное (TR) :

Таблица 1 – Вспомогательные расчеты

Таким образом имеем:

==972,15

==-0,77

Принятие статистического решения.

Так как -4.029<TR<4.029, тогда с =0.01 гипотеза Н0 о равенстве среднего значения заработной платы в размере 1500 р. принимается при =0.01. Следовательно, средняя заработная плата составляет 1500 рублей.

Если мы хотим узнать, является ли заработная плата выше чем 1500 рублей, то необходимо сформулировать новые гипотезы:

H0: - средняя заработная плата равна 1500 рублей.

H1: - средняя заработная плата не равна 1500 рублей

Так как альтернативная гипотеза имеет следующий вид: H1: , то необходимо применять односторонний тест. Для определения критической области рассчитаем t (7, 0.01)=3.499 [t(n-1, )].

, то гипотеза H0 о равенстве среднего значения заработной платы 1500 рублей принимается при =0.01. Следовательно, нельзя говорить о том, что средняя заработная плата выше 1500 рублей.

Пример 2. Проверка гипотез по двум выборкам

Пусть, после проведения экономических реформ снова был произведен опрос о заработной плате. Получены новые данные: 600,600,1300,1100,3700,1600,1100,800.

Необходимо выяснить, привели ли реформы к росту благосостояния населения.

Сформулируем гипотезы:

H0: - средняя заработная плата до реформ равна средней зарплате после реформ.

H1: - средняя заработная после реформ больше, чем средняя зарплата до реформ

Выбор уровня значимости (вероятности ошибки).

.

Выбор теста.

t критерий Стьюдента для двух выборок:

.

Число степеней свободы:

,

где - среднее значение выборки, - среднеквадратическое отклонение, n – количество данных в выборке.

Выполнение необходимых вычислений.

Вычислим t расчетное (TR) :

Число степеней свободы:

Определение критической области.

Для определения критической области рассчитаем число степеней свободы t (14, 0.01)=2.977 [t(n-1, /2)].

Правило принятия (отвержения) гипотезы: если TR<-2.977, то отвергается H0 и принимается H1.

Поскольку -0.23>-2.977, то нулевая гипотеза не отвергается, по вероятности ошибки 0.01. Следовательно, средняя заработная плата до проведения реформ равна средней заработной плате после проведения реформ. Таким образом, проведенные реформы не привели к существенному росту благосостояния населения.

2 Математические и алгоритмические основы решения задачи

2.1 Общие понятия статистической проверки гипотез

Статистическая гипотеза обычно представляет собой некоторое предположение об одном или нескольких параметрах функции распределения случайной величины.

Пример статистической гипотезы: «генеральная совокупность распределена по нормальному закону», «различие между дисперсиями двух выборок незначимо» и т.д.

В теории статистического вывода обычно проверяются гипотезы на основе выборочной информации. В практике статистической работы чаще всего имеют дело с двумя конкурирующими гипотезами: нулевой гипотезой, обозначаемой H0; и альтернативной гипотезой, обозначаемой H1. Нулевая гипотеза используется при статистической проверке гипотез об отсутствии существующих различий между несколькими выборочными совокупностями, для суждения о близости фактического распределения к теоретическому (нормальному), об отсутствии зависимости между признаками. Суть нулевой гипотезы состоит в признании того, что выборки взяты из одной совокупности, фактическое распределение укладывается в теоретическое, зависимость между признаками отсутствует и т. д. Следовательно, нулевая гипотеза - это гипотеза, подлежащая проверке. И если отвергается нулевая гипотеза как неподходящая в каком-то статистическом смысле, то принимается альтернативная гипотеза.

Так как мы имеем дело с неизвестной генеральной совокупностью и выносим суждения о ней на основе выборочной информации, то мы можем и не прийти к правильному выводу. Мы сделаем неправильный вывод, если отвергнем нулевую гипотезу, когда она справедлива (ошибка I рода), или примем нулевую гипотезу, когда она ошибочна (ошибка II рода).

В большинстве случаев при проведении проверки гипотез в экономике задается некоторый допустимый уровень вероятности совершения ошибки I рода () и осуществляется проверка на основе выборочной информации. В классическом статистическом выводе существует два общих правила для определения величины :

чем больше степень уверенности в нулевой гипотезе, тем меньше должно быть значение .

чем больше цена отбрасывания справедливой нулевой гипотезы, тем меньше значение должно иметь .

Сформулируем общий алгоритм проверки статистических гипотез. Процедуру проверки можно описать следующими шагами:

1) формулировка гипотезы. Гипотеза формулируется в терминах различия величин. Например, есть случайная величина х и константа a. Они не равны (арифметически), но нужно установить, значимо ли статистически между ними различие. Существует два типа критериев:

а) двухсторонний критерий вида: х a;

б) односторонний критерий вида: х< a или х< a.

Необходимо отметить, что знаки >, <, = здесь используются не в арифметическом, а в «статистическом» смысле. Их необходимо читать «значимо больше», «значимо меньше», «различие незначимо».

2) Установка закона распределения. Далее необходимо установить или постулировать закон распределения. Существуют также критерии, которые не зависят от вида распределения - так называемые непараметрические критерии.

3) Вычисление тестовой статистики. Тестовая статистика - некоторая функция от рассматриваемых величин, закон распределения которой точно известен и ее можно сравнить с табличным значением.

4) Сравнение с табличным значением. Затем тестовая статистика сравнивается с табличным значением. Тестовая статистика всегда зависит от доверительной вероятности, и, в некоторых случаях, от дополнительных параметров. Так, в приведенном выше примере сравнения двух дисперсий тестовая статистика сравнивается с табличным значением критерия Фишера («критическим» значением), которое зависит от доверительной вероятности и числа степеней свободы дисперсий.

5) Вывод. На основании сравнения делается вывод о том, выполняется ли гипотеза (например, значимо ли различие и т.д.).

Уровень значимости - это такое малое значение вероятности попадания критерия в критическую область при условии справедливости гипотезы, что появление этого события может расцениваться как следствие существующего расхождения выдвинутой гипотезы и результатов выборки.

Допустим, рассчитанное по эмпирическим данным значение критерия попало в критическую область. Тогда при условии верности проверяемой гипотезы H0 вероятность этого события будет не больше уровня значимости . Поскольку выбирается достаточно малым, то такое событие является маловероятным, и, следовательно, проверяемая гипотеза может быть отвергнута. Если же наблюдаемое значение характеристики не принадлежит к критической области, и, следовательно, находится в области допустимых значений, то проверяемая гипотеза H0 не отвергается. Вероятность попадания критерия в область допустимых значений при справедливости проверяемой гипотезы H0 равна . Чем меньше уровень значимости, тем меньше вероятность забраковать проверяемую гипотезу, когда она верна, то есть меньше вероятность совершить ошибку первого рода. Но при этом расширяется область допустимых значений и, значит, увеличивается вероятность совершения ошибки II рода.

Если альтернативная гипотеза , то гипотеза называется двухсторонней. Если гипотеза имеет вид и , то такую гипотезу называют односторонней. При проверке двухсторонней гипотезы с уровнем значимости критическое значение будет определено с уровнем значимости /2 и с соответствующим числом степеней свободы. При проверке односторонней гипотезы критическое значение будет определено с соответствующим числом степеней свободы и уровнем значимости .

Для принятия решения о принятии или отвержении гипотезы необходимо рассчитать расчетное значение критерия, выбрать критическую область, и сравнить расчетное значении критерия с табличным. Критическая область будет зависеть от выбранной альтернативной гипотезы, как показано на рисунках 1-3.

Рисунок 1 – Двухсторонняя критическая область.

Гипотезы:

Табличное значение критерия определяется для уровня значимости /2 и соответствующего числа степеней свободы. Если TR расчетное попадает в интервал (;), то принимается нулевая гипотеза, в противном случае, нулевая гипотеза отвергается и принимается альтернативная:

Рисунок 2 – Критическая область при альтернативной гипотезе «больше чем».

Гипотезы:

Табличное значение критерия определяется для уровня значимости и соответствующего числа степеней свободы. Если T расчетное попадает в интервал (;), то принимается нулевая гипотеза, в противном случае, нулевая гипотеза отвергается и принимается альтернативная.

Рисунок 3 – Критическая область при альтернативной гипотезе «меньше чем».

Гипотезы:

Табличное значение критерия определяется для уровня значимости и соответствующего числа степеней свободы. Если T расчетное попадает в интервал (), то принимается нулевая гипотеза, в противном случае, нулевая гипотеза отвергается и принимается альтернативная.

2.2 t-критерий Стьюдента

t-критерий Стьюдента - общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на сравнении с распределением Стьюдента. Наиболее частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках.

Данный критерий был разработан Уильямом Госсеттом для оценки качества пива в компании Гиннесс. В связи с обязательствами перед компанией по неразглашению коммерческой тайны (а руководство Гиннесса считало таковой использование статистического аппарата в своей работе), статья Госсетта вышла в журнале «Биометрика» под псевдонимом «Student» (Студент).

Для применения данного критерия необходимо, чтобы исходные данные имели нормальное распределение. В случае применения двухвыборочного критерия для независимых выборок также необходимо соблюдение условия равенства дисперсий.

t критерий Стьюдента для одной выборки:

,

где

,

где - среднее значение выборки, - среднее значение нулевой гипотезы, - среднеквадратическое отклонение, n – количество данных в выборке.

t критерий Стьюдента для двух выборок:

.

Число степеней свободы:

,

где - среднее значение выборки, - среднеквадратическое отклонение, n – количество данных в выборке.

3 Функциональные модели решения задачи

Функциональные модели решения задачи представлены на рисунках 4 – 8.

Условные обозначения:

mean – среднее значение выборки;

n – количество данных в выборке;

x-mean – среднее значение выборки;

y-mean – среднее значение выборки;

x – выборка;

y – выборка;

tr – t-критерий Стьюдента;

sr – среднеквадратичное отклонение;

lst – выборка.

Рисунок 4 – Функциональная модель решения задачи для функции list-mean

Рисунок 5 – Функциональная модель решения задачи для функции sum_x-x_mean

Рисунок 6 – Функциональная модель решения задачи для функции quadratic_mean

Рисунок 7 – Функциональная модель решения задачи для функции student_test1

Рисунок 8 – Функциональная модель решения задачи для функции student_test2

4 Программная реализация решения задачи

;проверка гипотезы при наличии одной выборки

;(x-_x_)^2

(defun sum_x-x_mean (lst mean)

(cond

((null lst) 0)

((atom lst) (* (- lst mean) (- lst mean)))

(t (+ (sum_x-x_mean (car lst) mean) (sum_x-x_mean (cdr lst) mean)))

)

)

;среднеквадратическое отклонение

(defun quadratic_mean (lst mean n)

(sqrt (/ (sum_x-x_mean lst mean) (- n 1)))

)

;среднее арифметическое

(defun list-mean (lst)

(float (/ (apply '+ lst) (length lst)))

)

;h0 - нулевая гипотеза

(defun student-test1 (x h0)

(setq x_mean (list-mean x))

(setq sr (quadratic_mean x x_mean (length x)))

(setq tr (/ (- x_mean h0) (/ sr (sqrt (length x)))))

tr

)

;проверка гипотез по двум выборкам

(defun student-test2 (x y)

(setq x_mean (list-mean x))

(setq y_mean (list-mean y))

(setq sr1 (quadratic_mean x x_mean (length x)))

(setq sr2 (quadratic_mean y y_mean (length y)))

(setq tr (/ (- x_mean y_mean) (sqrt (+ (/ (* sr1 sr1) (length x)) (/ (* sr2 sr2) (length y))))))

tr

)

;число степеней свободы для двух выборок

(defun df2 (x y)

(setq x_mean (list-mean x))

(setq y_mean (list-mean y))

(setq sr1 (quadratic_mean x x_mean (length x)))

(setq sr2 (quadratic_mean y y_mean (length y)))

(setq d (/ (expt (+ (/ (* sr1 sr1) (length x)) (/ (* sr2 sr2) (length y))) 2)

(+ (/ (expt (/ (* sr1 sr1) (length x)) 2) (- (length x) 1))

(/ (expt (/ (* sr2 sr2) (length y)) 2) (- (length y) 1))

)

))

d

)

;число степеней свободы для одной выборки

(defun df1 (x)

(length x)

)

(defun test-hypothesis ()

(setq input-stream (open " d:\data.txt" :direction :input))

;количество выборок

(setq cnt (read input-stream))

(when (= cnt 1) (setq x (read input-stream)))

(when (= cnt 2)

(setq x (read input-stream))

(setq y (read input-stream))

)

;тип гипотезы

(setq type (read input-stream))

;нулевая гипотеза

(setq h0 (read input-stream))

;альтернативная гипотеза

(setq h1 (read input-stream))

;табличное значение

(setq t-tabl (read input-stream))

(close input-stream)

(when (= cnt 1)

(setq tr (student-test1 x (car h0)))

(setq h0 (cadr h0))

)

(when (= cnt 2) (setq tr (student-test2 x y)))

;t_tabl < tr < t_tabl => h0 иначе h1

; tr < t_tabl => h0 иначе h1

; tr >-t_tabl => h0 иначе h1

(setq hpts

(cond

((eql type '/=) (if (and (> tr (* -1 t-tabl)) (< tr t-tabl)) h0 h1))

((eql type '>)(if (< tr t-tabl) h0 h1))

((eql type '<)(if (> tr (* -1 t-tabl)) h0 h1))

)

)

(setq output-stream (open " d:\hypothesis.txt" :direction :output))

(format output-stream "~~Kriterii Stiudenta ~A~%" tr)

(format output-stream "~~Tablichnoe Znachenie ~A~%" t-tabl)

(format output-stream "~~Prinyataya gipoteza : ~A~%" hpts)

(close output-stream)

)

(test-hypothesis )

5 Пример выполнения программы

Пример 1.

Рисунок 9 – Входные данные

Рисунок 10 – Выходные данные

Пример 2.

Рисунок 11 – Входные данные

Рисунок 12 – Выходные данные

Пример 3.

Рисунок 13 – Входные данные

Рисунок 14 – Выходные данные

Пример 4.

Рисунок 15 – Входные данные

Рисунок 16 – Выходные данные

Заключение

Теория статистической проверки гипотез позволяет с единой точки зрения трактовать выдвигаемые практикой различные задачи математической статистики (оценка различия между средними значениями, проверка гипотезы постоянства дисперсии, проверка гипотезы независимости, проверка гипотез о распределениях и т.п.). Идеи последовательного анализа, примененные к статистической проверке гипотез, указывают на возможность связать решение о принятии или отклонении гипотезы с результатами последовательно проводимых наблюдений. В этом случае число наблюдений, на основе которых по определённому правилу принимается решение, не фиксируется заранее, а определяется в ходе эксперимента.

Итогом работы можно считать созданную функциональную модель реализации методов проверки статистических гипотез. Для проверки или отклонения гипотезы используется t-критерий Стьюдента. Созданная функциональная модель и ее программная реализация могут служить органической частью решения более сложных задач.

Список использованных источников и литературы

1. Болч Б. Многомерные статистические методы для экономики. [Текст] / Б. Болч, К. Дж. Хуань. – М.: Статистика, 1979. С. 317.

2. Бронштейн, И.Н. Справочник по математике для инженеров и учащихся втузов [Текст] / И.Н. Бронштейн, К.А. Семендяев. – М.: Наука, 2007. – 708 с.

3. Венецкий, И.Г. Основные математико-статистические понятия и формулы в экономическом анализе: Справочник. [Текст] / И.Г. Венецкий, В.И. Венецкая. – М.: Статистика, 1979. С. 447.

4. Ефимова, М.Р. Общая теория статистики. [Электронный ресурс] / М.Р. Ефимова, Е.В. Петрова, В.Н. Румянцева. – М.: ИФРА-М, 1996. С. 416.

5. Проверка статистических гипотез [Электронный ресурс] – Режим доступа: http://ru/wikipedia.org/wiki/ Проверка_статистических_гипотез.

6. Семакин, И.Г. Основы программирования. [Текст] / И.Г.Семакин, А.П.Шестаков. – М.: Мир, 2006. C. 346.

7. Симанков, В.С. Основы функционального программирования [Текст] / В.С. Симанков, Т.Т. Зангиев, И.В. Зайцев. – Краснодар: КубГТУ, 2002. – 160 с.

8. Степанов, П.А. Функциональное программирование на языке Lisp. [Электронный ресурс] / П.А.Степанов, А.В. Бржезовский. – М.: ГУАП, 2003. С. 79.

9. Хювенен Э. Мир Лиспа [Текст] / Э. Хювенен, Й. Сеппянен. – М.: Мир, 1990. – 460 с.