Помощь по Теле2, тарифы, вопросы

Рассмотрим использование MS EXCEL при проверке статистических гипотез о среднем значении распределения в случае неизвестной дисперсии. Вычислим тестовую статистику t 0 , рассмотрим процедуру «одновыборочный t -тест», вычислим Р-значение (Р- value ).

Материал данной статьи является продолжением статьи . В указанной статье даны основные понятия проверки гипотез (нулевая и альтернативная гипотезы, тестовые статистики, эталонное распределение, Р-значение и др. ).

СОВЕТ : Для проверки гипотез потребуется знание следующих понятий:

• , и их .

Формулировка задачи. Из генеральной совокупности имеющей с неизвестным μ (мю) и неизвестной дисперсией взята выборка размера n. Необходимо проверить статистическую гипотезу о равенстве неизвестного μ заданному значению μ 0 (англ. Inference on the mean of a population, variance unknown).

Примечание : Требование о нормальности исходного распределения, из которого берется выборка , не является обязательным. Но, необходимо, чтобы были выполнены условия применения .

Сначала проведем проверку гипотезы , используя доверительный интервал , а затем с помощью процедуры t -тест. В конце вычислим Р-значение и также используем его для проверки гипотезы .

Пусть нулевая гипотеза Н 0 утверждает, что неизвестное среднее значение распределения μ равно μ 0 . Соответствующая альтернативная гипотеза Н 1 утверждает обратное: μ не равно μ 0 . Это пример двусторонней проверки , т.к. неизвестное значение может быть как больше, так и меньше μ 0 .

Если упрощенно, то проверка гипотезы заключается в сравнении 2-х величин: вычисленного на основании выборки среднего значения Х ср и заданного μ 0 . Если эти значения «отличаются больше, чем можно было бы ожидать исходя из случайности», то нулевую гипотезу отклоняют.

Поясним фразу «отличаются больше, чем можно было бы ожидать исходя из случайности». Для этого, вспомним, что распределение Выборочного среднего (статистика Х ср ) стремится к нормальному распределению со средним значением μ и стандартным отклонением равным σ/√n, где σ – стандартное отклонение распределения, из которого берется выборка (не обязательно нормальное ), а n – объем выборки (подробнее см. ).

К сожалению, в нашем случае дисперсия а, значит, и стандартное отклонение , неизвестны, поэтому вместо нее мы будем использовать ее оценку - s 2 и, соответственно, стандартное отклонение выборки s.

Известно, что если вместо неизвестной дисперсии распределения σ 2 мы используем дисперсию выборки s 2 , то распределением статистики Х ср является с n-1 степенью свободы .

Таким образом, знание распределения статистики Х ср и заданного , позволяют нам формализовать с помощью математических выражений фразу «отличаются больше, чем можно было бы ожидать исходя из случайности».

В этом нам поможет доверительный интервал (как строится доверительный интервал нам известно из статьи ). Если среднее выборки попадает в доверительный интервал, построенный относительно μ 0 , то для отклонения нулевой гипотезы оснований нет. Если не попадает, то нулевая гипотеза отвергается.

Воспользуемся выражением для Доверительного интервала , которое мы получили в статье .

Напомним, что доверительный интервал обычно определяют через количество стандартных отклонений , которые в нем укладываются. В нашем случае в качестве стандартного отклонения берется стандартная ошибка s/√n.

Количество стандартных отклонений зависит от количества степеней свободы используемого t-распределения и уровня значимости α (альфа) .

Для визуализации проверки гипотезы методом доверительного интервала в создана .

Примечание : Перечень статей о проверке гипотез приведен в статье .

t-тест

Ниже приведем процедуру проверки гипотезы в случае неизвестной дисперсии . Данная процедура имеет название t -тест :

В MS EXCEL верхний α /2-квантиль вычисляется по формуле
=СТЬЮДЕНТ.ОБР(1-α /2; n-1)

Учитывая симметричность t-распределения относительно оси ординат, верхний α /2-квантиль равен обычному α /2-квантилю со знаком минус:
=-СТЬЮДЕНТ.ОБР(α /2; n-1)

Также в MS EXCEL имеется специальная формула для вычисления двухсторонних квантилей :
=СТЬЮДЕНТ.ОБР.2Х(α ; n-1)
Все три формулы вернут один и тот же результат.

Примечание : Подробнее про квантили распределения можно прочитать в статье .

Примечание : Если вместо t-распределения использовать стандартное нормальное распределение, то мы получим необоснованно более узкий доверительный интервал , тем самым мы будем чаще необоснованно отвергать нулевую гипотезу , когда она справедлива (увеличим ошибку первого рода ).

Отметим, что различие в ширине интервалов зависит от размера выборки n (при уменьшении n различие увеличивается) и от уровня значимости (при уменьшении α различие увеличивается). Для n=10 и α = 0,01 относительная разница в ширине интервалов составляет порядка 20%. При большом размере выборки n (>30), различием в интервалах часто пренебрегают (для n=30 и α = 0,01 относительная разница составляет 6,55%). Это свойство используется в функции Z.ТЕСТ() , которая вычисляет р-значение (см. ниже) с использованием нормального распределения (аргумент σ должен быть опущен или указана ссылка на стандартное отклонение выборки ).

В случае односторонней гипотезы речь идет об отклонении μ только в одну сторону: либо больше либо меньше μ 0 . Если альтернативная гипотеза звучит как μ>μ 0 , то гипотеза Н 0 отвергается в случае t 0 > t α ,n-1 . Если альтернативная гипотеза звучит как μ<μ 0 , то гипотеза Н 0 отвергается в случае t 0 < - t α ,n-1 .

Вычисление Р-значения

При проверке гипотез большое распространение также получил еще один эквивалентный подход, основанный на вычислении p -значения (p-value).

СОВЕТ : Подробнее про p -значение написано в статье .

Если p-значение , вычисленное на основании выборки , меньше чем заданный уровень значимости α , то нулевая гипотеза отвергается и принимается альтернативная гипотеза . И наоборот, если p-значение больше α , то нулевая гипотеза не отвергается.

Другими словами, если p-значение меньше уровня значимости α , то это свидетельство того, что значение t -статистики , вычисленное на основе выборки при условии истинности нулевой гипотезы , приняло маловероятное значение t 0 .

Формула для вычисления p-значения зависит от формулировки альтернативной гипотезы :

• Для односторонней гипотезы μ<μ 0 p-значение вычисляется как =СТЬЮДЕНТ.РАСП(t 0 ; n-1; ИСТИНА)
• Для другой односторонней гипотезы μ>μ 0 p-значение вычисляется как =1-СТЬЮДЕНТ.РАСП(t 0 ; n-1; ИСТИНА)
• Для двусторонней гипотезы p-значение вычисляется как =2*(1-СТЬЮДЕНТ.РАСП(ABS(t 0);n-1;ИСТИНА))

Соответственно, t 0 =(СРЗНАЧ(выборка )-μ 0)/ (СТАНДОТКЛОН.В(выборка )/ КОРЕНЬ(СЧЁТ(выборка ))) , где выборка – ссылка на диапазон, содержащий значения выборки .

В файле примера на листе Сигма неизвестна показана эквивалентность проверки гипотезы через доверительный интервал , статистику t 0 (t -тест) и p -значение .

Примечание : В MS EXCEL нет специализированной функции для одновыборочного t-теста . При больших n можно использовать функцию Z.ТЕСТ() с опущенным 3-м аргументом (подробнее про эту функцию см. статью ). Функция СТЬЮДЕНТ.ТЕСТ() предназначена для .

Пусть требуется проверить нулевую гипотезу о нормальном законе распределения случайной величины. Уровень значимости принять =0,001 .

Обычно точные параметры гипотетического нормального закона нам неизвестны, поэтому нулевую гипотезу (Н0) словесно можно сформулировать следующим образом: F(х) является функцией нормального распределения с параметрами М(X) =а = и D(X) = .

Для проверки этой нулевой гипотезы найдем точечные оценки математического ожидания и среднего квадратического отклонения нормально распределенной случайной величины:

При проверке гипотезы о нормальном распределении генеральной совокупности сравниваются эмпирические (наблюдаемые) и теоретические (вычисленные в предположении нормальности распределения) частоты. Для этого используются статистика 2 - Пирсона с =k-r-1 степенями свободы (k - число групп, r - число оцениваемых параметров, в настоящем примере оценивались математическое ожидание и среднее квадратическое отклонение, следовательно, r = 2). Если 2расч. 2кр., то нулевая гипотеза отвергается и считается, что предположение о нормальности распределения не согласуется с опытными данными. В противном случае (2расч. < 2кр.) нулевая гипотеза принимается.

Вычисляются теоретические вероятности рi, попадания СВ ХN в частичные интервалы . Пусть, далее, каждому y из сегмента [α, β] соответствует только одно значение x из сегмента , для которого f(x) = y. Тогда на сегменте [α, β] можно определить функцию x = f -1 (y), ставя в соответствие каждому y из [α, β] то значение x из , для которого f(x) = y. Функция x = f -1 (y) называется обратной для функции y = f(x).

Значения критических точек можно найти через функцию: =НОРМСТОБР, указав в диалоговом окне значение вероятности () - для нахождения значения ,или же значение (1 - ) – для нахождения значения ).

Величина Z , распределённая нормально с параметрами Z=N(0;1), распределена симметрично:

0,05

Геометрическая интерпретация: вероятность попадания в области отклонения гипотезы равна сумме заштрихованных площадей.

Последовательность проведения тестирования:

1. Вычисляем статистику Z.

2. Задаёмся уровнем значимости .

3. Определяем критические точки, исходя из условий (1) и (2).

4. Сравниваем рассчитанное в п.1 значение Z со значением критических точек:

Если значение Z- статистики будет по абсолютной величине больше чем значение критической точки, то нулевая гипотеза отклоняется при данном уровне значимости . Это означает, что две совокупности, из которых сделана выборка, различны и, следовательно, средние значения и математические ожидания для этих выборок не равны. В противном случае принимается гипотеза о равенстве средних значений, и можно рассматривать эти две совокупности как одну общую с одним и тем же математическим значением.

В пакете EXCEL существует инструмент анализа, который называется «двухвыборочный Z -тест для средних» (Сервис – анализ данных – двухвыборочный Z- тест для средних). Он служит для проверки гипотезы о различии между средними (математическими ожиданиями) двух нормальных распределений с известными дисперсиями.

Когда вызывается этот инструмент, то появляется диалоговое окно, в котором задаются следующие параметры:

* Гипотетическая средняя разность: вводится число, предполагаемой разности между средними для изучаемой генеральной последовательности. Для проверки гипотезы о равенстве средних необходимо ввести значение ноль.

* Дисперсия переменной 1 (известная): вводится известное значение дисперсии случайной величины Х.

* Дисперсия переменной 2 (известная): вводится известное значение дисперсии случайной величины У.

* Метки: если активируем, то первая строка воспринимается как заголовок и не считается.

* Альфа: задаётся уровень значимости , равный вероятности совершить ошибку первого рода.

ЗАДАНИЕ 1:

Известны выборочные данные о диаметре валиков в миллиметрах, изготовляемых автоматом 1 и 2.

Дисперсия для автомата 1: = 5 мм 2 .

Дисперсия для автомата 2: =7 мм 2 .

Уровень значимости = 0,05.

1.Используя двухвыборочный Z- тест для средних проверить для вашего варианта гипотезу о равенстве средних значений.

2.Проверить эту же гипотезу, используя расчётные формулы.

Проверка однородности двух выборок производится с помощью критерия Стьюдента (или t – критерия). Рассмотрим постановку задачи проверки однородности двух выборок. Пусть произведено две выборки объемом и . Необходимо проверить нулевую гипотезу о том, что генеральные средние двух выборок равны. То есть, и . n 1

Прежде чем рассматривать методику решения задачи рассмотрим некоторые теоретические положения, используемые для решения задачи. Известный математик У.С. Госсет (ряд своих работ публиковал под псевдонимом Стьюдент) доказал, что статистика t (6.4) подчиняется определенному закону распределения, который в последствии был назван законом распределения Стьюдента (второе название закона – ”t – распределение”).

Среднее значение случайной величины X ;

Математическое ожидание случайной величины X ;

Среднеквадратичного отклонения среднего выборки объема n .

Оценка среднеквадратичного отклонения среднего рассчитывается по формуле (6.5):

Среднеквадратичного отклонения случайной величины X .

Распределение Стьюдента имеет один параметр – количество степеней свободы .

Теперь вернемся к исходной постановке задачи с двумя выборками и рассмотрим случайную величину равную разности средних двух выборок (6.6):

(6.6)

При условии выполнения гипотезы о равенстве генеральных средних справедливо (6.7):

(6.7)

Перепишем соотношение (6.4) применительно нашему случаю:

Оценка среднеквадратичного отклонения может быть выражена через оценку среднеквадратичного отклонения объединенной совокупности (6.9):

(6.9)

Оценка дисперсии объединенной совокупности может быть выражена через оценки дисперсии, рассчитанные по двум выборкам и :

(6.10)

С учетом формулы (6.10) соотношение (6.9) можно переписать в виде (6.11). Соотношение (6.9) является основной расчетной формулой задачи сравнения средних:

При подстановке значения в формулу (6.8) будем иметь выборочное значение t -критерия . По таблицам распределения Стьюдента при количестве степеней свободы и заданном уровне значимости можно определить . Теперь, если , то гипотеза о равенстве двух средних отвергается.

Рассмотрим пример выполнения расчетов для проверки гипотезы равенства двух средних в EXCEL. Сформируем таблицу данных (рис. 6.22). Данные сгенерируем с помощью программы генерации случайных чисел пакета ”Анализ данных”:

X1 выборка из нормального распределения с параметрами объемом ;

X2 выборка из нормального распределения с параметрами объемом ;

X3 выборка из нормального распределения с параметрами объемом ;

X4 выборка из нормального распределения с параметрами объемом .

Проверим гипотезу равенства двух средних (X1-X2), (X1-X3), (X1-X4). В начале рассчитаем параметры выборок признаков X1-X4 (рис. 6.23). Затем рассчитаем значение t - критерия. Расчеты выполнит с помощью формул (6.6) – (6.9) в EXCEL. Результаты расчетов сведем в таблицу (рис. 6.24).

Рис. 6.22. Таблица данных

Рис. 6.23. Параметры выборок признаков X1-X4

Рис. 6.24. Сводная таблица расчета значений t – критерия для пар признаков (X1-X2), (X1-X3), (X1-X4)

По результатам, приведенным в таблице на рис. 6.24 можно сделать заключение, что для пары признаков (X1-X2) гипотеза равенства средних двух признаков отвергается, а для пар признаков (X1-X3), (X1-X4) гипотезу можно считать справедливой.

Такие же результаты можно получить с помощью программы “Двухвыборочный t -тест с одинаковыми дисперсиями” пакета Анализ данных. Интерфейс программы приведен на рис. 6.25.

Рис. 6.25. Параметры программы “Двухвыборочный t - тест с одинаковыми дисперсиями”

Результаты расчетов проверки гипотез равенства двух средних пар признаков (X1-X2), (X1-X3), (X1-X4), полученные с помощью программы приведены на рис. 6.26-6.28.

Рис. 6.26. Расчет значения t – критерия для пары признаков (X1-X2)

Рис. 6.27. Расчет значения t – критерия для пары признаков (X1-X3)

Рис. 6.28. Расчет значения t – критерия для пары признаков (X1-X4)

Двухвыборочный t -тест с одинаковыми дисперсиями иначе называется t -тестом с независимыми выборками. Большое распространение так же получил t -тестом с зависимыми выборками. Ситуация, когда необходимо применять этот критерий возникает тогда, когда одна и та же случайная величина подвергается измерению дважды. Количество наблюдений в обоих случаях одинаково. Введем обозначения для двух последовательных измерений некоторого свойства одних и тех же объектови , , а разность двух последовательных измерений обозначим :

В этом случае формула для выборочного значения критерия приобретает вид:

, (6.13)

(6.15)

В этом случае количество степеней свободы . Проверку гипотезы можно выполнить с помощью программы “Парный двухвыборочный t -тест” пакета анализа данных (рис. 6.29).

Рис. 6.29. Параметры программы “Парный двухвыборочный t -тест”

6.5. Дисперсионный анализ –классификация по одному признаку (F - критерий)

В дисперсионном анализе проверяется гипотеза, которая является обобщением гипотезы равенства двух средних на случай, когда проверяется гипотеза равенства одновременно нескольких средних. В дисперсионном анализе исследуется степень влияния одного или нескольких факторных признаков на результативный признак. Идея дисперсионного анализа принадлежит Р. Фишеру. Он использовал его для обработки результатов агрономических опытов. Дисперсионный анализ применяется для установления существенности влияния качественных факторов на исследуемую величину. Английское сокращенное название дисперсионного анализа – ANOVA (analysis variation).

Общая форма представления данных с классификацией по одному признаку представлена в таблице 6.1.

Таблица 6.1. Форма представления данных с классификацией по одному признаку