s x = (1.11)

Мы будем в дальнейшем рассмотривать важную задачу для исследования наблюдаемой случайной величины. Пусть имеется некоторая выборка (будем обозначать её S ) случайной величины Х . Требуется по имеющейся выборке оценить неизвестные значения m x и .

Теория оценок различных параметров занимает в математической статистике значительное место. Поэтому рассмотрим сначала общую задачу. Пусть требуется оценить некоторый параметр a по выборке S . Каждая такая оценка a* является некоторой функцией a*=a*(S) от значений выборки. Значения выборки случайны, поэтому и сама оценка a* является случайной величиной. Можно построить множество различных оценок (то есть функций) a* , но при этом желательно иметь «хорошую» или даже «наилучшую», в некотором смысле, оценку. К оценкам обычно предъявляются следующие три естественных требования.

1. Несмещённость. Математическое ожидание оценки a* должно равняться точному значению параметра: M = a . Другими словами, оценка a* не должна иметь систематической ошибки.

2. Состоятельность. При бесконечном увеличении объёма выборки, оценка a* должна сходиться к точному значению, то есть при увеличении числа наблюдений ошибка оценки стремится к нулю.

3. Эффективность. Оценка a* называется эффективной, если она не смещена и имеет минимально возможную дисперсию ошибки. В этом случае минимален разброс оценки a* относительно точного значения и оценка в определённом смысле является «самой точной».

К сожалению, не всегда удаётся построить оценку, удовлетворяющую всем трём требованиям одновременно.

Для оценки математического ожидания чаще всего применяется оценка.

= , (1.12)

то есть среднее арифметическое по выборке. Если случайная величина X имеет конечные m x и s x , то оценка (1.12) не смещена и состоятельна. Эта оценка эффективна, например, если X имеет нормальное распределение (рис.п.1.4, приложение 1). Для других распределений она может оказаться неэффективной. Например, в случае равномерного распределения (рис.п.1.1, приложение 1) несмещённой, состоятельной оценкой будет

(1.13)

В то же время оценка (1.13) для нормального распределения не будет ни состоятельной, ни эффективной, и будет даже ухудшаться с ростом объёма выборки.

Таким образом, для каждого типа распределения случайной величины Х следовало бы использовать свою оценку математического ожидания. Однако в нашей ситуации тип распределения может быть известен лишь предположительно. Поэтому будем использовать оценку (1.12), которая достаточно проста и имеет наиболее важные свойства несмещённости и состоятельности.

Для оценки математического ожидания по группированной выборке используется следующая формула:

= , (1.14)

которую можно получить из предыдущей, если считать все m i значений выборки, попавших в i –й интервал, равными представителю z i этого интервала. Эта оценка, естественно, грубее, но требует значительно меньшего объёма вычислений, особенно при большом объёме выборки.

Для оценки дисперсии чаще всего используется оценка:

= , (1.15)

Эта оценка не смещена и состоятельна для любой случайной величины Х , имеющей конечные моменты до четвёртого порядка включительно.

В случае группированной выборки используется оценка:

= (1.16)

Оценки (1.14) и (1.16), как правило, смещены и несостоятельны, так как их математические ожидания и пределы, к которым они сходятся, отличны от m x и в силу замены всех значений выборки, попавших в i –й интервал, на представителя интервала z i .

Отметим, что при больших n, коэффициент n /(n – 1) в выражениях (1.15) и (1.16) близок к единице, поэтому его можно опустить.

Интервальные оценки.

Пусть точное значение некоторого параметра равно a и найдена его оценка a*(S) по выборке S . Оценке a* соответствует точка на числовой оси (рис.1.5), поэтому такая оценка называется точечной . Все оценки, рассмотренные в предыдущем параграфе, точечные. Практически всегда, в силу случайности

a* ¹ a , и мы можем надеяться только на то, что точка a* находится где–то вблизи a . Но насколько близко? Любая другая точечная оценка будет иметь тот же недостаток – отсутствие меры надёжности результата.

Рис.1.5. Точечная оценка параметра.

Более определённым в этом отношении являются интервальные оценки . Интервальные оценка представляет собой интервал I b = (a , b) , в котором точное значение оцениваемого параметра находится с заданной вероятностью b . Интервал I b называется доверительным интервалом , а вероятность b называется доверительной вероятностью и может рассматриваться как надёжность оценки .

Доверительный интервал состоится по имеющейся выборке S , он случаен в том смысле, что случайны его границы a(S) и b(S) , которые мы будем вычислять по (случайной) выборке. Поэтому b есть вероятность того, что случайный интервал I b накроет неслучайную точку a . На рис. 1.6. интервал I b накрыл точку a , а I b * - нет. Поэтому не совсем правильно говорить, что a « попадает» в интервал.

Если доверительная вероятность b велика (например, b = 0,999 ), то практически всегда точное значение a находится в построенном интервале.

Рис.1.6. Доверительные интервалы параметра a для различных выборок.

Рассмотрим метод построения доверительного интервала для математического ожидания случайной величины Х, основанный на центральной предельной теореме .

Пусть случайная величина Х имеет неизвестное математическое ожидание m x и известную дисперсию . Тогда, в силу центральной предельной теоремы, среднее арифметическое:

= , (1.17)

результатов n независимых испытаний величины Х является случайной величиной, распределение которой при больших n , близко к нормальному распределению со средним m x и среднеквадратическим отклонением . Поэтому случайная величина

(1.18)

имеет распределение вероятностей, которое можно считать стандартным нормальным с плотностью распределения j(t) , график которой изображён на рис.1.7 (а также на рис.п.1.4, приложение 1).

Рис.1.7. Плотность распределения вероятностей случайной величины t .

Пусть задана доверительная вероятность b и t b - число, удовлетворяющее уравнению

b = Ф 0 (t b) – Ф 0 (-t b) = 2 Ф 0 (t b), (1.19)

где - функция Лапласа . Тогда вероятность попадания в интервал (-t b , t b) будет равна заштрихованной на рис.1.7. площади, и, в силу выражения (1.19), равна b . Следовательно

b = P(-t b < < t b) = P( – t b < m x < + t b ) =

= P( – t b < m x < + t b ) . (1.20)

Таким образом, в качестве доверительного интервала можно взять интервал

I b = ( – t b ; + t b ) , (1.21)

так как выражение (1.20) означает, что неизвестное точное значение m x находится в I b с заданной доверительной вероятностью b . Для построения I b нужно по заданному b найтиt b из уравнения (1.19). Приведём несколько значений t b , необходимых в дальнейшем :

t 0,9 = 1,645; t 0,95 = 1,96; t 0,99 = 2,58; t 0,999 = 3,3.

При выводе выражения (1.21) предполагалось, что известно точное значение среднеквадратического отклонения s х . Однако оно известно далеко не всегда. Воспользуемся поэтому его оценкой (1.15) и получим:

I b = ( – t b ; + t b ) . (1.22)

Соответственно, оценки и , полученные по группированной выборке, дают следующую формулу для доверительного интервала:

I b = ( – t b ; + t b ) . (1.23)

Пусть имеется случайная величина X, и ее параметры математическое ожидание а и дисперсия неизвестны. Над величиной X произведеноn независимых опытов, давших результаты x 1, x 2, x n .

Не уменьшая общности рассуждений, будем считать эти значения случайной величины различными. Будем рассматривать значения x 1, x 2, x n как независимые, одинаково распределенные случайные величины X 1, X 2, X n .

Простейший метод статистического оценивания - метод подстановки и аналогии - состоит в том, что в качестве оценки той или иной числовой характеристики (среднего, дисперсии и др.) генеральной совокупности берут соответствующую характеристику распределения выборки - выборочную характеристику.

По методу подстановки в качестве оценки математического ожидания а надо взять математическое ожидание распределения выборки - выборочное среднее. Таким образом, получаем

Чтобы проверить несмещенность и состоятельность выборочного среднего как оценки а , рассмотрим эту статистику как функцию выбранного вектора (X 1, X 2, X n). Приняв во внимание, что каждая из величин X 1, X 2, X n имеет тот же закон распределения, что и величина X, заключаем, что и числовые характеристики этих величин и величины X одинаковые: M(X i ) = M(X) = a , D(X i ) = D(X) = , i = 1, 2, n, причем X i - независимые в совокупности случайные величины.

Следовательно,

Отсюда по определению получаем, что - несмещенная оценка а , и так как D()®0 при n®¥, то в силу теоремы предыдущего параграфа является состоятельной оценкой математического ожидания а генеральной совокупности.

Эффективность или неэффективность оценки зависит от вида закона распределения случайной величины X. Можно доказать, что если величина X распределена по нормальному закону, то оценка является эффективной. Для других законов распределения это может быть не так.

Несмещенной оценкой генеральной дисперсии служит исправленная выборочная дисперсия

,

Так как , где - генеральная дисперсия. Действительно,

Оценка s -- 2 для генеральной дисперсии является также и состоятельной, но не является эффективной. Однако в случае нормального распределения она является «асимптотически эффективной», то есть при увеличении n отношение ее дисперсии к минимально возможной неограниченно приближается к единице.

Итак, если дана выборка из распределения F(x ) случайной величины X с неизвестным математическим ожиданием а и дисперсией , то для вычисления значений этих параметров мы имеем право пользоваться следующими приближенными формулами:

a ,

.

Здесь x- i - - варианта выборки, n- i - - частота варианты x i , - - объем выборки.
Для вычисления исправленной выборочной дисперсии более удобна формула

.

Для упрощения расчета целесообразно перейти к условным вариантам (в качестве с выгодно брать первоначальную варианту, расположенную в середине интервального вариационного ряда). Тогда

, .

Интервальное оценивание

Выше мы рассмотрели вопрос об оценке неизвестного параметра а одним числом. Такие оценки мы назвали точечными. Они имеют тот недостаток, что при малом объеме выборки могут значительно отличаться от оцениваемых параметров. Поэтому, чтобы получить представление о близости между параметром и его оценкой, в математической статистике вводятся, так называемые, интервальные оценки.

Пусть во выборке для параметра q найдена точечная оценка q * . Обычно исследователи заранее задаются некоторой достаточно большой вероятностью g (например, 0,95; 0,99 или 0,999) такой, что событие с вероятностью g можно считать практически достоверным, и ставят вопрос об отыскании такого значения e > 0, для которого

.

Видоизменив это равенство, получим:

и будем в этом случае говорить, что интервал ]q * - e; q * + e[ покрывает оцениваемый параметр q с вероятностью g.

Интервал ]q * -e; q * +e [ называется доверительным интервалом .

Вероятность g называется надежностью (доверительной вероятностью) интервальной оценки.

Концы доверительного интервала, т.е. точки q * -e и q * +e называются доверительными границами .

Число e называется точностью оценки .

В качестве примера задачи об определении доверительных границ, рассмотрим вопрос об оценке математического ожидания случайной величины Х, имеющей нормальный закон распределения с параметрами а и s, т.е. Х = N(a , s). Математическое ожидание в этом случае равно а . По наблюдениям Х 1 , Х 2 , Х n вычислим среднее и оценку дисперсии s 2 .

Оказывается, что по данным выборки можно построить случайную величину

которая имеет распределение Стьюдента (или t-распределение) с n = n -1 степенями свободы.

Воспользуемся таблицей П.1.3 и найдем для заданных вероятности g и числа n число t g такое, при котором вероятность

P(|t(n)| < t g) = g,

.

Сделав очевидные преобразования получим,

Порядок применения F-критерия следующий:

1. Принимается предположение о нормальности распределения генеральных совокупностей. При заданном уровне значимости a формулируется нулевая гипотеза Н 0: s х 2 = s y 2 о равенстве генеральных дисперсий нормальных совокупностей при конкурирующей гипотезе Н 1: s х 2 > s y 2 .

2. Получают две независимые выборки из совокупностей Х и Y объемом n x и n y соответственно.

3. Рассчитывают значения исправленных выборочных дисперсий s х 2 и s y 2 (методы расчета рассмотрены в §13.4). Большую из дисперсий (s х 2 или s y 2) обозначают s 1 2 , меньшую - s 2 2 .

4. Вычисляется значение F-критерия по формуле F набл = s 1 2 / s 2 2 .

5. По таблице критических точек распределения Фишера - Снедекора, по заданному уровню значимости a и числом степеней свободы n 1 = n 1 - 1, n 2 = n 2 - 1 (n 1 - число степеней свободы большей исправленной дисперсии), находится критическая точка F кр (a, n 1 , n 2).

Отметим, что в таблице П.1.7 приведены критические значения одностороннего F-критерия. Поэтому, если применяется двусторонний критерий (Н 1: s х 2 ¹ s y 2), то правостороннюю критическую точку F кр (a/2, n 1 , n 2) ищут по уровню значимости a/2 (вдвое меньше заданного) и числам степеней свободы n 1 и n 2 (n 1 - число степеней свободы большей дисперсии). Левостороннюю критическую точку можно и не отыскивать.

6. Делается вывод: если вычисленное значение F-критерия больше или равно критическому (F набл ³ F кр), то дисперсии различаются значимо на заданном уровне значимости. В противном случае (F набл < F кр) нет оснований для отклонения нулевой гипотезы о равенстве двух дисперсий.

Задача 15.1 . Расход сырья на единицу продукции по старой технологии составил:

По новой технологии:

Предположив, что соответствующие генеральные совокупности X и Y имеют нормальные распределения, проверить, что по вариативности расход сырья по новой и старой технологиям не отличаются, если принять уровень значимости a = 0,1.

Решение . Действуем в порядке, указанном выше.

1. Будем судить о вариативности расхода сырья по новой и старой технологиям по величинам дисперсий. Таким образом, нулевая гипотеза имеет вид Н 0: s х 2 = s y 2 . В качестве конкурирующей примем гипотезу Н 1: s х 2 ¹ s y 2 , поскольку заранее не уверены в том, что какая-либо из генеральных дисперсий больше другой.

2-3. Найдем выборочные дисперсии. Для упрощения вычислений перейдем к условным вариантам:

u i = x i - 307, v i = y i - 304.

Все вычисления оформим в виде следующих таблиц:

Контроль: å m i u i 2 + 2å m i u i + m i = Контроль: å n i v i 2 + 2å n i v i + n i = 13 + 2 + 9 = 24 = 34 + 20 + 13 = 67

Найдем исправленные выборочные дисперсии:

4. Сравним дисперсии. Найдем отношение большей исправленной дисперсии к меньшей:

.

5. По условию конкурирующая гипотеза имеет вид s х 2 ¹ s y 2 , поэтому критическая область двусторонняя и при отыскании критической точки следует брать уровни значимости, вдвое меньше заданного.

По таблице П.1.7 по уровню значимости a/2 = 0,1/2 = 0,05 и числам степеней свободы n 1 = n 1 - 1 = 12, n 2 = n 2 - 1 = 8 находим критическую точку F кр (0,05; 12; 8) = 3,28.

6. Так как F набл. < F кр то гипотезу о равенстве дисперсий расхода сырья при старой и новой технологиях принимаем.

Выше при проверке гипотез предполагалось нормальность распределения исследуемых случайных величин. Однако специальные исследования показали, что предложенные алгоритмы весьма устойчивы (особенно при больших объемах выборок) по отношению к отклонению от нормального распределения.

Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D , при этом оба эти параметра неизвестны. Над величиной Х произведено N независимых экспериментов, в результате которых была получена совокупность N численных результатов x 1 , x 2 , …, x N . В качестве оценки математического ожидания естественно предложить среднее арифметическое наблюдаемых значений

Здесь в качестве x i рассматриваются конкретные значения (числа), полученные в результате N экспериментов. Если взять другие (независимые от предыдущих) N экспериментов, то, очевидно, мы получим другое значение . Если взять еще N экспериментов, то мы получим еще одно новое значение . Обозначим через X i случайную величину, являющуюся результатом i -го эксперимента, тогда реализациями X i будут числа, полученные в результате этих экспериментов. Очевидно, что случайная величина X i будет иметь такую же плотность распределения вероятности, что и исходная случайная величина Х . Также считаем, что случайные величины X i и X j являются независимыми при i , не равном j (различные независимые друг относительно друга эксперименты). Поэтому формулу (1) перепишем в другом (статистическом) виде:

Покажем, что оценка является несмещенной:

Таким образом, математическое ожидание выборочного среднего равно истинному математическому ожиданию случайной величины m . Это достаточно предсказуемый и понятный факт. Следовательно, за оценку математического ожидания случайной величины можно принять выборочное среднее (2). Теперь возникает вопрос: что происходит с дисперсией оценки математического ожидания при увеличении числа экспериментов? Аналитические вычисления показывают, что

где - дисперсия оценки математического ожидания (2), а D - истинная дисперсия случайной величины X .

Из вышесказанного следует, что с ростом N (количества экспериментов) дисперсия оценки уменьшается, т.е. чем больше мы суммируем независимые реализации, тем ближе к математическому ожиданию мы получим оценку.

Оценки математического дисперсии

На первый взгляд наиболее естественной оценкой представляется

где вычисляется по формуле (2). Проверим, является ли оценка несмещенной. Формула (3) может быть записана следующим образом :

Подставим в эту формулу выражение (2):

Найдем математическое ожидание оценки дисперсии:

Так как дисперсия случайной величины не зависит от того, какое математическое ожидание у случайной величины, примем математическое ожидание равным 0, т.е. m = 0.

Оценки математического ожидания и дисперсии.

С понятием параметров распределения мы познакомились в теории вероятностей. Например, в нормальном законе распределения, задаваемом функцией плотности вероятности

параметрами служат а – математическое ожидание и а – среднее квадратическое отклонение. В распределении Пуассона параметром является число а = пр.

Определение. Статистической оценкой неизвестного параметра теоретического распределения называют его приближенное значение, зависящее от данных выборки (х 1 , х 2 , х 3 , ..., х k ; п 1 , п 2 , п 3 , ..., п k ), т. е. некоторую функцию этих величин.

Здесь х 1 , х 2 , х 3 , ..., х k – значения признака, п 1 , п 2 , п 3 , ..., п k –соответствующие частоты. Статистическая оценка является случайной величиной.

Обозначим через θ – оцениваемый параметр, а через θ * – его статистическую оценку. Величину |θ *–θ | называют точностью оценки. Чем меньше |θ *–θ |, тем лучше, точнее определен неизвестный параметр.

Чтобы оценка θ * имела практическое значение, она не должна содержать систематической ошибки и вместе с тем иметь возможно меньшую дисперсию. Кроме того, при увеличении объема выборки вероятность сколь угодно малых отклонений |θ *–θ | должна быть близка к 1.

Сформулируем следующие определения.

1. Оценка параметра называется несмещенной, если ее математическое ожидание М (θ *) равно оцениваемому параметру θ , т. е.

М (θ *) = θ, (1)

и смещенной, если

М (θ *) ≠ θ, (2)

2. Оценка θ* называется состоятельной, если при любом δ > 0

(3)

Равенство (3) читается так: оценка θ * сходится по вероятности к θ .

3. Оценка θ* называется эффективной, если при заданном п она имеет наименьшую дисперсию.

Теорема 1. Выборочная средняя Х В является несмещенной и состоятельной оценкой математического ожидания.

Доказательство. Пусть выборка репрезентативна, т. е.. все элементы генеральной совокупности имеют одинаковую возможность попасть в выборку. Значения признака х 1 , х 2 , х 3 ,...,х n можно принять за независимые случайные величины Х 1 , Х 2 , Х 3 , ...,Х n с одинаковыми распределениями и числовыми характеристиками, в том числе с равными математическими ожиданиями, равными а,

Так как каждая из величин Х 1 , Х 2 , Х 3 , …, Х п имеет распределение, совпадающее с распределением генеральной совокупности, то М (Х ) = а. Поэтому

откуда следует, что – состоятельная оценка М (Х ).

Используя правило исследования на экстремум, можно доказать, что является и эффективной оценкой М (Х ).