Пусть имеется случайная величина X, и ее параметры математическое ожидание а и дисперсия неизвестны. Над величиной X произведеноn независимых опытов, давших результаты x 1, x 2, x n .

Не уменьшая общности рассуждений, будем считать эти значения случайной величины различными. Будем рассматривать значения x 1, x 2, x n как независимые, одинаково распределенные случайные величины X 1, X 2, X n .

Простейший метод статистического оценивания - метод подстановки и аналогии - состоит в том, что в качестве оценки той или иной числовой характеристики (среднего, дисперсии и др.) генеральной совокупности берут соответствующую характеристику распределения выборки - выборочную характеристику.

По методу подстановки в качестве оценки математического ожидания а надо взять математическое ожидание распределения выборки - выборочное среднее. Таким образом, получаем

Чтобы проверить несмещенность и состоятельность выборочного среднего как оценки а , рассмотрим эту статистику как функцию выбранного вектора (X 1, X 2, X n). Приняв во внимание, что каждая из величин X 1, X 2, X n имеет тот же закон распределения, что и величина X, заключаем, что и числовые характеристики этих величин и величины X одинаковые: M(X i ) = M(X) = a , D(X i ) = D(X) = , i = 1, 2, n, причем X i - независимые в совокупности случайные величины.

Следовательно,

Отсюда по определению получаем, что - несмещенная оценка а , и так как D()®0 при n®¥, то в силу теоремы предыдущего параграфа является состоятельной оценкой математического ожидания а генеральной совокупности.

Эффективность или неэффективность оценки зависит от вида закона распределения случайной величины X. Можно доказать, что если величина X распределена по нормальному закону, то оценка является эффективной. Для других законов распределения это может быть не так.

Несмещенной оценкой генеральной дисперсии служит исправленная выборочная дисперсия

,

Так как , где - генеральная дисперсия. Действительно,

Оценка s -- 2 для генеральной дисперсии является также и состоятельной, но не является эффективной. Однако в случае нормального распределения она является «асимптотически эффективной», то есть при увеличении n отношение ее дисперсии к минимально возможной неограниченно приближается к единице.

Итак, если дана выборка из распределения F(x ) случайной величины X с неизвестным математическим ожиданием а и дисперсией , то для вычисления значений этих параметров мы имеем право пользоваться следующими приближенными формулами:

a ,

.

Здесь x- i - - варианта выборки, n- i - - частота варианты x i , - - объем выборки.
Для вычисления исправленной выборочной дисперсии более удобна формула

.

Для упрощения расчета целесообразно перейти к условным вариантам (в качестве с выгодно брать первоначальную варианту, расположенную в середине интервального вариационного ряда). Тогда

, .

Интервальное оценивание

Выше мы рассмотрели вопрос об оценке неизвестного параметра а одним числом. Такие оценки мы назвали точечными. Они имеют тот недостаток, что при малом объеме выборки могут значительно отличаться от оцениваемых параметров. Поэтому, чтобы получить представление о близости между параметром и его оценкой, в математической статистике вводятся, так называемые, интервальные оценки.

Пусть во выборке для параметра q найдена точечная оценка q * . Обычно исследователи заранее задаются некоторой достаточно большой вероятностью g (например, 0,95; 0,99 или 0,999) такой, что событие с вероятностью g можно считать практически достоверным, и ставят вопрос об отыскании такого значения e > 0, для которого

.

Видоизменив это равенство, получим:

и будем в этом случае говорить, что интервал ]q * - e; q * + e[ покрывает оцениваемый параметр q с вероятностью g.

Интервал ]q * -e; q * +e [ называется доверительным интервалом .

Вероятность g называется надежностью (доверительной вероятностью) интервальной оценки.

Концы доверительного интервала, т.е. точки q * -e и q * +e называются доверительными границами .

Число e называется точностью оценки .

В качестве примера задачи об определении доверительных границ, рассмотрим вопрос об оценке математического ожидания случайной величины Х, имеющей нормальный закон распределения с параметрами а и s, т.е. Х = N(a , s). Математическое ожидание в этом случае равно а . По наблюдениям Х 1 , Х 2 , Х n вычислим среднее и оценку дисперсии s 2 .

Оказывается, что по данным выборки можно построить случайную величину

которая имеет распределение Стьюдента (или t-распределение) с n = n -1 степенями свободы.

Воспользуемся таблицей П.1.3 и найдем для заданных вероятности g и числа n число t g такое, при котором вероятность

P(|t(n)| < t g) = g,

.

Сделав очевидные преобразования получим,

Порядок применения F-критерия следующий:

1. Принимается предположение о нормальности распределения генеральных совокупностей. При заданном уровне значимости a формулируется нулевая гипотеза Н 0: s х 2 = s y 2 о равенстве генеральных дисперсий нормальных совокупностей при конкурирующей гипотезе Н 1: s х 2 > s y 2 .

2. Получают две независимые выборки из совокупностей Х и Y объемом n x и n y соответственно.

3. Рассчитывают значения исправленных выборочных дисперсий s х 2 и s y 2 (методы расчета рассмотрены в §13.4). Большую из дисперсий (s х 2 или s y 2) обозначают s 1 2 , меньшую - s 2 2 .

4. Вычисляется значение F-критерия по формуле F набл = s 1 2 / s 2 2 .

5. По таблице критических точек распределения Фишера - Снедекора, по заданному уровню значимости a и числом степеней свободы n 1 = n 1 - 1, n 2 = n 2 - 1 (n 1 - число степеней свободы большей исправленной дисперсии), находится критическая точка F кр (a, n 1 , n 2).

Отметим, что в таблице П.1.7 приведены критические значения одностороннего F-критерия. Поэтому, если применяется двусторонний критерий (Н 1: s х 2 ¹ s y 2), то правостороннюю критическую точку F кр (a/2, n 1 , n 2) ищут по уровню значимости a/2 (вдвое меньше заданного) и числам степеней свободы n 1 и n 2 (n 1 - число степеней свободы большей дисперсии). Левостороннюю критическую точку можно и не отыскивать.

6. Делается вывод: если вычисленное значение F-критерия больше или равно критическому (F набл ³ F кр), то дисперсии различаются значимо на заданном уровне значимости. В противном случае (F набл < F кр) нет оснований для отклонения нулевой гипотезы о равенстве двух дисперсий.

Задача 15.1 . Расход сырья на единицу продукции по старой технологии составил:

По новой технологии:

Предположив, что соответствующие генеральные совокупности X и Y имеют нормальные распределения, проверить, что по вариативности расход сырья по новой и старой технологиям не отличаются, если принять уровень значимости a = 0,1.

Решение . Действуем в порядке, указанном выше.

1. Будем судить о вариативности расхода сырья по новой и старой технологиям по величинам дисперсий. Таким образом, нулевая гипотеза имеет вид Н 0: s х 2 = s y 2 . В качестве конкурирующей примем гипотезу Н 1: s х 2 ¹ s y 2 , поскольку заранее не уверены в том, что какая-либо из генеральных дисперсий больше другой.

2-3. Найдем выборочные дисперсии. Для упрощения вычислений перейдем к условным вариантам:

u i = x i - 307, v i = y i - 304.

Все вычисления оформим в виде следующих таблиц:

u i	m i	m i u i	m i u i 2	m i (u i +1) 2		v i	n i	n i v i	n i v i 2	n i (v i +1) 2
-3		-3				-1		-2
å	-
						å	-

Контроль: å m i u i 2 + 2å m i u i + m i = Контроль: å n i v i 2 + 2å n i v i + n i = 13 + 2 + 9 = 24 = 34 + 20 + 13 = 67

Найдем исправленные выборочные дисперсии:

4. Сравним дисперсии. Найдем отношение большей исправленной дисперсии к меньшей:

.

5. По условию конкурирующая гипотеза имеет вид s х 2 ¹ s y 2 , поэтому критическая область двусторонняя и при отыскании критической точки следует брать уровни значимости, вдвое меньше заданного.

По таблице П.1.7 по уровню значимости a/2 = 0,1/2 = 0,05 и числам степеней свободы n 1 = n 1 - 1 = 12, n 2 = n 2 - 1 = 8 находим критическую точку F кр (0,05; 12; 8) = 3,28.

6. Так как F набл. < F кр то гипотезу о равенстве дисперсий расхода сырья при старой и новой технологиях принимаем.

Выше при проверке гипотез предполагалось нормальность распределения исследуемых случайных величин. Однако специальные исследования показали, что предложенные алгоритмы весьма устойчивы (особенно при больших объемах выборок) по отношению к отклонению от нормального распределения.

Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:

• для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
• для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.

Такие числовые характеристики, как правило, неизвестные, называются параметрами генеральной совокупности . Оценка параметра - соответствующая числовая характеристика, рассчитанная по выборке. Оценки параметров генеральной совокупности делятся на два класса: точечные и интервальные .

Когда оценка определяется одним числом, она называется точечной оценкой . Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость , эффективность и состоятельность .

Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.

В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.

Свойство несмещенности оценки .
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки .

Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия - смещенная оценка генеральной дисперсии D . Несмещенной оценкой генеральной дисперсии является оценка

Свойство состоятельности оценки .
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.

Определение . Оценка называется состоятельной , если она сходится по вероятности к оцениваемому параметру θ при n→∞.

Сходимость по вероятности означает, что при большом объеме выборки вероятность больших отклонений оценки от истинного значения мала.

Свойство эффективной оценки .
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.

Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.

Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.

Пример №1 . Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.

x	|x - x ср |	(x - x ср) 2
13	2	4
15	0	0
17	2	4
45	4	8

Простая средняя арифметическая (несмещенная оценка математического ожидания)


Дисперсия - характеризует меру разброса около ее среднего значения (мера рассеивания, т.е. отклонения от среднего - смещенная оценка).


Несмещенная оценка дисперсии - состоятельная оценка дисперсии (исправленная дисперсия).

Пример №2 . Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4

Пример №3 . Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200

Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.

Несмещенной называется статистическая оценка параметра, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называется статистическая оценка
параметра, математическое ожидание которой не равно оцениваемому параметру.

Эффективной называется статистическая оценка
параметра, которая при заданном объеме выборкиимеет наименьшую дисперсию.

Состоятельной называется статистическая оценка
параметра, которая при
стремится по вероятности к оцениваемому параметру.

т.е.для любого

.

Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.

Вычислим математическое ожидание среднего арифметического и дисперсии. Обозначим через математическое ожидание случайной величины

Здесь в качестве случайных величин рассматриваются: – С.В., значения которой равны первым значениям, полученным для различных выборок объемаиз генеральной совокупности,
–С.В., значения которой равны вторым значениям, полученным для различных выборок объемаиз генеральной совокупности, …,
– С.В., значения которой равны-м значениям, полученным для различных выборок объемаиз генеральной совокупности. Все эти случайные величины распределены по одному и тому же закону и имеют одно и то же математическое ожидание.

Из формулы (1) следует, что среднее арифметическое является несмещенной оценкой математического ожидания, так как математическое ожидание среднего арифметического равно математическому ожиданию случайной величины. Эта оценка является также состоятельной. Эффективность данной оценки зависит от вида распределения случайной величины
. Если, например,
распределена нормально, оценка математического ожидания с помощью среднего арифметического будет эффективной.

Найдем теперь статистическую оценку дисперсии.

Выражение для статистической дисперсии можно преобразовать следующим образом

(2)

Найдем теперь математическое ожидание статистической дисперсии

. (3)

Учитывая, что
(4)

получим из (3)-

Из формулы (6) видно, что математическое ожидание статистической дисперсии отличается множителем от дисперсии, т.е. является смещенной оценкой дисперсии генеральной совокупности. Это связано с тем, что вместо истинного значения
, которое неизвестно, в оценке дисперсии используется статистическое среднее.

Поэтому введем исправленную статистическую дисперсию

(7)

Тогда математическое ожидание исправленной статистической дисперсии равно

т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.

Пусть случайная выборка порождена наблюдаемой случайной величиной ξ, математическое ожидание и дисперсия которой неизвестны. В качестве оценок для этих характеристик было предложено использовать выборочное среднее

и выборочную дисперсию

. (3.14)

Рассмотрим некоторые свойства оценок математического ожидания и дисперсии.

1. Вычислим математическое ожидание выборочного среднего:

Следовательно, выборочное среднее является несмещенной оценкой для .

2. Напомним, что результаты наблюдений – независимые случайные величины, каждая из которых имеет такой же закон распределения, как и величина , а значит, , , . Будем предполагать, что дисперсия конечна. Тогда, согласно теореме Чебышева о законе больших чисел, для любого ε > 0 имеет место равенство ,

которое можно записать так: . (3.16) Сравнивая (3.16) с определением свойства состоятельности (3.11), видим, что оценка является состоятельной оценкой математического ожидания .

3. Найдем дисперсию выборочного среднего:

. (3.17)

Таким образом, дисперсия оценки математического ожидания уменьшается обратно пропорционально объему выборки.

Можно доказать, что если случайная величина ξ распределена нормально, то выборочное среднее является эффективной оценкой математического ожидания , то есть дисперсия принимает наименьшее значение по сравнению с любой другой оценкой математического ожидания. Для других законов распределения ξ это может быть и не так.

Выборочная дисперсия является смещенной оценкой дисперсии , так как . (3.18)

Действительно, используя свойства математического ожидания и формулу (3.17), найдем

.

Чтобы получить несмещенную оценку дисперсии, оценку (3.14) нужно исправить, то есть домножить на . Тогда получим несмещенную выборочную дисперсию

. (3.19)

Отметим, что формулы (3.14) и (3.19) отличаются лишь знаменателем, и при больших значениях выборочная и несмещенная дисперсии отличаются мало. Однако при малом объеме выборки следует пользоваться соотношением (3.19).

Для оценки среднего квадратического отклонения случайной величины используют так называемое “исправленное” среднее квадратическое отклонение, которое равно квадратному корню из несмещенной дисперсии: .

Интервальные оценки

В статистике имеются два подхода к оцениванию неизвестных параметров распределений: точечный и интервальный. В соответствии с точечным оцениванием, которое рассмотрено в предыдущем разделе, указывается лишь точка, около которой находится оцениваемый параметр. Желательно, однако, знать, как далеко может отстоять в действительности этот параметр от возможных реализаций оценок в разных сериях наблюдений.

Ответ на этот вопрос – тоже приближенный – дает другой способ оценивания параметров – интервальный. В соответствии с этим способом оценивания находят интервал, который с вероятностью, близкой к единице, накрывает неизвестное числовое значение параметра.

Понятие интервальной оценки

Точечная оценка является случайной величиной и для возможных реализаций выборки принимает значения лишь приближенно равные истинному значению параметра . Чем меньше разность , тем точнее оценка. Таким образом, положительное число , для которого , характеризует точность оценки и называется ошибкой оценки (или предельной ошибкой).

Доверительной вероятностью (или надежностью) называется вероятность β , с которой осуществляется неравенство , т. е.

. (3.20)

Заменив неравенство равносильным ему двойным неравенством , или , получим

Интервал , накрывающий с вероятностью β , , неизвестный параметр , называется доверительным интервалом (или интервальной оценкой), соответствующим доверительной вероятности β .

Случайной величиной является не только оценка , но и ошибка : ее значение зависит от вероятности β и, как правило, от выборки. Поэтому доверительный интервал случаен и выражение (3.21) следует читать так: “Интервал накроет параметр с вероятностью β ”, а не так: “Параметр попадет в интервал с вероятностью β ”.

Смысл доверительного интервала состоит в том, что при многократном повторении выборки объема в относительной доле случаев, равной β , доверительный интервал, соответствующий доверительной вероятности β , накрывает истинное значение оцениваемого параметра. Таким образом, доверительная вероятность β характеризует надежность доверительного оценивания: чем больше β , тем вероятнее, что реализация доверительного интервала содержит неизвестный параметр.

Основные свойства точечных оценок

Для того чтобы оценка имела практическую ценность, она должна обладать следующими свойствами.

1. Оценка параметра называется несмещенной, если ее математическое ожидание равно оцениваемому параметру, т.е.

Если равенство (22.1) не выполняется, то оценка может либо завышать значение (М>), либо занижать его (М <) . Естественно в качестве приближенного неизвестного параметра брать несмещенные оценки для того, чтобы не делать систематической ошибки в сторону завышения или занижения.

2. Оценка параметра называется состоятельной, если она подчиняется закону больших чисел, т.е. сходится по вероятности к оцениваемому параметру при неограниченном возрастании числа опытов (наблюдений) и, следовательно, выполняется следующее равенство:

где > 0 сколько угодно малое число.

Для выполнения (22.2) достаточно, чтобы дисперсия оценки стремилась к нулю при, т.е.

и кроме того, чтобы оценка была несмещенной. От формулы (22.3) легко перейти к (22.2) , если воспользоваться неравенством Чебышева.

Итак, состоятельность оценки означает, что при достаточно большом количестве опытов и со сколько угодно большой достоверностью отклонение оценки от истинного значения параметра меньше любой наперед заданной величины. Этим оправдано увеличение объема выборки.

Так как - случайная величина, значение которой изменяется от выборки к выборке, то меру ее рассеивания около математического ожидания будем характеризовать дисперсией D. Пусть и - две несмещенные оценки параметра, т.е. M = и M = , соответственно D и D и, если D < D , то в качестве оценки принимают.

3. Несмещенная оценка, которая имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра, вычисленных по выборкам одного и того же объема, называется эффективной оценкой.

На практике при оценке параметров не всегда удается удовлетворить одновременно требованиям 1, 2, 3. Однако выбору оценки всегда должно предшествовать ее критическое рассмотрение со всех точек зрения. При выборке практических методов обработки опытных данных необходимо руководствоваться сформулированными свойствами оценок.

Оценка математического ожидания и дисперсии по выборке

Наиболее важными характеристиками случайной величины являются математическое ожидание и дисперсия. Рассмотрим вопрос о том, какие выборочные характеристики лучше всего оценивают математическое ожидание и дисперсию в смысле несмещенности, эффективности и состоятельности.

Теорема 23.1. Арифметическая средняя, вычисленная по n независимым наблюдениям над случайной величиной, которая имеет математическое ожидание M = , является несмещенной оценкой этого параметра.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной. По условию M = , а т.к. являются случайными величинами и имеют тот же закон распределения, то тогда. По определению средняя арифметическая

Рассмотрим математическое ожидание средней арифметической. Используя свойство математического ожидания, имеем:

т.е. . В силу (22.1) является несмещенной оценкой. ?

Теорема 23.2 . Арифметическая средняя, вычисленная по n независимым наблюдениям над случайной величиной, которая имеет M = и, является состоятельной оценкой этого параметра.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной. Тогда в силу теоремы 23.1 имеем M = .

Для средней арифметической запишем неравенство Чебышева:

Используя свойства дисперсии 4,5 и (23.1), имеем:

т.к. по условию теоремы.

Следовательно,

Итак, дисперсия средней арифметической в n раз меньше дисперсии случайной величины. Тогда

а это значит, что является состоятельной оценкой.

Замечание : 1 . Примем без доказательства весьма важный для практики результат. Если N (a,), то несмещенная оценка математического ожидания a имеет минимальную дисперсию, равную, поэтому является эффективной оценкой параметра а. ?

Перейдем к оценке для дисперсии и проверим ее на состоятельность и несмещенность.

Теорема 23.3 . Если случайная выборка состоит из n независимых наблюдений над случайной величиной с

M = и D = , то выборочная дисперсия

не является несмещенной оценкой D - генеральной дисперсии.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной. По условию и для всех. Преобразуем формулу (23.3) выборочной дисперсии:

Упростим выражение

Принимая во внимание (23.1), откуда