Помощь по Теле2, тарифы, вопросы

Введение

Цель работы: познакомится с таким статистическим методом, как дисперсионный анализ.

Дисперсионный анализ (от латинского Dispersio – рассеивание) – статистический метод, позволяющий анализировать влияние различных факторов на исследуемую переменную. Метод был разработан биологом Р. Фишером в 1925 году и применялся первоначально для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная значимость дисперсионного анализа для экспериментов в психологии, педагогике, медицине и др.

Целью дисперсионного анализа является проверка значимости различия между средними с помощью сравнения дисперсий. Дисперсию измеряемого признака разлагают на независимые слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействия. Последующее сравнение таких слагаемых позволяет оценить значимость каждого изучаемого фактора, а также их комбинации.

При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии.

При проведении исследования рынка часто встает вопрос о сопоставимости результатов. Например, проводя опросы по поводу потребления какого-либо товара в различных регионах страны, необходимо сделать выводы, на сколько данные опроса отличаются или не отличаются друг от друга. Сопоставлять отдельные показатели не имеет смысла и поэтому процедура сравнения и последующей оценки производится по некоторым усредненным значениям и отклонениям от этой усредненной оценки. Изучается вариация признака. За меру вариации может быть принята дисперсия. Дисперсия σ2 – мера вариации, определяемая как средняя из отклонений признака, возведенных в квадрат.

На практике часто возникают задачи более общего характера – задачи проверки существенности различий средних выборочных нескольких совокупностей. Например, требуется оценить влияние различного сырья на качество производимой продукции, решить задачу о влиянии количества удобрений на урожайность с/х продукции.

Иногда дисперсионный анализ применяется, чтобы установить однородность нескольких совокупностей (дисперсии этих совокупностей одинаковы по предположению; если дисперсионный анализ покажет, что и математические ожидания одинаковы, то в этом смысле совокупности однородны). Однородные же совокупности можно объединить в одну и тем самым получить о ней более полную информацию, следовательно, и более надежные выводы.

Дисперсионный анализ

1.1 Основные понятия дисперсионного анализа

В процессе наблюдения за исследуемым объектом качественные факторы произвольно или заданным образом изменяются. Конкретная реализация фактора (например, определенный температурный режим, выбранное оборудование или материал) называется уровнем фактора или способом обработки. Модель дисперсионного анализа с фиксированными уровнями факторов называют моделью I, модель со случайными факторами - моделью II. Благодаря варьированию фактора можно исследовать его влияние на величину отклика. В настоящее время общая теория дисперсионного анализа разработана для моделей I.

В зависимости от количества факторов, определяющих вариацию результативного признака, дисперсионный анализ подразделяют на однофакторный и многофакторный.

Основными схемами организации исходных данных с двумя и более факторами являются:

Перекрестная классификация, характерная для моделей I, в которых каждый уровень одного фактора сочетается при планировании эксперимента с каждой градацией другого фактора;

Иерархическая (гнездовая) классификация, характерная для модели II, в которой каждому случайному, наудачу выбранному значению одного фактора соответствует свое подмножество значений второго фактора.

Если одновременно исследуется зависимость отклика от качественных и количественных факторов, т.е. факторов смешанной природы, то используется ковариационный анализ /3/.

При обработке данных эксперимента наиболее разработанными и поэтому распространенными считаются две модели. Их различие обусловлено спецификой планирования самого эксперимента. В модели дисперсионного анализа с фиксированными эффектами исследователь намеренно устанавливает строго определенные уровни изучаемого фактора. Термин «фиксированный эффект» в данном контексте имеет тот смысл, что самим исследователем фиксируется количество уровней фактора и различия между ними. При повторении эксперимента он или другой исследователь выберет те же самые уровни фактора. В модели со случайными эффектами уровни значения фактора выбираются исследователем случайно из широкого диапазона значений фактора, и при повторных экспериментах, естественно, этот диапазон будет другим.

Таким образом, данные модели отличаются между собой способом выбора уровней фактора, что, очевидно, в первую очередь влияет на возможность обобщения полученных экспериментальных результатов. Для дисперсионного анализа однофакторных экспериментов различие этих двух моделей не столь существенно, однако в многофакторном дисперсионном анализе оно может оказаться весьма важным.

При проведении дисперсионного анализа должны выполняться следующие статистические допущения: независимо от уровня фактора величины отклика имеют нормальный (Гауссовский) закон распределения и одинаковую дисперсию. Такое равенство дисперсий называется гомогенностью. Таким образом, изменение способа обработки сказывается лишь на положении случайной величины отклика, которое характеризуется средним значением или медианой. Поэтому все наблюдения отклика принадлежат сдвиговому семейству нормальных распределений.

Говорят, что техника дисперсионного анализа является "робастной". Этот термин, используемый статистиками, означает, что данные допущения могут быть в некоторой степени нарушены, но несмотря на это, технику можно использовать.

При неизвестном законе распределения величин отклика используют непараметрические (чаще всего ранговые) методы анализа.

В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Вариацию, обусловленную влиянием фактора, положенного в основу группировки, характеризует межгрупповая дисперсия σ2. Она является мерой вариации частных средних по группам вокруг общей средней и определяется по формуле:

,

где k - число групп;

nj - число единиц в j-ой группе;

Частная средняя по j-ой группе;

Общая средняя по совокупности единиц.

Вариацию, обусловленную влиянием прочих факторов, характеризует в каждой группе внутригрупповая дисперсия σj2.

.

Между общей дисперсией σ02, внутригрупповой дисперсией σ2 и межгрупповой дисперсией существует соотношение:

Внутригрупповая дисперсия объясняет влияние неучтенных при группировке факторов, а межгрупповая дисперсия объясняет влияние факторов группировки на среднее значение по группе /2/.

Однофакторный дисперсионный анализ

Однофакторная дисперсионная модель имеет вид:

x ij = μ + F j + ε ij, (1)

где х ij – значение исследуемой переменой, полученной на i-м уровне фактора (i=1,2,...,т) c j-м порядковым номером (j=1,2,...,n);

F i – эффект, обусловленный влиянием i-го уровня фактора;

ε ij – случайная компонента, или возмущение, вызванное влиянием неконтролируемых факторов, т.е. вариацией переменой внутри отдельного уровня.

Основные предпосылки дисперсионного анализа:

Математическое ожидание возмущения ε ij равно нулю для любых i, т.е.

M(ε ij) = 0; (2)

Возмущения ε ij взаимно независимы;

Дисперсия переменной x ij (или возмущения ε ij) постоянна для

любых i, j, т.е.

D(ε ij) = σ 2 ; (3)

Переменная x ij (или возмущение ε ij) имеет нормальный закон

распределения N(0;σ 2).

Влияние уровней фактора может быть как фиксированным или систематическим (модель I), так и случайным (модель II).

Пусть, например, необходимо выяснить, имеются ли существенные различия между партиями изделий по некоторому показателю качества, т.е. проверить влияние на качество одного фактора - партии изделий. Если включить в исследование все партии сырья, то влияние уровня такого фактора систематическое (модель I), а полученные выводы применимы только к тем отдельным партиям, которые привлекались при исследовании. Если же включить только отобранную случайно часть партий, то влияние фактора случайное (модель II). В многофакторных комплексах возможна смешанная модель III, в которой одни факторы имеют случайные уровни, а другие – фиксированные.

Пусть имеется m партий изделий. Из каждой партии отобрано соответственно n 1 , n 2 , …, n m изделий (для простоты полагается, что n 1 =n 2 =...=n m =n). Значения показателя качества этих изделий представлены в матрице наблюдений:

x 11 x 12 … x 1n

x 21 x 22 … x 2n

………………… = (x ij), (i = 1,2, …, m; j = 1,2, …, n).

x m1 x m2 … x mn

Необходимо проверить существенность влияния партий изделий на их качество.

Если полагать, что элементы строк матрицы наблюдений – это численные значения случайных величин Х 1 ,Х 2 ,...,Х m , выражающих качество изделий и имеющих нормальный закон распределения с математическими ожиданиями соответственно a 1 ,а 2 ,...,а m и одинаковыми дисперсиями σ 2 , то данная задача сводится к проверке нулевой гипотезы Н 0: a 1 =a 2 =...= а m , осуществляемой в дисперсионном анализе.

Усреднение по какому-либо индексу обозначено звездочкой (или точкой) вместо индекса, тогда средний показатель качества изделий i-й партии, или групповая средняя для i-го уровня фактора, примет вид:

где i* – среднее значение по столбцам;

Ij – элемент матрицы наблюдений;

n – объем выборки.

А общая средняя:

(5)

Сумма квадратов отклонений наблюдений х ij от общей средней ** выглядит так:

2 = 2 + 2 +

2 2 . (6)

Q = Q 1 + Q 2 + Q 3 .

Последнее слагаемое равно нулю

так как сумма отклонений значений переменной от ее средней равна нулю, т.е.

2 =0.

Первое слагаемое можно записать в виде:

В результате получается тождество:

Q = Q 1 + Q 2 , (8)

где - общая, или полная, сумма квадратов отклонений;

- сумма квадратов отклонений групповых средних от общей средней, или межгрупповая (факторная) сумма квадратов отклонений;

- сумма квадратов отклонений наблюдений от групповых средних, или внутригрупповая (остаточная) сумма квадратов отклонений.

В разложении (8) заключена основная идея дисперсионного анализа. Применительно к рассматриваемой задаче равенство (8) показывает, что общая вариация показателя качества, измеренная суммой Q, складывается из двух компонент – Q 1 и Q 2 , характеризующих изменчивость этого показателя между партиями (Q 1) и изменчивость внутри партий (Q 2), характеризующих одинаковую для всех партий вариацию под воздействием неучтенных факторов.

В дисперсионном анализе анализируются не сами суммы квадратов отклонений, а так называемые средние квадраты, являющиеся несмещенными оценками соответствующих дисперсий, которые получаются делением сумм квадратов отклонений на соответствующее число степеней свободы.

Число степеней свободы определяется как общее число наблюдений минус число связывающих их уравнений. Поэтому для среднего квадрата s 1 2 , являющегося несмещенной оценкой межгрупповой дисперсии, число степеней свободы k 1 =m-1, так как при его расчете используются m групповых средних, связанных между собой одним уравнением (5). А для среднего квадрата s22, являющегося несмещенной оценкой внутригрупповой дисперсии, число степеней свободы k2=mn-m, т.к. при ее расчете используются все mn наблюдений, связанных между собой m уравнениями (4).

Таким образом:

Если найти математические ожидания средних квадратов и , подставить в их формулы выражение xij (1) через параметры модели, то получится:

(9)

т.к. с учетом свойств математического ожидания

(10)

Для модели I с фиксированными уровнями фактора F i (i=1,2,...,m) – величины неслучайные, поэтому

M(S ) = 2 /(m-1) +σ 2 .

Гипотеза H 0 примет вид F i = F * (i = 1,2,...,m), т.е. влияние всех уровней фактора одно и то же. В случае справедливости этой гипотезы

M(S )= M(S )= σ 2 .

(12)

(13)

(14)

т.е. сами средние, вообще говоря, находить не обязательно.

Таким образом, процедура однофакторного дисперсионного анализа состоит в проверке гипотезы H 0 о том, что имеется одна группа однородных экспериментальных данных против альтернативы о том, что таких групп больше, чем одна. Под однородностью понимается одинаковость средних значений и дисперсий в любом подмножестве данных. При этом дисперсии могут быть как известны, так и неизвестны заранее. Если имеются основания полагать, что известная или неизвестная дисперсия измерений одинакова по всей совокупности данных, то задача однофакторного дисперсионного анализа сводится к исследованию значимости различия средних в группах данных /1/.

Предположим, что на автоматической линии несколько станков параллельно выполняют одинаковую операцию. Для правильного планирования последующей обработки важно знать, насколько однотипны средние размеры деталей, получаемые на параллельно работающих станках. Здесь имеет место лишь один фактор, влияющий на размер деталей, это станки, на которых они изготовляются. Необходимо выяснить, насколько существенно влияние этого фактора на размеры деталей. Предположим, что совокупности размеров деталей, изготовленных на каждом станке, имеют нормальное распределение и равные дисперсии.

Имеем т станков, следовательно, т совокупностей или уровней, на которых произведено n 1 , n 2 ,..., п т наблюдений. Для простоты рассуждений предположим, что n 1 =n 2 =…= п т. Размеры деталей, составляющие n i наблюдений на i -м уровне, обозначим х i 1 ,х i 2 ,..., x in . Тогда все наблюдения можно представить в виде таблицы, которая называется матрицей наблюдений (табл. 3.1).

Таблица 3.1

Уровни	Результаты наблюдений
1	2	…	j	…	n
	x 11	x 12	…	x 1 j	…	x 1 n
	x 21	x 22	…	x 2 j	…	x 2 n
	x 31	x 32	…	x 3 j	…	x 3 n
…	…	…	…	…	…	…
i	x i1	x i2	…	x i j	…	x i n
…	…	…	…	…	…	…
m	x m1	x m2	…	x mj	…	x mn

Будем полагать, что для i -го уровня п наблюдений имеют среднюю β i , равную сумме общей средней µ и вариации ее, обусловленной i -м уровнем фактора, т.е. β i = µ + γ i . Тогда одно наблюдение можно представить в следующем виде:

x i j = µ + γ i . +ε ij = β i +ε ij (3.1)

где µ - общая средняя; γ i - эффект, обусловленный i -м уровнем фактора; ε ij - вариация результатов внутри отдельного уровня.

Член ε ij характеризует влияние всех не учтенных моделью (3.1) факторов. Согласно обшей задаче дисперсионного анализа нужно оценить существенность влияния фактора γ на размеры деталей. Общую вариацию переменной x i j можно разложить на части, одна из которых характеризует влияние фактора γ, другая - влияние неучтенных факторов. Для этого необходимо найти оценку общей средней µ и оценки средних по уровням β i . Очевидно, что оценкой β является средняя арифметическая п наблюдений i-го уровня, т.е.

Звездочка в индексе при х означает, что наблюдения фиксированы на i-м уровне. Средняя арифметическая всей совокупности наблюдений является оценкой общей средней µ, т.е.

Найдем сумму квадратов отклонений x i j от , т.е.

Представим ее в виде (3.2)

Причем =

Но = 0, так как это есть сумма отклонений переменных одной совокупности от средней арифметической этой же совокупности, т.е. вся сумма равна нулю. Второй член суммы (3.2) запишем в виде:

Или

Слагаемое является суммой квадратов разностей между средними уровней и средней всей совокупности наблюдений. Эта сумма называется суммой квадратов отклонений между группами и характеризует расхождение между уровнями. Величину , называют также рассеиванием по факторам, т.е. рассеиванием за счет исследуемого фактора.

Слагаемое является суммой квадратов разностей между отдельными наблюдениями и средней i-го уровня. Эта сумма назы­вается суммой квадратов отклонений внутри группы и характеризует расхождение между наблюдениями i-го уровня. Величину называют также остаточным рассеиванием, т.е. рассеиванием за счет неучтенных факторов.

Величину называется общей или полной суммой квадратов отклонений отдельных наблюдений от общей средней .

Зная суммы квадратов SS, SS 1 и SS 2 , можно оценить несмещенные оценки соответствующих дисперсий - общей, межгрупповой и внутригрупповой (таблица 3.2).

Если влияние всех уровней фактора γ одинаково, то и - оценки общей дисперсии.

Тогда для оценки существенности влияния фактора γ достаточно проверить нулевую гипотезу H 0: = .

Для этого вычисляют критерий Фишера F B = , с числом степеней свободы k 1 = т - 1 и k 2 = т(п - 1). Затем по таблице F-распределения (см. таблицу распределения критерия Фишера) для уровня значимости α находят критическое значение F кр.

Таблица 3.2

Если F B > F кр то нулевая гипотеза отвергается и делается заключение о существенном влиянии фактора γ.

При F B < F кр нет основания отвергать нулевую гипотезу и можно считать, что влияние фактора γ несущественно.

Сравнивая межгрупповую и остаточную дисперсии, по величине их отношения судят, насколько сильно проявляется влияние факторов.

Пример 3.1. Имеется четыре партии тканей для спецодежды. Из каждой партии отобрано по пять образцов и проведены испытания на определение величины разрывной нагрузки. Результаты испытаний приведены в табл. 3.3.

Таблица 3.3

Номер партии, т

Требуется выяснить, существенно ли влияние различных партий сырья на величину разрывной нагрузки.

Решение.

В данном случае т = 4, п = 5. Среднюю арифметическую каждой строки вычисляем по формуле

Имеем: =(200+140+170+145+165)/5=164; =170; =202; = 164.

Найдем среднюю арифметическую всей совокупности:

Вычислим величины, необходимые для построения табл. 3.4:

· сумму квадратов отклонений между группами SS 1 , с k 1 =т –1=

4-1=3 степенями свободы:

· сумму квадратов отклонений внутри группы SS 2 с k 2 = тп – т= =20-4=16 степенями свободы:

· полную сумму квадратов SS c k=mn-1=20-1=19 степенями свободы:

По найденным значениям оценим дисперсию, по формулам (табл. 3.2) составим (табл. 3.4) для рассматриваемого примера.

Таблица 3.4

Проведем статистический анализ по критерию Фишера. Вычислим F B = =(4980 1/3)/(7270 1/16) =1660/454,4= 3,65.

По таблице F-распределения (см. приложения) находим значение F Kp при k 2 = 16 и k 1 = 3 степенях свободы и уровне значимости α = 0,01. Имеем F Kp = 5,29.

Вычисленное значение F B меньше табличного, поэтому можно утверждать, что нулевая гипотеза не отвергается, а это значит, что различие между тканями в партиях не влияет на величину разрывной нагрузки.

В пакете Анализ данных инструмент Однофакторный дисперсионный анализ используется для проверки гипотезы о сходстве средних значений двух или более выборок, принадлежащих одной и той же генеральной совокупности. Рассмотрим работу пакета для проведения однофакторного дисперсионного анализа.

Решим пример 3.1, используя инструмент Однофакторный дисперсионный анализ.

) предназначен для сравнения исключительно двух совокупностей. Однако часто он неверно используется для попарного сравнения большего количества групп (рис. 1), что вызывает т.н. эффект множественных сравнений (англ. multiple comparisons; Гланц 1999, с. 101-104). Об этом эффекте и о том, как с ним бороться, мы поговорим позднее. В этом же сообщении я опишу принципы однофакторного дисперсионного анализа , как раз предназначенного для одновременного сравнения средних значений двух и более групп. Принципы дисперсионного анализа (англ. an alysis o f va riance , ANOVA) были разработаны в 1920-х гг. сэром Рональдом Эйлмером Фишером (англ. Ronald Aylmer Fisher ) - "гением, едва не в одиночку заложившим основы современной статистики " (Hald 1998).

Может возникнуть вопрос: почему метод, используемый для сравнения средних значений, называется дисперсионным анализом? Все дело в том, что при установлении разницы между средними значениями мы в действительности сравниваем дисперсии анализируемых совокупностей. Однако обо всем по порядку...

Постановка задачи

Рассмотренный ниже пример заимствован из книги Maindonald & Braun (2010). Имеются данные о весе томатов (все растение целиком; weight , в кг), которые выращивали в течение 2 месяцев при трех разных экспериментальных условиях (trt , от treatment ) - на воде (water ), в среде с добавлением удобрения (nutrient ), а также в среде с добавлением удобрения и гербицида 2,4-D (nutrient+24D ):

# Создадим таблицу с данными: tomato <- data.frame (weight= c (1.5 , 1.9 , 1.3 , 1.5 , 2.4 , 1.5 , # water 1.5 , 1.2 , 1.2 , 2.1 , 2.9 , 1.6 , # nutrient 1.9 , 1.6 , 0.8 , 1.15 , 0.9 , 1.6 ) , # nutrient+24D trt = rep (c ("Water" , "Nutrient" , "Nutrient+24D" ) , c (6 , 6 , 6 ) ) ) # Просмотрим результат: weight weight trt 1 1.50 Water 2 1.90 Water 3 1.30 Water 4 1.50 Water 5 2.40 Water 6 1.50 Water 7 1.50 Nutrient 8 1.20 Nutrient 9 1.20 Nutrient 10 2.10 Nutrient 11 2.90 Nutrient 12 1.60 Nutrient 13 1.90 Nutrient+24D 14 1.60 Nutrient+24D 15 0.80 Nutrient+24D 16 1.15 Nutrient+24D 17 0.90 Nutrient+24D 18 1.60 Nutrient+24D

Переменная trt представляет собой фактор с тремя уровнями. Для более наглядного сравнения экспериментальных условий в последующем, сделаем уровень "water " базовым (англ. reference ), т.е. уровнем, с которым R будет сравнивать все остальные уровни. Это можно сделать при помощи функции relevel() :

Чтобы лучше понять свойства имеющихся данных, визуализируем их при помощи наблюдаемые различия между групповыми средними несущественны и вызваны влиянием случайных факторов (т.е. в действительности все полученные измерения веса растений происходят из одной нормально распределенной генеральной совокупности):

Подчеркнем еще раз, что рассматриваемый пример соответствует случаю однофакторного дисперсионного анализа: изучается действие одного фактора - условий выращивания (с тремя уровнями - Water , Nutrient и Nutrient+24D ) на интересующую нас переменную-отклик - вес растений.

К сожалению, исследователь почти никогда не имеет возможности изучить всю генеральную совокупность. Как же нам тогда узнать, верна ли приведенная выше нулевая гипотеза, располагая только выборочными данными? Мы можем сформулировать этот вопрос иначе: какова вероятность получить наблюдаемые различия между групповыми средними, извлекая случайные выборки из одной нормально распределенной генеральной совокупности ? Для ответа на этот вопрос на нам потребуется статистический критерий, который количественно характеризовал бы величину различий между сравниваемыми группами.

В данной теме будет рассмотрен только однофакторный дисперсионный анализ, используемый для несвязанных выборок. Оперируя как основным понятием дисперсии, этот анализ базируется на расчете дисперсий трех типов:

Общая дисперсия, вычисленная по всей совокупности экспериментальных данных;

Внутригрупповая дисперсия, характеризующая вариативность признака в каждой выборке;

Межгрупповая дисперсия, характеризующая вариативность групповых средних.

Основное положение дисперсионного анализа гласит: общая дисперсия равна сумме внутригрупповой и межгруппповой дисперсий.

Это положение можно записать в виде уравнения:

где х ij - значения всех переменных, полученных в эксперименте; при этом индекс j меняется от 1 до р , где р - число сравниваемых выборок, их может быть три и больше; индекс i соответствует числу элементов в выборке (их может быть два и больше);

Общая средняя всей анализируемой совокупности данных;

Средняя j выборки;

N - общее число всех элементов в анализируемой совокупности экспериментальных данных;

р - число экспериментальных выборок.

Проанализируем это уравнение более подробно.

Пусть у нас имеется р групп (выборок). В дисперсионном анализе каждую выборку представляют в виде одного столбца (или строки) чисел. Тогда, для того чтобы можно было указать на конкретную группу (выборку), вводится индекс j , который меняется соответственно от j = 1 до j = р. Например, если у нас 5 групп (выборок), то р=5, а индекс j меняется соответственно от j= 1 до j= 5.

Пусть перед нами стоит задача - указать конкретный элемент (значение измерения) какой-либо выборки. Для этого мы должны знать номер этой выборки, например 4, и расположение элемента (измеренного значения) в этой выборке. Этот элемент может располагаться в выборке начиная с первого значения (первая строчка) до последнего (последняя строчка). Пусть наш искомый элемент расположен на пятой строчке. Тогда его обо значение будет таково: х 54 . Это значит, что выбран пятый элемент в строчке из четвертой выборки.

В общем случае в каждой группе (выборке) число составляющих ее элементов может быть различным - поэтому обозначим число элементов в j группе (выборке) через n j . Полученные в эксперименте значения признака в j группе обозначим через х ij , где i = 1, 2, ... n - порядковый номер наблюдения в j группе.

Дальнейшие рассуждения целесообразно проводить с опорой на таблицу 35. Отметим, однако, что для удобства дальнейших рассуждений, выборки в этой таблице представлены не как столбцы, а как строчки (что, однако, не принципиально).

В итоговой, последней строке таблицы даны: общий объем всей выборки - N, сумма всех полученных значений G и общая средняя всей выборки . Эта общая средняя получена как сумма всех элементов анализируемой совокупности экспериментальных данных, обозначенная выше как G, деленная на число всех элементов N.

В крайнем правом столбце таблицы представлены величины средних по всем выборкам. Например, в j выборке (строчка таблицы обозначенная символом j) величина средней (по всей j выборке) такова:

Дисперсионный анализ - это статистический метод оценки связи между факторными и результативным признаками в различных группах, отобранный случайным образом, основанный на определении различий (разнообразия) значений признаков. В основе дисперсионного анализа лежит анализ отклонений всех единиц исследуемой совокупности от среднего арифметического. В качестве меры отклонений берется дисперсия (В)- средний квадрат отклонений. Отклонения, вызываемые воздействием факторного признака (фактора) сравниваются с величиной отклонений, вызываемых случайными обстоятельствами. Если отклонения, вызываемые факторным признаком, более существенны, чем случайные отклонения, то считается, что фактор оказывает существенное влияние на результативный признак.

Для того, чтобы вычислить дисперсию значения отклонений каждой варианты (каждого зарегистрированного числового значения признака) от среднего арифметического возводят в квадрат. Тем самым избавляются от отрицательных знаков. Затем эти отклонения (разности) суммируют и делят на число наблюдений, т.е. усредняют отклонения. Таким образом, получают значения дисперсий.

Важным методическим значением для применения дисперсионного анализа является правильное формирование выборки. В зависимости от поставленной цели и задач выборочные группы могут формироваться случайным образом независимо друг от друга (контрольная и экспериментальная группы для изучения некоторого показателя, например, влияние высокого артериального давления на развитие инсульта). Такие выборки называются независимыми.

Нередко результаты воздействия факторов исследуются у одной и той же выборочной группы (например, у одних и тех же пациентов) до и после воздействия (лечение, профилактика, реабилитационные мероприятия), такие выборки называются зависимыми.

Дисперсионный анализ, в котором проверяется влияние одного фактора, называется однофакторным (одномерный анализ). При изучении влияния более чем одного фактора используют многофакторный дисперсионный анализ (многомерный анализ).

Факторные признаки - это те признаки, которые влияют на изучаемое явление.

Результативные признаки - это те признаки, которые изменяются под влиянием факторных признаков.

Условия применения дисперсионного анализа:

Задачей исследования является определение силы влияния одного (до 3) факторов на результат или определение силы совместного влияния различных факторов (пол и возраст, физическая активность и питание и т.д.).

Изучаемые факторы должны быть независимые (несвязанные) между собой. Например, нельзя изучать совместное влияние стажа работы и возраста, роста и веса детей и т.д. на заболеваемость населения.

Подбор групп для исследования проводится рандомизированно (случайный отбор). Организация дисперсионного комплекса с выполнением принципа случайности отбора вариантов называется рандомизацией (перев. с англ. - random), т.е. выбранные наугад.

Можно применять как количественные, так и качественные (атрибутивные) признаки.

При проведении однофакторного дисперсионного анализа рекомендуется (необходимое условие применения):

1. Нормальность распределения анализируемых групп или соответствие выборочных групп генеральным совокупностям с нормальным распределением.

2. Независимость (не связанность) распределения наблюдений в группах.

3. Наличие частоты (повторность) наблюдений.

Сначала формулируется нулевая гипотеза, то есть предполагается, что исследуемые факторы не оказывают никакого влияния на значения результативного признака и полученные различия случайны.

Затем определяем, какова вероятность получить наблюдаемые (или более сильные) различия при условии справедливости нулевой гипотезы.

Если эта вероятность мала, то мы отвергаем нулевую гипотезу и заключаем, что результаты исследования статистически значимы. Это еще не означает, что доказано действие именно изучаемых факторов (это вопрос, прежде всего, планирования исследования), но все же маловероятно, что результат обусловлен случайностью.

При выполнении всех условий применения дисперсионного анализа, разложение общей дисперсии математически выглядит следующим образом:

Doбщ. = Dфакт + D ост.,

Doбщ. - общая дисперсия наблюдаемых значений (вариант), характеризуется разбросом вариант от общего среднего. Измеряет вариацию признака во всей совокупности под влиянием всех факторов, обусловивших эту вариацию. Общее разнообразие складывается из межгруппового и внутригруппового;

Dфакт - факторная (межгрупповая) дисперсия, характеризуется различием средних в каждой группе и зависит от влияния исследуемого фактора, по которому дифференцируется каждая группа. Например, в группах различных по этиологическому фактору клинического течения пневмонии средний уровень проведенного койко-дня неодинаков - наблюдается межгрупповое разнообразие.

D ост. - остаточная (внутригрупповая) дисперсия, которая характеризует рассеяние вариант внутри групп. Отражает случайную вариацию, т.е. часть вариации, происходящую под влиянием неуточненных факторов и не зависящую от признака - фактора, положенного в основание группировки. Вариация изучаемого признака зависит от силы влияния каких-то неучтенных случайных факторов, как от организованных (заданных исследователем), так и от случайных (неизвестных) факторов.

Поэтому общая вариация (дисперсия) слагается из вариации, вызванной организованными (заданными) факторами, называемыми факториальной вариацией и неорганизованными факторами, т.е. остаточной вариацией (случайной, неизвестной).

Для выборки объема n выборочная дисперсия вычисляется как сумма квадратов отклонений от выборочного среднего, деленная на n-1 (объем выборки минус единица). Таким образом, при фиксированном объеме выборки n дисперсия есть функция суммы квадратов (отклонений), обозначаемая, для краткости, SS (от английского Sum of Squares - Сумма квадратов). Далее слово выборочная мы часто опускаем, прекрасно понимая, что рассматривается выборочная дисперсия или оценка дисперсии. В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Рассмотрим следующий набор данных:

Средние двух групп существенно различны (2 и 6 соответственно). Сумма квадратов отклонений внутри каждой группы равна 2. Складывая их, получаем 4. Если теперь повторить эти вычисления без учета групповой принадлежности, то есть, если вычислить SS исходя из общего среднего этих двух выборок, то получим величину 28. Иными словами, дисперсия (сумма квадратов), основанная на внутригрупповой изменчивости, приводит к гораздо меньшим значениям, чем при вычислении на основе общей изменчивости (относительно общего среднего). Причина этого, очевидно, заключается в существенной разнице между средними значениями, и это различие между средними и объясняет существующее различие между суммами квадратов.

	SS	ст.св.	MS	F	p
Эффект	24.0		24.0	24.0	.008
Ошибка	4.0		1.0

Как видно из таблицы, общая сумма квадратов SS = 28 разбита на компоненты: сумму квадратов, обусловленную внутригрупповой изменчивостью (2+2=4; см. вторую строку таблицы) и сумму квадратов, обусловленную различием средних значений между группами (28-(2+2)=24; см первую строку таблицы). Заметим, что MS в этой таблице есть средний квадрат, равный SS, деленная на число степеней свободы (ст.св).

В рассмотренном выше простом примере вы могли бы сразу вычислить t-критерий для независимых выборок. Полученные результаты, естественно, совпадут с результатами дисперсионного анализа.

Однако, ситуации, когда некоторое явление полностью описывается одной переменной, чрезвычайно редки. Например, если мы пытаемся научиться выращивать большие помидоры, следует рассматривать факторы, связанные с генетической структурой растений, типом почвы, освещенностью, температурой и т.д. Таким образом, при проведении типичного эксперимента приходится иметь дело с большим количеством факторов. Основная причина, по которой использование дисперсионного анализа предпочтительнее повторного сравнения двух выборок при разных уровнях факторов с помощью серий t-критерия, заключается в том, что дисперсионный анализ существенно более эффективен и, для малых выборок, более информативен.

Предположим, что в рассмотренном выше примере анализа двух выборок мы добавим еще один фактор, например, Пол. Пусть каждая группа теперь состоит из 3 мужчин и 3 женщин. План этого эксперимента можно представить в виде таблицы:

До проведения вычислений можно заметить, что в этом примере общая дисперсия имеет, по крайней мере, три источника:

1) случайная ошибка (внутригрупповая дисперсия),

2) изменчивость, связанная с принадлежностью к экспериментальной группе

3) изменчивость, обусловленная полом объектов наблюдения.

Отметим, что существует еще один возможный источник изменчивости - взаимодействие факторов, который мы обсудим позднее). Что произойдет, если мы не будем включать пол как фактор при проведении анализа и вычислим обычный t-критерий? Если мы будем вычислять суммы квадратов, игнорируя пол (т.е. объединяя объекты разного пола в одну группу при вычислении внутригрупповой дисперсии и получив при этом сумму квадратов для каждой группы равную SS =10 и общую сумму квадратов SS = 10+10 = 20), то получим большее значение внутригрупповая дисперсии, чем при более точном анализе с дополнительным разбиением на подгруппы по полу (при этом внутригрупповые средние будут равны 2, а общая внутригрупповая сумма квадратов равна SS = 2+2+2+2 = 8).

Итак, при введении дополнительного фактора: пол, остаточная дисперсия уменьшилась. Это связано с тем, что среднее значение для мужчин меньше, чем среднее значение для женщин, и это различие в средних значениях увеличивает суммарную внутригрупповую изменчивость, если фактор пола не учитывается. Управление дисперсией ошибки увеличивает чувствительность (мощность) критерия.

На этом примере видно еще одно преимущество дисперсионного анализа по сравнению с обычным t-критерием для двух выборок. Дисперсионный анализ позволяет изучать каждый фактор, управляя значениями других факторов. Это, в действительности, и является основной причиной его большей статистической мощности (для получения значимых результатов требуются меньшие объемы выборок). По этой причине дисперсионный анализ даже на небольших выборках дает статистически более значимые результаты, чем простой t-критерий.