Рассматриваем уравнение регрессии вида:

где k - число независимых переменных модели регрессии.

Для каждого момента времени t = 1: n значение определяется по формуле

Изучая последовательность остатков как временной ряд в , можно построить график их зависимости от времени. В соответствии с предпосылками метода наименьших квадратов остатки должны быть случайными (а). Однако при моделировании временных рядов иногда встречается ситуация, когда остатки содержат тенденцию (б и в) или циклические колебания (г). Это говорит о том, что каждое следующее значение остатков зависит от предыдущих. В этом случае имеется автокорреляция остатков.

Причины автокорреляции остатков

Автокорреляция остатков может возникать по несколькими причинами:

Во-первых, иногда автокорреляция связана с исходными данными и вызвана наличием ошибок измерения в значениях Y.

Во-вторых, иногда причину следует искать в формулировке модели. В модель может быть не включен фактор, оказывающий существенное воздействие на результат, но влияние которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными . Зачастую этим фактором является фактор времени t.

Иногда, в качестве существенных факторов могут выступать лаговые значения переменных , включенных в модель. Либо в модели не учтено несколько второстепенных факторов, совместное влияние которых на результат существенно ввиду совпадения тенденций их изменения или циклических колебаний.

Методы определения автокорреляции остатков

Первый метод - это построение графика зависимостей остатков от времени и визуальное определение наличия автокорреляции остатков.

Второй метод — расчет критерия Дарбина — Уотсона

Т.е. Критерий Дарбина — Уотсона определяется как отношение суммы квадратов разностей последовательных значений остатков к сумме квадратов остатков. Практически во всех задачах по эконометрике значение критерия Дарбина - Уотсона указывается наряду с коэффициентом корреляции, значениями критериев Фишера и Стьюдента

Коэффициент автокорреляции первого порядка определяется по формуле

Соотношение между критерием Дарбина - Уотсона и коэффициентом автокорреляции остатков (r1) первого порядка определяется зависимостью

Т.е. если в остатках существует полная положительная автокорреляция r1 = 1, а d = 0, Если в остатках полная отрицательная автокорреляция, то r1 = - 1, d = 4. Если автокорреляция остатков отсутствует, то r1 = 0, d = 2. Следовательно,

Алгоритм выявления автокорреляции остатков по критерию Дарбина - Уотсона

Выдвигается гипотеза об отсутствии автокорреляции остатков . Альтернативные гипотеэы о наличии положительной или отрицательной автокорреляции в остатках. Затем по таблицам определяются критические значения критерия Дарбина - Уотсона dL и du для заданного числа наблюдений и числа независимых переменных модели при уровня значимости а (обычно 0,95). По этим значениям промежуток разбивают на пять отрезков.

Если расчетное значение критерия Дарбина — Уотсона попадает в зону неопределенности , то подтверждается существование автокорреляции остатков и гипотезу отклоняют

Регрессионная модель МНК позволяет получить несмещенную оценку с минимальной дисперсией только тогда, когда остатки независимы друг от друга. Нарушение условия независимости остатков () называется автокорреляцией. Если имеет место автокорреляция остатков, то коэффициенты регрессии не смещены, но стандартные ошибки недооценены, а проверка статистической значимости коэффициентов ненадежна. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих наблюдений. Автокорреляция остатков обычно встречается в регрессионном анализе при использовании данных временных рядов. В силу этого в дальнейших выкладках вместо символа i порядкового номера наблюдения будем использовать символ t, отражающий момент наблюдения. Объем выборки при этом будем обозначать T.

Причины автокорреляции:

Ошибки спецификации – неучет в модели важной объясняющей переменной или неправильный выбор формы зависимости;

Эффект паутины – многие экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом).

Методы обнаружения автокорреляции

В силу неизвестности значений параметров уравнения регрессии неизвестными будут также и истинные значения отклонений ,t= 1, 2, ..., Т. Поэтому выводы об их независимости осуществляются на основе оценок ε t ,t= 1, 2, ..., Т, полученных из эмпирического уравнения регрессии. Рассмотрим возможные методы определения автокорреляции.

Метод рядов.

Последовательно определяются знаки отклонений ,t= 1, 2, ..., Т.

Например, (- - - - -)(+++++++)(- - -)(++++)(-),

т.е. 5 «-», 7 «+», 3 «-», 4 «+», 1 «-».

Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называетсядлиной ряда .

Визуальное распределение знаков свидетельствует о неслучайном характере связей между отклонениями. Если рядов слишком мало по сравнению с количеством наблюдений п , то вполне вероятна положительная автокорреляция. (В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов). Если же рядов слишком много, то вероятна отрицательная автокорреляция. Для более детального анализа предлагается следующая процедура. Пусть

п - объем выборки;

п 1 - общее количество знаков «+» прип наблюдениях;

п 2 - общее количество знаков «-» прип наблюдениях; .

k- количество рядов.

Если при достаточно большом количестве наблюдений (n 1 >10,п 2 >10) количество рядовkлежит в пределах

то гипотеза об отсутствии автокорреляции не отклоняется.

Для небольшого числа наблюдений (n 1 <20,n 2 <20) Свед и Эйзенхарт разработали таблицы критических значенийk 1 ,k 2 отn 1 ,n 2 .

Если , то говорят об отсутствии автокорреляции;

если , говорят о положительной автокорреляции остатков;

если , говорят об отрицательной автокорреляции остатков.

В нашем примере: n=20,n 1 =11,n 2 =9,k=5. По таблицамk 1 =6,k 2 =16. Пронимается предположение о наличии положительной автокорреляции на уровне значимости 0,05.

Для проверки автокорреляции первого порядка (для регрессии временных рядов) необходимо рассчитать критерий Дарбина-Уотсона . Он определяется так:

.

Эмпирическое правило гласит, что если критерий Дарбина- Уотсона равен двум, то не существует положительной автокорреляции, если он равен нулю, то имеет место совершенная положительная автокорреляция, а если он равен четырем, то имеет место совершенная отрицательная автокорреляция. Критерий Дарбина-Уотсона имеет выборочное распределение, которое обладает двумя критическими значениями: d L – нижняя границаиd U – верхняя граница.

С автокорреляцией остатков

Вернемся еще раз к предположению (3.3). Из него, в частности, следует, что ковариации случайной ошибки для разных наблюдений равны нулю. Если к тому же случайные ошибки распределены нормально, то это означает их попарную независимость.

Однако регрессионные модели в экономике часто содержат стохастические зависимости между значениями случайных ошибок – автокорреляцию ошибок . Ее причинами являются: во-первых, влияние некоторых случайных факторов или опущенных в уравнении регрессии важных объясняющих переменных, которое не является однократным, а действует в разные периоды времени; во-вторых, случайный член может содержать составляющую, учитывающую ошибку измерения объясняющей переменной.

Применение к модели с автокорреляцией остатков обыкновенного МНК приведет к следующим последствиям :

1. Выборочные дисперсии полученных оценок коэффициентов будут больше по сравнению с дисперсиями по альтернативным методам оценивания, т.е. оценки коэффициентов будут неэффективны.

2. Стандартные ошибки коэффициентов будут оценены неправильно, чаще всего занижены, иногда настолько, что нет возможности воспользоваться для проверки гипотез соответствующими точными критериями – мы будем чаще отвергать гипотезу о незначимости регрессии, чем это следовало бы делать в действительности.

3. Прогнозы по модели получаются неэффективными.

На практике исследователь в этом случае поставлен перед проблемой тестирования наличия в модели автокорреляции, а также выявления причины автокорреляции при ее обнаружении: или в модели опущена существенная переменная, или структура ошибок зависит от времени. То есть, исследование остатков позволяет судить о правильности модели и ее пригодности для прогнозирования.

Простейшим способом проверки наличия автокорреляции является графическое изображение остатков e i . Возможно построение:

· графика временной последовательности, если остатки получены в разные моменты времени;

· графика зависимости остатков от значений , полученных по регрессии;

· графиков зависимости остатков от объясняющих переменных.

Если изображение остатков представляет собой горизонтальную полосу, это указывает на отсутствие каких-либо проблем, связанных с моделью. В противном случае в зависимости от вида и типа графика можно получить информацию о: неадекватности модели, ошибочности расчетов, необходимости включения в модель линейного или квадратичного члена от времени; наконец о непостоянстве дисперсии.

Ясно, что ошибки могут коррелировать по-разному, однако без нарушения общности можно рассматривать так называемую сериальную корреляцию (автокорреляцию), когда зависимость между ошибками, отстоящими на некоторое количество шагов s , называемое порядком корреляции (в частности, на один шаг, s =1), остается одинаковой, что хорошо проявляется визуально на графике в системе координат (e i ; e i - s ). Например, для s =1 на рис. 4.2 показаны отрицательная (слева) и положительная (справа) автокорреляция остатков. В экономических исследованиях чаще всего встречается положительная автокорреляция.

Рис. 4.2. Автокорреляция остатков

Более достоверным способом проверки существования автокорреляции является применение статистических критериев. Хорошо известны два – критерий знаков (относится к непараметрическим критериям) и критерий Дарбина-Уотсона .

Для проведения проверки по критерию знаков необходимо расположить остатки e i во временной последовательности, выписать их знаки, подсчитать число образующихся при этом серий n u из одинаковых знаков, а также n 1 – число остатков со знаком плюс и n 2 – число остатков со знаком минус. Далее определяется вероятность Pr (n u ) появления n u групп при нулевой гипотезе – последовательность остатков полностью случайна (автокорреляция отсутствует). Если Pr (n u ) < 1–a , где a – уровень доверия, то нулевая гипотеза отвергается.

Для ускорения расчетов для выборок с n 1 , n 2 не больше 20 составлены таблицы с критическими значениями n u при уровне доверия a =0,05.

Для больших выборок истинное распределение ошибок достаточно точно аппроксимируется нормальным со средним m =2n 1 n 2 /(n 1 +n 2)+1 и дисперсией s 2 =2n 1 n 2 (2n 1 n 2 – n 1 – n 2)/(n 1 + n 2) 2 /(n 1 + n 2 – 1), а величина z =(u – m + 0,5)/s подчиняется нормированному нормальному распределению, следовательно, критические значения n u могут быть вычислены по формулам (m + z a s ) и (m – z a s ), где z a определяется из условия F 0 (z a )=(1–a )/2 (значения даны в справочниках).

Пример . Получены остатки 0,6; 1,9; –1,8; –2,7; –2,9; 1,4; 3,3; 0,3; 0,8; 2,3; –1,4; –1,1, которые обнаруживают следующую последовательность знаков + + – – – + + + + + – –. Имеем n u =4, n 1 =7, n 2 =5. По таблице находим критические значения для n u : 3 и 11. Так как 3 < n u < 11, то нулевая гипотеза принимается, то есть остатки независимы и автокорреляция отсутствует.Ñ

Критерий знаков достаточно прост и не использует информацию о величине e i , и поэтому недостаточно эффективен.

Для проверки гипотезы о существовании линейной автокорреляции первого порядка, которая чаще всего имеет место на практике, предпочтителен критерий Дарбина-Уотсона , основанный на статистике:

(4.9)

Значения первых разностей ошибки в (4.9) будут обнаруживать тенденцию к уменьшению по абсолютной величине по сравнению с абсолютными значениями e i при положительной автокорреляции и к увеличению при отрицательной автокорреляции.

Для статистики d имеются верхний d U и нижний d L пределы уровня значимости. Различные статистические решения для нулевой гипотезы H 0: автокорреляция равна нулю, даны в табл. 4.3. При этом появляются области неопределенности, так как величина e i зависит не только от значений u , но и от значений последовательных X .

Следует отметить, что критерий Дарбина-Уотсона предназначен для моделей с детерминированными (нестохастическими) регрессорами X и не применим, например, в случаях, когда среди объясняющих переменных есть лаговые значения переменной Y .

Таблица 4.3

Области статистических решений для критерия Дарбина-Уотсона

Пример . Для примера 1 из п. 3.2 n =20, k =2 имеем табл. 4.4.

Значения d L и d U при уровне значимости 5% получим из справочника при n =20 и k =2: d L =1,10, d U =1,54.

Так как d >2, то вычисляем 4–d U =2,46 и 4–d L =2,90 и 2<d <4–d U .

Согласно табл. 4.3 гипотеза о равенстве нулю автокорреляции принимается. Ñ

Какой бы тест на автокорреляцию не использовался, необходимо помнить, что рекомендуется в случаях неопределенности (см. табл. 4.3) принимать гипотезу о наличии автокорреляции, поскольку это гарантирует от отрицательных последствий автокорреляции. В случаях же некорректного принятия гипотезы о равенстве нулю автокорреляции получаем модель, которая не может иметь удовлетворительного применения, хотя формально проходит все проверки.

Таблица 4.4

Вычисление значения статистики d

Рассмотрим методы оценивания уравнения регрессии при наличии автокорреляции остатков.

Пусть имеем обобщенную линейную модель множественной регрессии в виде (4.3)-(4.7) с гомоскедастичными остатками .

Предположим, что остатки u i удовлетворяют следующему уравнению:

u i =ru i -1 +e i , i =2,...,n , (4.10)

E (e i )=0; (4.11)

Тогда несложно показать, что будет выполняться:

. (4.12)

Условие (4.12) является аналогом (4.5) и фактически означает гомоскедастичность дисперсии случайного члена (первая строчка) и автокорреляцию первого порядка (вторая строчка). Ясно, что если бы было известно значение r в (4.10) и затем в (4.12), то можно было бы применить ОМНК (элементы матрицы W в этом случае вычисляются согласно (4.12)) и получить эффективные оценки коэффициентов регрессии. Однако на практике значение r в большинстве случаев не известно, поэтому используются следующие методы оценивания регрессионной модели.

Метод 1 . Отказавшись от определения величины r , являющейся узким местом модели, статистически, можно положить r =0,5; 1 или -1. Однако даже грубая статистическая оценка будет, видимо, более эффективной, поэтому другой способ определения r с помощью статистики Дарбина-Уотсона r»1–0,5d . Применяя затем непосредственно ОМНК, получим оценки коэффициентов.

Метод 2 . Если значение r в (4.12) задано, то альтернативная схема отыскания оценок коэффициентов модели множественной регрессии суть (в целях упрощения, не нарушая общности, иллюстрация метода дана для случая парной регрессии):

а) Запишем уравнение модели для случая i и i –1:

Вычтем из обеих частей первого уравнения умноженное на r второе уравнение:

или переобозначив:

с учетом (4.10) , получим модель

, (4.13)

для случайного члена которой выполняется условие (4.11), т.е. автокорреляция отсутствует. При указанном преобразовании первое наблюдение умножается на , т.е. , .

б) Применяем обыкновенный МНК к модели (4.13).

В общем случае мы не располагаем информацией о порядке автокорреляции и значениях параметров в авторегрессионном уравнении, а значит, и методы 1 и 2 не дадут искомого результата.

Тем не менее, оценки коэффициентов можно найти приближенно с помощью следующих методов (опять в целях упрощения, не нарушая общности, иллюстрация методов дана для случая парной регрессии).

Метод 3 . Итеративная процедура Кохрейна-Оркатта.

а) Оценивается регрессия с исходными не преобразованными данными с помощью обыкновенного МНК.

б) Вычисляются остатки e i .

в) Оценивается регрессия e i =re i -1 +e i , и коэффициент при e i -1 дает оценку r .

г) С учетом полученной оценки r уравнение преобразовывается к виду (4.13), оценивание которого позволяет получить пересмотренные оценки коэффициентов b 0 и b 1 .

д) Вычисляются остатки регрессии (4.13) и процесс выполняется снова, начиная с этапа в).

Итерации заканчиваются, когда абсолютные разности последовательных значений оценок коэффициентов b 0 , b 1 и r будут меньше заданного числа (точности).

Подобная процедура оценивания порождает проблемы, касающиеся сходимости итерационного процесса и характера найденного минимума: локальный или глобальный.

Метод 4. Метод Хилдрета-Лу основан на тех же принципах, что и рассмотренный метод 3, но использует другой алгоритм вычислений. Здесь регрессия (4.13) оценивается МНК для каждого значения r из диапазона [-1, 1] с некоторым шагом внутри него. Значение, которое дает минимальную стандартную ошибку для преобразованного уравнения (4.13), принимается в качестве оценки r , а коэффициенты регрессии определяются при оценивании уравнения (4.13) с использованием этого значения.

Метод 5. Дарбиным была предложена простая схема, дающая эффективные оценки коэффициентов:

а). Подставляя (4.10) в модель Y i =b 0 +b 1 X i +u i , получим с учетом u i - 1 = Y i -1 - b 0 - b 1 X i -1:

Y i =b 0 (1-r )+rY i -1 +b 1 (X i - rX i -1) + e i ,

где ошибка e i удовлетворяет (4.11). Применяя обыкновенный МНК к последней модели, получаем оценку r как коэффициента при Y i -1 .

б). Вычисляем значения преобразованных переменных и применяем к ним обыкновенный МНК. Получаем искомые оценки коэффициентов регрессии.

Достоинством метода является простота его распространения на случай автокорреляции более высокого порядка.

Как показывают эксперименты, проведенные для малых выборок, лучшим является двухшаговый метод 2, использующий оценку r , полученную по методу, предложенному Дарбиным (метод 5 шаг а)).