Для прогнозирования с помощью уравнения регрессии необходимо вычислить коэффициенты и уравнения регрессии. И здесь существует еще одна проблема сказывающаяся на точности прогнозирования. Она заключается в том, что обычно нет всех возможных значений переменных Х и У, т.е. генеральная совокупность совместного распределения в задачах прогнозирования не известна, известна только выборка из этой генеральной совокупности. В результате этого при прогнозировании помимо случайной составляющей возникает еще один источник ошибок – ошибки, вызванные не полным соответствием выборки генеральной совокупности и порождаемыми этим погрешностями в определении коэффициентов уравнения регрессии.

Иными словами вследствие того, что генеральная совокупность не известна, точные значения коэффициентов и уравнения регрессии определить не возможно. Используя выборку из этой неизвестной генеральной совокупности можно лишь получить оценки и истинных коэффициентов и.

Для того чтобы ошибки прогнозирования в результате такой замены были минимальными, оценку необходимо осуществлять методом который гарантирует несмещенность и эффективность полученных значений. Метод обеспечивает несмещенные оценки, если при неоднократном его повторении с новыми выборками из одной и той же генеральной совокупности обеспечивается выполнение условия и. Метод обеспечивает эффективные оценки, если при неоднократном его повторении с новыми выборками из одной и той же генеральной совокупности обеспечивается минимальная дисперсия коэффициентов a и b, т.е. выполняются условия и.

В теории вероятности доказана теорема согласно которой эффективность и несмещенность оценок коэффициентов уравнения линейной регрессии по данным выборки обеспечивается при применении метода наименьших квадратов.

Суть метода наименьших квадратов заключается в следующем.

Для каждой из точек выборки записываются уравнение вида. Затем находятся ошибка между расчетным и фактическим значениями. Решение оптимизационной задачи по нахождению таких значений и которые обеспечивают минимальную сумму квадратов ошибок для всех n точек, т.е. решение задачи поиска, дает несмещенные и эффективные оценки коэффициентов и. Для случая парной линейной регрессии это решение имеет вид:

Следует отметить, что полученные таким образом по выборке несмещенные и эффективные оценки истинных значений коэффициентов регрессии для генеральной совокупности вовсе не гарантируют от ошибки при однократном применении. Гарантия заключается в том, что, в итоге многократного повторения этой операции с другими выборками из той же генеральной совокупности, гарантирована меньшая сумма ошибок по сравнению любым другим способом и разброс этих ошибок будет минимален.

Полученные коэффициенты уравнения регрессии определяют положение регрессионной прямой, она является главной осью облака образованного точками исходной выборки. Оба коэффициента имеют вполне определенный смысл. Коэффициент показывает значение при, но в многих случаях не имеет смысла, кроме того часто также не имеет смысла, по этому приведенной трактовкой коэффициента нужно пользоваться осторожно. Более универсальная трактовка смысла заключается в следующем. Если, то относительное изменение независимой переменной (изменение в процентах) всегда меньше чем относительное изменение зависимой переменной.

Коэффициент показывает насколько единиц изменится зависимая переменная при изменении независимой переменной на одну единицу. Коэффициент часто называют коэффициентом регрессии подчеркивая этим, что он важнее чем. В частности, если вместо значений зависимой и независимой переменных взять их отклонения от своих средних значений, то уравнение регрессии преобразуется к виду.

Коэффициент корреляции меняется в пределах от –1 до +1. Чем он ближе по абсолютному значению к единице, тем сильнее зависимость (тем сильнее облако данных прижато к своей главной оси). Если то наклон линии регрессии отрицателен, чем ближе он к 0 тем слабее связь, при линейной связи между переменными нет, а при связь переменных является функциональной. Коэффициент корреляции позволяет получить оценку точности уравнения регрессии - коэффициент детерминации. Для парной линейной регрессии он равен квадрату коэффициента корреляции, для многомерной или нелинейной регрессии его определение сложнее. Коэффициент детерминации показывает, сколько процентов дисперсии зависимой переменной объясняется уравнением регрессии, а - сколько процентов дисперсии осталась необъясненной (зависит от неконтролируемого нами случайного члена).

32. Временные ряды: понятие, классификация.

Модели, построенные по данным, характеризующим один объект за ряд последовательных моментов (периодов), называются моделями временных рядов.

Временной ряд – это совокупность значений какого-либо показателя за несколько последовательных моментов или периодов.

Предполагается, что в общем случае каждый уровень временного ряда содержит три основные компоненты: тенденцию (Т), циклические или сезонные колебания (S) и случайную компоненту (E).

Виды временных рядов.

Временные ряды делятся на моментные и интервальные. В моментных временных рядах уровни характеризуют значения показателя по состоянию на определенные моменты времени. Например, моментными являются временные ряды цен на определенные виды товаров, временные ряды курсов акций, уровни которых фиксируются для конкретных чисел. Примерами моментных временных рядов могут служить также ряды численности населения или стоимости основных фондов, т.к. значения уровней этих рядов определяются ежегодно на одно и то же число.

В интервальных рядах уровни характеризуют значение показателя за определенные интервалы (периоды) времени. Примерами рядов этого типа могут служить временные ряды производства продукции в натуральном или стоимостном выражении за месяц, квартал, год и т.д.

Иногда уровни ряда представляют собой не непосредственно наблюдаемые значения, а производные величины: средние или относительные. Такие ряды называются производными. Уровни таких временных рядов получаются с помощью некоторых вычислений на основе непосредственно наблюдаемых показателей. Примерами таких рядов могут служить ряды среднесуточного производства основных видов промышленной продукции или ряды индексов цен.

Уровни ряда могут принимать детерминированные или случайные значения. Примером ряда с детерминированными значениями уровней

служит ряд последовательных данных о количестве дней в месяцах. Естественно, анализу, а в дальнейшем и прогнозированию, подвергаются ряды со случайными значениями уровней. В таких рядах каждый уровень может рассматриваться как реализация случайной величины - дискретной или непрерывной.

33. Компонентный анализ рядов динамики.

Ряды динамики - это ряды статистических показателей, характеризующих развитие явлений природы и общества во времени. Публикуемые Госкомстатом России статистические сборники содержат большое количество рядов динамики в табличной форме. Ряды динамики позволяют выявить закономерности развития изучаемых явлений.

Для более глубокого изучения закономерностей развития показателя используется компонентный анализ, который представляет из себя разложение данного временного ряда на конечное число соответствующих. Любой экономический процесс может быть представлен хотя бы одним из нижеуказанных компонент.

Наиболее часто встречающимися, на которые можно разложить временной ряд, являются следующие:

U (t) – характеризует устойчивые систематические изменения уровней ряда, т.е. тренд

K (t) – нестрого периодические циклические колебания

V (t) – строго периодические колебания (сезонные).

E (t) – случайная компонента (несистематические колебания, которые возникают от случая.

Однако часто приходится встречаться с такими рядами динамики, в которых уровни ряда претерпевают самые различные изменения (то возрастают, то убывают) и общая тенденция развития неясна.

На развитие явления во времени оказывают влияние факторы, различные по характеру и силе воздействия. Одни из них оказывают практически постоянное воздействие и формируют в рядах динамики определенную тенденцию развития. Воздействие же других факторов может быть кратковременным или носить случайный характер.

Поэтому при анализе динамики речь идет не просто о тенденции развития, а об основной тенденции, достаточно стабильной (устойчивой) на протяжении изученного этапа развития.

34. Способы установления наличия тенденции в ряду динамики.

Приемы для установления тенденций или закономерностей.

o Преобразование ряда - применяется для большей наглядности зменений изучаемых явлений. Одно число ряда принимается за 1, чаще всего за 100 или 1000, и, по отношению к данному числу ряда, рассчитываются остальные.

o Выравнивание ряда - применяется при скачкообразных изменениях (колебаниях) уровней ряда. Цель выравнивания - устранить влияние случайных факторов и выявить тенденцию изменений значений явлений (или признаков), а в дальнейшем установить закономерности этих изменений

Способы и методы выявления тренда:

1)Увеличение интервалов.

Первоначальный ряд динамики заменяется другим рядом, уровни которого относятся к большим по продолжительности периодам времени. Новые уровни образуются суммированием старых.

2)Вычисление средних уровней для укрупненных интервалов. Является частным случаем первого метода.

3)Определение скользящей средней – для первоначального ряда динамики формируются увеличенные интервалы, состоящие из одинакового количества уровней. Каждый новый интервал получается из предыдущего смещением на один уровень.

Прогнозирование по уравнению регрессии представляет собой подстановку в уравнение регрессии соответственного значения х . Такой прогноз называется точечным. Он не является точным, поэтому дополняется расчетом стандартной ошибки ; получается интервальная оценка прогнозного значения :

Преобразуем уравнение регрессии:

ошибка зависит от ошибки и ошибки коэффициента регрессии т.е.

Из теории выборки известно, что

Используем в качестве оценки остаточную дисперсию на одну степень свободы получаем:

Ошибка коэффициента регрессии из формулы (15):

Таким образом, при получаем:

(23)

Как видно из формулы (23), величина достигает минимума при и возрастает по мере удаления от в любом направлении.

Для нашего примера эта величина составит:

При . При

Для прогнозируемого значения 95% - ные доверительные интервалы при заданном определены выражением:

(24)

т.е. при или При прогнозное значение составит - это точечный прогноз.

Прогноз линии регрессии лежит в интервале:

Мы рассмотрели доверительные интервалы для среднего значения при заданном Однако фактические значения варьируются около среднего значения они могут отклоняться на величину случайной ошибки ε, дисперсия которой оценивается как остаточная дисперсия на одну степень свободы Поэтому ошибка прогноза отдельного значения должна включать не только стандартную ошибку , но и случайную ошибку S . Таким образом, средняя ошибка прогноза индивидуального значения составит:

(25)

Для примера:

Доверительный интервал прогноза индивидуальных значений при с вероятностью 0,95 составит: или

Пусть в примере с функцией издержек выдвигается предположение, что в предстоящем году в связи со стабилизацией экономики затраты на производство 8 тыс. ед. продукции не превысят 250 млн. руб. Означает ли это изменение найденной закономерности или затраты соответствуют регрессионной модели?

Точечный прогноз:

Предполагаемое значение - 250. Средняя ошибка прогнозного индивидуального значения:

Сравним ее с предполагаемым снижением издержек производства, т.е. 250-288,93=-38,93:

Поскольку оценивается только значимость уменьшения затрат, то используется односторонний t - критерий Стьюдента. При ошибке в 5 % с , поэтому предполагаемое уменьшение затрат значимо отличается от прогнозируемого значения при 95 % - ном уровне доверия. Однако, если увеличить вероятность до 99%, при ошибке 1 % фактическое значение t – критерия оказывается ниже табличного 3,365, и различие в затратах статистически не значимо, т.е. затраты соответствуют предложенной регрессионной модели.

Нелинейная регрессия

До сих пор мы рассматривали лишь линейную модель регрессионной зависимости y от x (3). В то же время многие важные связи в экономике являются нелинейными . Примерами такого рода регрессионных моделей являются производственные функции (зависимости между объемом произведенной продукции и основными факторами производства – трудом, капиталом и т.п.) и функции спроса (зависимости между спросом на какой-либо вид товаров или услуг, с одной стороны, и доходом и ценами на этот и другие товары – с другой).

При анализе нелинейных регрессионных зависимостей наиболее важным вопросом применения классического МНК является способ их линеаризации. В случае линеаризации нелинейной зависимости получаем линейное регрессионное уравнение типа (3), параметры которого оцениваются обычным МНК, после чего можно записать исходное нелинейное соотношение.

Несколько особняком в этом смысле стоит полиномиальная модель произвольной степени:

к которой обычный МНК можно применять без всякой предварительной линеаризации.

Рассмотрим указанную процедуру применительно к параболе второй степени:

(27)

Такая зависимость целесообразна в случае, если для некоторого интервала значений фактора возрастающая зависимость меняется на убывающую или наоборот. В этом случае можно определить значение фактора, при котором достигается максимальное или минимальное значение результативного признака. Если исходные данные не обнаруживают изменение направленности связи, параметры параболы становятся трудно интерпретируемыми, и форму связи лучше заменить другими нелинейными моделями.

Применение МНК для оценки параметров параболы второй степени сводится к дифференцированию суммы квадратов остатков регрессии по каждому из оцениваемых параметров и приравниванию полученных выражений нулю. Получается система нормальных уравнений, число которых равно числу оцениваемых параметров, т.е. трем:

(28)

Решать эту систему можно любым способом, в частности, методом определителей.

Экстремальное значение функции наблюдается при значении фактора, равном:

Если b>0, c<0 , имеет место максимум, т.е. зависимость сначала растет, а затем падает. Такого рода зависимости наблюдаются в экономике труда при изучении заработной платы работников физического труда, когда в роли фактора выступает возраст. При b<0, c>0 парабола имеет минимум, что обычно проявляется в удельных затратах на производство в зависимости от объема выпускаемой продукции.

В нелинейных зависимостях, не являющихся классическими полиномами, обязательно проводится предварительная линеаризация, которая заключается в преобразовании или переменных, или параметров модели, или в комбинации этих преобразований. Рассмотрим некоторые классы таких зависимостей.

Зависимости гиперболического типа имеют вид:

(29)

Примером такой зависимости является кривая Филлипса, констатирующая обратную зависимость процента прироста заработной платы от уровня безработицы. В этом случае значение параметра b будет больше нуля. Другим примером зависимости (29) являются кривые Энгеля, формулирующие следующую закономерность: с ростом дохода доля доходов, расходуемых на продовольствие, уменьшается, а доля доходов, расходуемых на непродовольственные товары, будет возрастать. В этом случае b<0 , а результативный признак в (29) показывает долю расходов на непродовольственные товары.

Линеаризация уравнения (29) сводится к замене фактора z=1/x , и уравнение регрессии имеет вид (3), в котором вместо фактора х используем фактор z :

(30)

К такому же линейному уравнению сводится полулогарифмическая кривая:

(31)

которая может быть использована для описания кривых Энгеля. Здесь ln(x) заменяется на z , и получается уравнение (30).

Достаточно широкий класс экономических показателей характеризуется приблизительно постоянным темпом относительного прироста во времени. Этому соответствуют зависимости показательного (экспоненциального) типа, которые записываются в виде:

(32)

или в виде

(33)

Возможна и такая зависимость:

(34)

В регрессиях типа (32) – (34) применяется один и тот же способ линеаризации – логарифмирование. Уравнение (32) приводится к виду:

(35)

Замена переменной сводит его к линейному виду:

, (36)

где . Если Е удовлетворяет условиям Гаусса-Маркова, параметры уравнения (32) оцениваются по МНК из уравнения (36). Уравнение (33) приводится к виду:

, (37)

который отличается от (35) только видом свободного члена, и линейное уравнение выглядит так:

, (38)

где . Параметры А и b получаются обычным МНК, затем параметр a в зависимости (33) получается как антилогарифм А . При логарифмировании (34) получаем линейную зависимость:

где , а остальные обозначения те же, что и выше. Здесь также применяется МНК к преобразованным данным, а параметр b для (34) получается как антилогарифм коэффициента В .

Широко распространены в практике социально-экономических исследований степенные зависимости. Они используются для построения и анализа производственных функций. В функциях вида:

(40)

особенно ценным является то обстоятельство, что параметр b равен коэффициенту эластичности результативного признака по фактору х . Преобразуя (40) путем логарифмирования, получаем линейную регрессию:

(41)

Еще одним видом нелинейности, приводимым к линейному виду, является обратная зависимость:

(42)

Проводя замену u=1/y , получим:

(43)

Наконец, следует отметить зависимость логистического типа:

(44)

Графиком функции (44) является так называемая «кривая насыщения», которая имеет две горизонтальные асимптоты y=0 и y=1/a и точку перегиба , а также точку пересечения с осью ординат y=1/(a+b) :

Уравнение (44) приводится к линейному виду заменами переменных .

Любое уравнение нелинейной регрессии, как и линейной зависимости, дополняется показателем корреляции, который в данном случае называется индексом корреляции:

(45)

Здесь - общая дисперсия результативного признака y , - остаточная дисперсия, определяемая по уравнению нелинейной регрессии . Следует обратить внимание на то, что разности в соответствующих суммах и берутся не в преобразованных, а в исходных значениях результативного признака. Иначе говоря, при вычислении этих сумм следует использовать не преобразованные (линеаризованные) зависимости, а именно исходные нелинейные уравнения регрессии. По-другому (45) можно записать так:

(46)

Величина R находится в границах , и чем ближе она к единице, тем теснее связь рассматриваемых признаков, тем более надежно найденное уравнение регрессии. При этом индекс корреляции совпадает с линейным коэффициентом корреляции в случае, когда преобразование переменных с целью линеаризации уравнения регрессии не проводится с величинами результативного признака. Так обстоит дело с полулогарифмической и полиномиальной регрессий, а также с равносторонней гиперболой (29). Определив линейный коэффициент корреляции для линеаризованных уравнений, например, в пакете Excel с помощью функции ЛИНЕЙН, можно использовать его и для нелинейной зависимости.

Иначе обстоит дело в случае, когда преобразование проводится также с величиной y , например, взятие обратной величины или логарифмирование. Тогда значение R , вычисленное той же функцией ЛИНЕЙН, будет относиться к линеаризованному уравнению регрессии, а не к исходному нелинейному уравнению, и величины разностей под суммами в (46) будут относиться к преобразованным величинам, а не к исходным, что не одно и то же. При этом, как было сказано выше, для расчета R следует воспользоваться выражением (46), вычисленным по исходному нелинейному уравнению.

Поскольку в расчете индекса корреляции используется соотношение факторной и общей СКО, то R 2 имеет тот же смысл, что и коэффициент детерминации. В специальных исследованиях величину R 2 для нелинейных связей называют индексом детерминации.

Оценка существенности индекса корреляции проводится так же, как и оценка надежности коэффициента корреляции.

Индекс детерминации используется для проверки существенности в целом уравнения нелинейной регрессии по F -критерию Фишера:

, (47)

где n -число наблюдений, m -число параметров при переменных х . Во всех рассмотренных нами случаях, кроме полиномиальной регрессии, m =1, для полиномов (26) m=k , т.е. степени полинома. Величина m характеризует число степеней свободы для факторной СКО, а (n-m-1) – число степеней свободы для остаточной СКО.

Индекс детерминации R 2 можно сравнивать с коэффициентом детерминации r 2 для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем больше разница между R 2 и r 2 . Близость этих показателей означает, что усложнять форму уравнения регрессии не следует и можно использовать линейную функцию. Практически, если величина (R 2 -r 2) не превышает 0,1, то линейная зависимость считается оправданной. В противном случае проводится оценка существенности различия показателей детерминации, вычисленных по одним и тем же данным, через t -критерий Стьюдента:

(48)

Здесь в знаменателе находится ошибка разности (R 2 -r 2) , определяемая по формуле:

(49)

Если , то различия между показателями корреляции существенны и замена нелинейной регрессии линейной нецелесообразна.

В заключение приведем формулы расчета коэффициентов эластичности для наиболее распространенных уравнений регрессии:

Вид уравнения регрессии	Коэффициент эластичности

Список учебной литературы

1. Эконометрика: Учебник /Под ред. И.И. Елисеевой/ - М.: Финансы и статистика, 2001. – 344с.

2. Практикум по эконометрике: Учебное пособие / И.И. Елисеева и др./ - М.: Финансы и статистика, 2001. – 192с.

3. Бородич С.А. Эконометрика: Учебное пособие. – М.: Новое знание. 2001. – 408с.

4. Магнус Я.Р., Катышев П.К., Пересецкий А.А., Эконометрика. Начальный курс. Учебное пособие. – М.: Дело, 1998. – 248с.

5. Доугерти К. Введение в эконометрику. – М.: ИНФРА-М, 1997. – 402с.

Прогнозирование по модели множественной линейной регрессии предполагает оценку ожидаемых значений зависимой переменной при заданных значениях независимых переменных, входящих в уравнение регрессии. Различают точечный и интервальный прогнозы.

Точечный прогноз – это расчетное значение зависимой переменной, полученное подстановкой в уравнение множественной линейной регрессии прогнозных (заданных исследователем) значений независимых переменных. Если заданы значения , то прогнозное значение зависимой переменной (точечный прогноз) будет равно

Интервальный прогноз – это минимальное и максимальное значения зависимой переменной, в промежуток между

которыми она попадает с заданной долей вероятности и при заданных значениях независимых переменных.

Интервальный прогноз для линейной функции вычисляется по формуле

где t T – теоретическое значение критерия Стьюдента при df=n- – т – 1 степенях свободы; s y – стандартная ошибка прогноза, вычисляемая по формуле

(2.57)

где Х – матрица исходных значений независимых переменных; Х пр – матрица-столбец прогнозных значений независимых переменных вида

Найдем прогнозные значения поступления налогов (пример 2.1), при условии, что связь между показателями описывается уравнением

Зададим прогнозные значения независимых переменных:

• – количество занятых Xj: 500 тыс. человек;
• – объем отгрузки в обрабатывающих производствах х 2: 65 000 млн руб.;
• – производство энергии х3:15 000 млн руб.

Найдем точечный и интервальный прогноз поступления налогов.

При заданных значения независимых переменных поступление налогов в среднем составит

Вектор прогнозных значений независимых переменных будет иметь вид

Ошибка прогноза, рассчитанная по формуле (2.57), составила 5556,7. Табличное значение t-критерия при числе степеней свободы df = 44 и уровне значимости а = 0,05 равно 2,0154. Следовательно, прогнозные значения поступления налогов будут с вероятностью 0,95 находиться в границах:

от 18 013,69 – 2,0154-5556,7=6814,1 млн руб.;

до 18 013,69 + 2,0154-5556,7=29 212 млн руб.

Прогнозирование по нелинейным моделям множественной регрессии также можно осуществлять по формулам (2.55)–(2.57), предварительно линеаризовав указанные модели.

Мультиколлинеарность данных

При построении эконометрической модели предполагается, что независимые переменные воздействуют на зависимую изолированно, т. е. влияние отдельной переменной на результативный признак не связано с влиянием других переменных. В реальной экономической действительности все явления в той или иной мере связаны, поэтому добиться выполнения этого предположения практически невозможно. Наличие связи между независимыми переменными приводит к необходимости оценки ее влияния на результаты корреляционно-регрессионного анализа.

Различают функциональные и стохастические связи между объясняющими переменными. В первом случае говорят об ошибках спецификации модели, которые должны быть исправлены.

Функциональная связь возникает, если в уравнение регрессии в качестве объясняющих переменных включают, в частности, все переменные, входящие в тождество. Например, можно сказать, что доход У складывается из потребления С и инвестиций I, т. е. имеет место тождество. Мы предполагаем, что уровень процентных ставок г зависит от дохода, т.е. модель в общем виде может быть представлена в виде

Неопытный исследователь, желая улучшить модель, может включить в уравнение также переменные "потребление" и "инвестиции", что приведет к функциональной связи между объясняющими переменными:

Функциональная взаимосвязь столбцов матрицы X приведет к невозможности найти единственное решение уравнения

регрессии, так как, а нахождение обратной

матрицыпредполагает деление алгебраических дополнений матрицына ее определитель, который в дан

ном случае будет равен нулю.

Более часто между объясняющими переменными наблюдается стохастическая связь, что приводит к уменьшению

величины определителя матрицы: чем сильнее связь,

тем меньше будет определитель. Это приводит к росту не только оценок параметров, полученных с использованием МНК, но и их стандартных ошибок, которые вычисляются по формуле (2.24):

в которой, как мы видим, также используется матрица Корреляционная связь может существовать как между двумя объясняющими переменными (интеркорреляция ), так и между несколькими (мультиколлинеарность).

Существует несколько признаков, указывающих на наличие мультиколлинеарности. В частности, такими признаками являются:

• – не соответствующие экономической теории знаки коэффициентов регрессии. Например, нам известно, что объясняющая переменная х оказывает прямое воздействие на объясняемую переменную у, в то же время коэффициент регрессии при этой переменной меньше нуля;
• – значительные изменения параметров модели при небольшом сокращении (увеличении) объема исследуемой совокупности;
• – незначимость параметров регрессии, обусловленная высокими значениями стандартных ошибок параметров.

Существование корреляционной связи между независимыми переменными может быть выявлено с помощью показателей корреляции между ними, в частности с помощью парных коэффициентов корреляции r XiX, которые можно записать в виде матрицы

(2.58)

Коэффициент корреляции переменной с самой собой равен единице (г хх = 1), а коэффициент корреляции переменной*, с переменной *,■ равен коэффициенту корреляции переменной XjC переменной X, (г х х =г х х ). Следовательно, данная матрица является симметрической, поэтому в ней указывают только главную диагональ и элементы под ней:

Высокие значения парных линейных коэффициентов корреляции указывают на наличие интеркорреляции, т.е. линейной связи между двумя объясняющими переменными. Чем выше величина , тем выше интеркорреляция. Так как при построении моделей избежать отсутствия связей между объясняющими переменными практически невозможно, существует следующая рекомендация относительно включения двух переменных в модель в качестве объясняющих. Обе переменные можно включить в модель, если выполняются соотношения

т.е. теснота связи результирующей и объясняющей переменных больше, чем теснота связи между объясняющими переменными.

Наличие мультиколлинеарности можно подтвердить, найдя определитель матрицы (2.58). Если связь между независимыми переменными полностью отсутствует, то недиагональные элементы будут равны нулю, а определитель матрицы – единице. Если связь между независимыми переменными близка к функциональной (т.е. является очень тесной), то определитель матрицы гхг будет близок к нулю.

Еще один метод измерения мультиколлинеарности является следствием анализа формулы стандартной ошибки коэффициента регрессии (2.28):

Как следует из данной формулы, стандартная ошибка будет тем больше, чем меньше будет величина, которую называют фактор инфляции дисперсии (или фактор вздутия дисперсии ) VIF:

где – коэффициент детерминации, найденный для уравнения зависимости переменной Xj от других переменных , входящих в рассматриваемую модель множественной регрессии.

Так как величина отражает тесноту связи между переменной Xj и прочими объясняющими переменными, то она, по сути, характеризует мультиколлинеарность применительно К данной переменной Xj. При отсутствии связи показатель VIF X будет равен (или близок) единице, усиление связи ведет к стремлению этого показателя к бесконечности. Считают, что если VIF X >3 для каждой переменной *, то имеет место мультиколлинеарность.

Измерителем мультиколлинеарности является также так называемый показатель (число) обусловленности матрицы . Он равен отношению максимального и минимального собственных чисел этой матрицы:

Считается, что если порядок этого соотношения превышает 10s–106, то имеет место сильная мультиколлинеарность .

Проверим наличие мультиколлинеарности в рассматриваемом нами примере 2.1. Матрица парных коэффициентов корреляции имеет вид

Можно отметить, что связи между объясняющими переменными достаточно тесные, особенно между переменными.Xj и х2; X] и х3, что указывает на интеркорреляцию этих переменных. Более слабая связь наблюдается между переменными х2 и х3. Найдем определитель матрицы г^..

Полученное значение ближе к нулю, чем к единице, что указывает на наличие мультиколлинеарности объясняющих переменных.

Проверим обоснованность включения всех трех независимых переменных в модель регрессии, используя правило (2.59). Парные линейные коэффициенты корреляции зависимой и независимых переменных равны

Они больше, чем показатели тесноты связи между независимыми переменными, следовательно, правило (2.59) выполняется, все три переменные можно включить в модель регрессии.

Измерим степень мультиколлинеарности переменных с помощью фактора инфляции дисперсии (VIF ). Для этого необходимо рассчитать коэффициенты детерминации для регрессий:

Для этого к каждой регрессии необходимо применить МНК, оценить ее параметры и рассчитать коэффициент детерминации. Для нашего примера результаты расчетов следующие:

Следовательно, фактор инфляции дисперсии для каждой независимой переменной будет равен

Все рассчитанные величины не превысили критического значения, равного трем, следовательно, при построении модели можно пренебречь существованием связей между независимыми переменными.

Для нахождения собственных чисел матрицы (с целью расчета показателя обусловленности η (2.60)) необходи мо найти решение характеристического уравнения

Матрица для нашего примера имеет вид

а матрица, модуль определителя которой нужно приравнять нулю, получится следующей:

Характеристический многочлен в данном случае будет иметь четвертую степень, что затрудняет решение задачи вручную. В данном случае рекомендуется воспользоваться возможностями вычислительной техники. Например, в ППП EViews получены следующие собственные числа матрицы :

Следовательно, показатель обусловленности η будет равен

что свидетельствует о наличии в модели сильной мультиколлинеарности.

Методами устранения мультиколлинеарности являются следующие.

• 1. Анализ связей между переменными, включаемыми в модель регрессии в качестве объясняющих (независимых), с целью отбора только тех переменных, которые слабо связаны друг с другом.
• 2. Функциональные преобразования тесно связанных между собой переменных. Например, мы предполагаем, что поступление налогов в городах зависит от количества жителей и площади города. Очевидно, что эти переменные будут тесно связаны. Их можно заменить одной относительной переменной "плотность населения".
• 3. Если по каким-то причинам перечень независимых переменных не подлежит изменению, то можно воспользоваться специальными методами корректировки моделей с целью исключения мультиколинеарности: ридж-регрессией (гребневой регрессией), методом главных компонент.

Применение ридж-регрессии предполагает корректировку элементов главной диагонали матрицы на некую произвольно задаваемую положительную величину τ. Значение рекомендуется брать от 0,1 до 0,4. Н. Дрейпер, Г. Смит в своей работе приводят один из способов "автоматического" выбора величины τ, предложенный Хоэрлом, Кеннардом и Белдвином :

(2.61)

где т – количество параметров (без учета свободного члена) в исходной модели регрессии; SS e – остаточная сумма квадратов, полученная по исходной модели регрессии без корректировки на мультиколлинеарность; а – вектор-столбец коэффициентов регрессии, преобразованных по формуле

(2.62)

где cij – параметр при переменной у, в исходной модели регрессии.

После выбора величины τ формула для оценки параметров регрессии будет иметь вид

(2.63)

где I – единичная матрица; X, – матрица значений независимых переменных: исходных или преобразованных по формуле (2.64); Υ τ – вектор значений зависимой переменной: исходных или преобразованных по формуле (2.65).

(2.64)

и результативную переменную

В этом случае после оценки параметров по формуле (2.63) необходимо перейти к регрессии по исходным переменным, используя соотношения

Оценки параметров регрессии, полученные с помощью формулы (2.63), будут смещенными. Однако, так как определитель матрицы больше определителя матрицы , дисперсия оценок параметров регрессии уменьшится, что положительно повлияет на прогнозные свойства модели.

Рассмотрим применение ридж-регрессии для примера 2.1. Найдем величину τ с помощью формулы (2.61). Для этого сначала рассчитаем вектор преобразованных коэффициентов регрессии по формуле (2.62):

Произведение равно 1,737-109. Следовательно, рекомендуемое τ составит

После применения формулы (2.63) и преобразований по фор муле (2.66) получим уравнение регрессии

Применение метода главных компонент предполагает переход от взаимозависимых переменных х к независимым друг от друга переменным ζ, которые называют главными

компонентами . Каждая главная компонента z, может быть представлена как линейная комбинация центрированных (или стандартизованных) объясняющих переменных t:. Напомним, что центрирование переменной предполагает вычитание из каждого і-го значения данной j-й переменной ее среднего значения:

а стандартизация (масштабирование) –деление выражения (2.67) на среднее квадратическое отклонение, рассчитанное для исходных значений переменной Xj

Так как независимые переменные часто имеют разный масштаб измерения, формула (2.68) считается более предпочтительной.

Количество компонент может быть меньше или равно количеству исходных независимых переменных р. Компоненту с номером к можно записать следующим образом:

(2.69)

Можно показать, что оценки в формуле (2.69) соответствуют элементам к- го собственного вектора матрицы , где Т – матрица размером , содержащая стандартизованные переменные. Нумерация главных компонент не является произвольной. Первая главная компонента имеет максимальную дисперсию, ей соответствует максимальное собственное число матрицы ; последняя – минимальную дисперсию и наименьшее собственное число.

Доля дисперсии к- й компоненты в общей дисперсии независимых переменных рассчитывается по формуле

где Х к – собственное число, соответствующее данной компоненте; в знаменателе формулы (2.70) приведена сумма всех собственных чисел матрицы .

После расчета значений компонент z, строят регрессию, используя МНК. Зависимую переменную в регрессии по главным компонентам (2.71) целесообразно центрировать (стандартизовать) по формулам (2.67) или (2.68).

где t y – стандартизованная (центрированная) зависимая переменная; – коэффициенты регрессии по главным компонентам; – главные компоненты, упорядоченные по убыванию собственных чисел Х к; δ – случайный остаток.

После оценки параметров регрессии (2.71) можно перейти к уравнению регрессии в исходных переменных, используя выражения (2.67)–(2.69).

Рассмотрим применение метода главных компонент на данных примера 2.1. Отметим, что матрица для стандартизованных переменных является в то же время матрицей парных линейных коэффициентов корреляции между независимыми переменными. Она уже была рассчитана и равна

Найдем собственные числа и собственные векторы этой матрицы, используя ППП Eviews. Получим следующие результаты.

Собственные числа матрицы :

Доля дисперсии независимых переменных, отражаемой компонентами, составила

Объединим собственные векторы матрицы , записав их как столбцы приведенной ниже матрицы F. Они упорядочены по убыванию собственных чисел, т.е. первый столбец является собственным вектором максимального собственного числа и т.д.:

Следовательно, три компоненты (соответствующие трем собственным векторам) можно записать в виде

После стандартизации исходных переменных по формуле (2.68) и расчета значений компонент (по n значений каждой компоненты) с помощью МНК найдем параметры уравнения (2.71):

В полученном уравнении регрессии значим только параметр при первой компоненте. Это закономерный результат с учетом того, что данная компонента описывает 70,8% вариации независимых переменных. Так как компоненты независимы, при исключении из модели одних компонент параметры уравнения при других компонентах не меняются. Таким образом, имеем уравнение регрессии с одной компонентой:

Преобразуем полученное выражение в регрессию с исходными переменными

Таким образом, используя метод главных компонент, мы получили уравнение регрессии

Устранение мультиколлинеарности с помощью ридж-регрессии и метода главных компонент привело к определенному изменению параметров исходной регрессии, которая имела вид

Отметим, что эти изменения были относительно невелики, что указывает на невысокую степень мультиколлинеарности.

• См., например, Вучков И., Бояджиева Л., Солаков Е. Прикладной регрессионный анализ: пер. с болг. M.: Финансы и статистика, 1987. С. 110.
• Дрейпер Н., Смит Г. Указ. соч. С. 514.

Оценка статистической значимости параметров регрессии проводится с помощью t-статистики Стьюдента и путем расчета доверительного интервала для каждого из показателей. Выдвигается гипотеза Н 0 о статистически значимом отличие показателей от 0 a = b = r = 0. Рассчитываются стандартные ошибки параметров a,b, r и фактическое значение t-критерия Стьюдента.

Определяется статистическая значимость параметров.

t a > T табл - параметр a статистически значим.

t b > T табл - параметр b статистически значим.

Находятся границы доверительных интервалов.

Анализ верхней и нижней границ доверительных интервалов приводит к выводу о том, что параметры a и b находясь в указанных границах не принимают нулевых значений, т.е. не является статистически незначимыми и существенно отличается от 0. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. - М.: Дело, 2001. - С. 45.

Нелинейная регрессия

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций: например, равносторонней гиперболы, параболы второй степени и д.р.

Различают два класса нелинейных регрессий:

• - регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;
• - регрессии, нелинейные по оцениваемым параметрам.

Примером нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:

полиномы разных степеней;

равносторонняя гипербола.

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

степенная;

показательная;

экспоненциальная.

Нелинейная регрессия по включенным переменным не таит каких-либо сложностей в оценке ее параметров. Она определяется, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в параболе второй степени y=a 0 +a 1 x+a 2 x 2 +е заменяя переменные x=x 1 ,x 2 =x 2 , получим двухфакторное уравнение линейной регрессии: у=а 0 +а 1 х 1 +а 2 х 2 + е.

Парабола второй степени целесообразна к применению, если для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. В этом случае определяется значение фактора, при котором достигается максимальное (или минимальное), значение результативного признака: приравниваем к нулю первую производную параболы второй степени: , т.е. b+2cx=0 и x=-b/2c.

Применение МНК для оценки параметров параболы второй степени приводит к следующей системе нормальных уравнений:

Решение ее возможно методом определителей:

В моделях, нелинейных по оцениваемым параметрам, но приводимых к линейному виду, МНК применяется к преобразованным уравнениям. Если в линейной модели и моделях, нелинейных по переменным, при оценке параметров исходят из критерия min, то в моделях, нелинейных по оцениваемым параметрам, требование МНК применяется не к исходным данным результативного признака, а к их преобразованным величинам, т.е. ln y, 1/y. Так, в степенной функции МНК применяется к преобразованному уравнению lny = lnб + в ln x ln е. Это значит, что оценка параметров основывается на минимизации суммы квадратов отклонений в логарифмах. Соответственно если в линейных моделях то в моделях, нелинейных по оцениваемым параметрам, . Вследствие этого оценка параметров оказываются несколько смещенной.

Уравнение нелинейной регрессии, так же как и в линейной зависимости, дополняется показателем корреляции, а именно индексом корреляции (R):

Величина данного показателя находится в границах: 0 ? R ? 1, чем ближе к 1, тем теснее связь рассматриваемых признаков, тем более надежно найденное уравнение регрессии.

Индекс детерминации используется для проверки существенности в целом урпвнения нелинейной регрессии по F- критерию Фишера:

Данный способ расчета наиболее обоснован теоретически и дает самые точные результаты в практическом применении. Но дело осложняется рядом обстоятельств. Во-первых, качество большинства видов продукции, а, следовательно, и его уровень формируются чаще не одним, а несколькими свойствами, причем значимость их в формировании полезности различна. Встает сложная проблема определения их значимости. Во-вторых, полезность продукта находится чаще в нелинейной зависимости от значения свойств (частных качественных характеристик), а это означает непостоянство их значимости. Указанные сложности преодолимы, но не всегда.

Теснота связи между переменными величинами может иметь различные значения, если рассматривать ее с позиции характера зависимости (линейная, нелинейная). Если установлена слабая связь между переменными в линейной зависимости, то это совсем не означает, что такая связь должна быть в нелинейной зависимости. Показателем, характеризующим значимость факторов при различной форме связи, является корреляционное отношение. Оценка факторов по корреляционному отношению уже на этом этапе анализа позволяет предварительно уст0новить вид многофакторной связи, что служит хорошей предпосылкой при выборе конкретной модели исследуемого показателя.

В случае нелинейной зависимости линейный коэффициент корреляции теряет смысл, и для измерения тесноты связи применяют так называемое корреляционное отношение, известное также под названием «индекс корреляции»:

Для нахождения лучшей подстановки можно использовать визуальный метод, когда «на глаз» определяется вид нелинейной зависимости, связывающей результирующий параметр и независимый фактор, а можно выбор наилучшей замены осуществлять, используя коэффициент корреляции. Та подстановка, у которой коэффициент корреляции является максимальным, и является наилучшей. Ланге О. Введение в эконометрику. - М.: Прогресс, 1964. - С. 76.

Применение линейной регрессии в прогнозировании

Прогнозирование - это самостоятельная отрасль науки, которая находит широкое применение во всех сферах человеческой деятельности. Существует большое разнообразие видов и способов прогнозирования, разработанных с учетом характера рассматриваемых задач, целей исследования, состояния информации. Этим вопросам посвящено много книг и журнальных статей. Покажем на примере линейной регрессии применение эконометрических моделей в прогнозировании значений экономических показателей.

В обыденном понимании прогнозирование - это предсказание будущего состояния интересующего нас объекта или явления на основе ретроспективных данных о прошлом и настоящем состояниях при условии наличия причинно-следственной связи между прошлым и будущим. Можно сказать, что прогноз - это догадка, подкрепленная знанием. Поскольку прогностические оценки по сути своей являются приближенными, может возникнуть сомнение относительно его целесообразности вообще. Поэтому основное требование, предъявляемое к любому прогнозу, заключается в том, чтобы в пределах возможного минимизировать погрешности в соответствующих оценках. По сравнению со случайными и интуитивными прогнозами, научно обоснованные и планомерно разрабатываемые прогнозы без сомнения являются более точными и эффективными. Как раз такими являются прогнозы, основанные на использовании методов статистического анализа. Можно утверждать, что из всех способов прогнозирования именно они внушают наибольшее доверие, во-первых, потому что статистические данные служат надежной основой для принятия решений относительно будущего, во-вторых, такие прогнозы вырабатываются и подвергаются тщательной проверке с помощью фундаментальных методов математической статистики.

Оценка параметров линейной регрессии представляет собой прогноз истинных значений этих параметров, выполненный на основе статистических данных. Полученные прогнозы, оказываются достаточно эффективными, так как они являются несмещенными оценками истинных параметров.

Применим модель линейной регрессии (8.2.4) с найденными параметрами (8.2.8) и (8.2.9) для определения объясняемой переменной на некоторое множество ненаблюдаемых значений объясняющей переменной . Точнее говоря, поставим задачу прогнозирования среднего значения , соответствующего некоторому значению объясняющей переменной , которое не совпадает ни с одним значением . При этом может лежать как между выборочными наблюдениями так и вне интервала . Прогноз значения может быть точечным или интервальным. Ограничимся рассмотрением точечного прогноза, т.е. искомое значение определим в виде

где - наблюдаемые значения случайной величины , а - коэффициенты (веса), которые должны быть выбраны так, чтобы был наилучшим линейным несмещенным прогнозом, т.е. чтобы

Из (8.5.1) для наблюдаемых значений

Так как по свойству математического ожидания ((2.5.4) - (2.5.5))

,

Но так как в правой части под оператором математического ожидания стоят только постоянные числа, то

Учитывая соотношение можем сказать теперь, что будет несмещенным линейным прогнозом для тогда и только тогда, когда

Следовательно, всякий вектор удовлетворяющий условиям (8.5.2), делает выражение (8.5.1) несмещенным линейным прогнозом величины . Поэтому надо найти конкретное выражение весов через известные нам величины. Для этого решим задачу минимизации дисперсии величины :

Так как под оператором дисперсии в первом слагаемом правой части уравнения стоят постоянные числа, то

С учетом предположений b) и c) и пользуясь свойствами дисперсии (2.5.4) и (2.5.6), имеем:

где - среднеквадратическое отклонение случайной величины .

Составим оптимизационную задачу минимизации дисперсии с ограничениями (8.5.2):

при ограничениях

Так как множитель не зависит от и не влияет на минимальное значение целевой функции, то функцию Лагранжа (см. (2.3.8)) сконструируем следующим образом:

где и - множители Лагранжа. Необходимые условия оптимальности точки имеют вид (см. (2.3.9)):

(8.5.3)

Просуммировав первое уравнение по , с учетом второго уравнения получим:

Отсюда находим множитель Лагранжа

где - среднее значение случайной величины . Полученное значение вновь подставим в первое уравнение системы (8.5.3) и найдем