Расчет коэффициентов линейной регрессии. Расчёт коэффициентов уравнений линейной регрессии. Корреляция для множественной регрессии

Ранговая корреляция Спирмена (корреляция рангов). Ранговая корреляция Спирмена - самый простой способ определения степени связи между факторами. Название метода свидетельствует о том, что связь определяют между рангами, то есть рядами полученных количественных значений, ранжированных в порядке убывания или возрастания. Надо иметь в виду, что, во-первых, ранговое корреляцию Не рекомендуется проводить, если связь пар меньше четырех и больше двадцати; во-вторых, ранговая корреляция позволяет определять связь и в другом случае, если значение имеют полуколичественный характер, то есть не имеют числового выражения, отражают четкий порядок следования этих величин; в-третьих, ранговое корреляцию целесообразно применять в тех случаях, когда достаточно получить приблизительные данные. Пример расчета коэффициента ранговой корреляции для определения вопрос: замеряют вопросник X и Y подобные личностные качества испытуемых. С помощью двух вопросников (X и Y), которые требуют альтернативных ответов "да" или "нет", получили первичные результаты - ответы 15 испытуемых (N = 10). Результаты подали в виде суммы утвердительных ответов отдельно для вопросника X и для вопросника В. Эти результаты сведены в табл. 5.19.

Таблица 5.19. Табулирование первичных результатов для расчета коэффициента ранговой корреляции по Спирмену (р) *

Анализ сводной корреляционной матрицы. Метод корреляционных плеяд.

Пример. В табл. 6.18 приведены интерпретации одиннадцати переменных, которые тестируют по методике Векслера. Данные получили на однородной выборке в возрасте от 18 до 25 лет (n = 800).

Перед расслаиванием корреляционную матрицу целесообразно ранжировать. Для этого в исходной матрицы вычисляют средние значения коэффициентов корреляции каждой переменной со всеми остальными.

Затем по табл. 5.20 определяют допустимые уровни расслоение корреляционной матрицы при заданных доверительной вероятности 0,95 и n - количества

Таблица 6.20. Восходящая корреляционная матрица

Переменные 1 2 3 4 бы 0 7 8 0 10 11 M (rij) Ранг
1 1 0,637 0,488 0,623 0,282 0,647 0,371 0,485 0,371 0,365 0,336 0,454 1
2 1 0,810 0,557 0,291 0,508 0,173 0,486 0,371 0,273 0,273 0,363 4
3 1 0,346 0,291 0,406 0,360 0,818 0,346 0,291 0,282 0,336 7
4 1 0,273 0,572 0,318 0,442 0,310 0,318 0,291 0,414 3
5 1 0,354 0,254 0,216 0,236 0,207 0,149 0,264 11
6 1 0,365 0,405 0,336 0,345 0,282 0,430 2
7 1 0,310 0,388 0,264 0,266 0,310 9
8 1 0,897 0,363 0,388 0,363 5
9 1 0,388 0,430 0,846 6
10 1 0,336 0,310 8
11 1 0,300 10

Обозначения: 1 - общая осведомленность; 2 - понятийнисть; 3 - внимательность; 4 - вдатнисть К обобщения; б - непосредственное запоминание (на цифрах) 6 - уровень освоения родном языке; 7 - скорость овладения сенсомоторном навыками (кодирование символами) 8 - наблюдательность; 9 - комбинаторные способности (к анализу и синтезу) 10 - способность к организации частей в осмысленное целое; 11 - способность к эвристического синтеза; M (rij) - среднее значение коэффициентов корреляции переменной с остальными переменных наблюдений (в нашем случае n = 800): r (0) - значение нулевой "Рассекая" плоскости - минимальная значимая абсолютная величина коэффициента корреляции (n - 120, r (0) = 0,236; n = 40, r (0) = 0,407) | Δr | - допустимый шаг расслоения (n = 40, | Δr | = 0,558) в - допустимое количество уровней расслоения (n = 40, s = 1 ; n = 120, s = 2); r (1), r (2), ..., r (9) - абсолютное значение секущей плоскости (n = 40, r (1) = 0,965).

Для n = 800 находим значение гтип и границ ги после чего Расслаивающая ранжированы корреляционную матрицу, выделяя корреляционные плеяды внутри слоев, или отделяем части корреляционной матрицы, вырисовывая объединения корреляционных плеяд для вышележащих слоев (рис. 5.5).

Содержательный анализ полученных плеяд выходит за пределы математической статистики. Надо отметить два формальные показатели, которые помогают при содержательной интерпретации плеяд. Одним существенным показателем служит степень вершины, то есть количество ребер, примыкающих к вершине. Переменная с наибольшим количеством ребер является "ядром" плеяды и ее можно рассматривать как индикатор остальных переменных этой плеяды. Другой существенный показатель - плотность связи. Переменная может иметь меньше связей в одной плеяде, но теснее, и больше связей в другой плеяде, однако менее тесных.

Предсказания и оценки. Уравнение у = b1x + b0 называется общим уравнением прямой. Оно свидетельствует о том, что пары точек (x, y), которые

Рис. 5.5. Корреляционные плеяды, полученные расслоением матрицы

лежат на некоторой прямой, связанные так, что для любого значения х величину в в находящегося с ним в паре, можно найти, умножив х на некоторое число b1 добавив вторых, число b0 к этому произведению.

Коэффициент регрессии позволяет определить степень изменения следственной фактора при изменении причинного фактора на одну единицу. Абсолютные величины характеризуют зависимость между переменными факторами по их абсолютными значениями. Коэффициент регрессии вычисляют по формуле:

Планирование и анализ экспериментов. Планирование и анализ экспериментов - это третья важная отрасль статистических методов, разработанных для нахождения и проверки причинных связей между переменными.

Для исследования многофакторных зависимостей в последнее время все чаще используют методы математического планирования эксперимента.

Возможность одновременного варьирования всеми факторами позволяет: а) уменьшить количество опытов;

б) свести ошибку эксперимента к минимуму;

в) упростить обработку полученных данных;

г) обеспечить наглядность и легкость по сравнению результатов.

Каждый фактор может приобретать некоторую соответствующее количество различных значений, которые называются уровнями и обозначают -1, 0 и 1. Фиксированный набор уровней факторов определяет условия одного из возможных опытов.

Совокупность всех возможных сочетаний вычисляют по формуле:

Полным факторным экспериментом называется эксперимент, в котором реализуются все возможные сочетания уровней факторов. Полные факторные эксперименты могут обладать свойством ортогональности. При ортогональном планировании факторы в эксперименте является некоррелированными, коэффициенты регрессии, которые высчитывают в итоге, определяют независимо друг от друга.

Важным преимуществом метода математического планирования эксперимента является его универсальность, пригодность во многих областях исследований.

Рассмотрим пример сравнения влияния некоторых факторов на формирование уровня психического напряжения в регулировщиков цветных телевизоров.

В основу эксперимента положен ортогональный План 2 три (три фактора изменяются на двух уровнях).

Эксперимент проводили с полным части 2 +3 с трехкратным повторением.

Ортогональное планирование базируется на построении уравнения регрессии. Для трех факторов оно выглядит так:

Обработка результатов в этом примере включает:

а) построение ортогонального плана 2 +3 таблице для расчета;

б) вычисления коэффициентов регрессии;

в) проверку их значимости;

г) интерпретацию полученных данных.

Для коэффициентов регрессии упомянутого уравнения надо было поставить N = 2 3 = 8 вариантов, чтобы иметь возможность оценить значимость коэффициентов, где количество повторений К равнялось 3.

Составлена матрица планирования эксперимента выглядела.

Дисциплина "высшая математика" у некоторых вызывает неприятие, так как поистине не всем дано ее понять. Но те, кому посчастливилось изучать этот предмет и решать задачи, используя различные уравнения и коэффициенты, могут похвастаться практически полной в ней осведемленности. В психологической науке существует не только гуманитарная направленность, но и определенные формулы и способы для математической проверки выдвигаемой в ходе исследований гипотезы. Для этого применяются различные коэффициенты.

Коэффициент корреляции Спирмена

Это распространенное измерение по определению тесноты связи между какими-либо двумя признаками. Коэффициент еще называют непараметрическим методом. Он показывает статистику связи. То есть мы знаем, например, что у ребенка агрессия и раздражительность связаны между собой, а коэффициент корреляции рангов Спирмена показывает статистическую математическую связь этих двух признаков.

Как вычисляется ранговый коэффициент?

Естественно, что для всех математических определений или величин существуют свои формулы, по которым они вычисляются. Ею обладает и коэффициент корреляции Спирмена. Формула у него следующая:

С первого взгляда формула не совсем понятна, но если разобраться, все очень легко вычисляется:

  • n - это количество признаков или показателей, которые проранжированы.
  • d - разность определенных двух рангов, соответствующих конкретным двум переменным каждого испытуемого.
  • ∑d 2 - сумма всех квадратов разностей рангов признака, квадраты которых вычисляются отдельно для каждого ранга.

Область применения математической меры связи

Для применения рангового коэффициента необходимо, чтобы количественные данные признака были проранжированы, то есть им был присвоен определенный номер в зависимости от места, на котором расположен признак, и от его значения. Доказано, что два ряда признаков, выраженных в числовом виде, несколько параллельны между собой. Коэффициент ранговой корреляции Спирмена определяет степень этой параллельности, тесноты связи признаков.

Для математической операции по расчету и определению связи признаков с помощью указанного коэффициента нужно произвести некоторые действия:

  1. Каждому значению какого-либо испытуемого или явления присваивается номер по порядку - ранг. Он может соответствовать значению явления по возрастанию и по убыванию.
  2. Дальше сопоставляются ранги значения признаков двух количественных рядов для того, чтобы определить разность между ними.
  3. В отдельном столбце таблицы для каждой полученной разности прописывается ее квадрат, а внизу результаты суммируются.
  4. После этих действий применяется формула, по которой рассчитывается коэффициент корреляции Спирмена.

Свойства коэффициента корреляции

К основным свойствам коэффициента Спирмена относят следующие:

  • Измерение значений в пределах от -1 до 1.
  • Знак коэффициента интерпретаций не имеет.
  • Теснота связи определяется по принципу: чем выше величина, тем теснее связь.

Как проверить полученное значение?

Для проверки связи признаков между собой необходимо выполнить определенные действия:

  1. Выдвигается нулевая гипотеза (H0), она же основная, затем формулируется другая, альтернативная первой (H 1). Первая гипотеза будет заключаться в том, что коэффициент корреляции Спирмена равняется 0 - это значит, что связи не будет. Вторая, наоборот, гласит, что коэффициент не равен 0, тогда связь есть.
  2. Следующим действием будет нахождение наблюдаемого значения критерия. Оно находится по основной формуле коэффициента Спирмена.
  3. Далее находятся критические значения заданного критерия. Это можно сделать только с помощью специальной таблицы, где отображаются различные значения по заданным показателям: уровень значимости (l) и число, определяющее (n).
  4. Теперь нужно сравнить два полученных значения: установленного наблюдаемого, а также критического. Для этого необходимо построить критическую область. Нужно начертить прямую линию, на ней отметить точки критического значения коэффициента со знаком "-" и со знаком"+". Слева и справа от критических значений полукругами от точек откладываются критические области. Посередине, объединяя два значения, отмечается полукругом ОПГ.
  5. После этого делается вывод о тесноте связи между двумя признаками.

Где лучше использовать эту величину

Самой первой наукой, где активно использовался этот коэффициент, была психология. Ведь это наука, не основывающаяся на цифрах, однако для доказательства каких-либо важных гипотез, касающихся развития отношений, черт характера людей, знаний студентов, требуется статистическое подтверждение выводов. Также его используют в экономике, в частности, при валютных оборотах. Здесь оцениваются признаки без статистики. Очень удобен коэффициент ранговой корреляции Спирмена в этой области применения тем, что оценка производится независимо от распределения переменных, так как они заменяются ранговым числом. Активно применяется коэффициент Спирмена в банковском деле. Социология, политология, демография и другие науки также используют его в своих исследованиях. Результаты получаются быстро и максимально точно.

Удобно и быстро используется коэффициент корреляции Спирмена в Excel. Здесь существуют специальные функции, которые помогают быстро получить необходимые значения.

Какие еще коэффициенты корреляции существуют?

Кроме того, что мы узнали про коэффициент корреляции Спирмена, существуют еще различные корреляционные коэффициенты, позволяющие измерить, оценить качественные признаки, связь между количественными признаками, тесноту связи между ними, представленными в ранговой шкале. Это такие коэффициенты, как биссериальный, рангово-биссериальный, контенгенции, ассоциации, и так далее. Коэффициент Спирмена очень точно показывает тесноту связи, в отличие от всех остальных методов ее математического определения.

Назначение сервиса . С помощью сервиса в онлайн режиме можно найти:
  • параметры уравнения линейной регрессии y=a+bx , линейный коэффициент корреляции с проверкой его значимости;
  • тесноту связи с помощью показателей корреляции и детерминации, МНК-оценку, статическую надежность регрессионного моделирования с помощью F-критерия Фишера и с помощью t-критерия Стьюдента , доверительный интервал прогноза для уровня значимости α

Уравнение парной регрессии относится к уравнению регрессии первого порядка . Если эконометрическая модель содержит только одну объясняющую переменную, то она имеет название парной регрессии. Уравнение регрессии второго порядка и уравнение регрессии третьего порядка относятся к нелинейным уравнениям регрессии .

Пример . Осуществите выбор зависимой (объясняемой) и объясняющей переменной для построения парной регрессионной модели. Дайте . Определите теоретическое уравнение парной регрессии. Оцените адекватность построенной модели (интерпретируйте R-квадрат, показатели t-статистики, F-статистики).
Решение будем проводить на основе процесса эконометрического моделирования .
1-й этап (постановочный) – определение конечных целей моделирования, набора участвующих в модели факторов и показателей, их роли.
Спецификация модели - определение цели исследования и выбор экономических переменных модели.
Ситуационная (практическая) задача. По 10 предприятиям региона изучается зависимость выработки продукции на одного работника y (тыс. руб.) от удельного веса рабочих высокой квалификации в общей численности рабочих x (в %).
2-й этап (априорный) – предмодельный анализ экономической сущности изучаемого явления, формирование и формализация априорной информации и исходных допущений, в частности относящейся к природе и генезису исходных статистических данных и случайных остаточных составляющих в виде ряда гипотез.
Уже на этом этапе можно говорить о явной зависимости уровня квалификации рабочего и его выработкой, ведь чем опытней работник, тем выше его производительность. Но как эту зависимость оценить?
Парная регрессия представляет собой регрессию между двумя переменными – y и x , т. е. модель вида:

Где y – зависимая переменная (результативный признак); x – независимая, или объясняющая, переменная (признак-фактор). Знак «^» означает, что между переменными x и y нет строгой функциональной зависимости, поэтому практически в каждом отдельном случае величина y складывается из двух слагаемых:

Где y – фактическое значение результативного признака; y x – теоретическое значение результативного признака, найденное исходя из уравнения регрессии; ε – случайная величина, характеризующая отклонения реального значения результативного признака от теоретического, найденного по уравнению регрессии.
Графически покажем регрессионную зависимость между выработкой продукции на одного работника и удельного веса рабочих высокой квалификации.


3-й этап (параметризация) – собственно моделирование, т.е. выбор общего вида модели, в том числе состава и формы входящих в неё связей между переменными. Выбор вида функциональной зависимости в уравнении регрессии называется параметризацией модели. Выбираем уравнение парной регрессии , т.е. на конечный результат y будет влиять только один фактор.
4-й этап (информационный) – сбор необходимой статистической информации, т.е. регистрация значений участвующих в модели факторов и показателей. Выборка состоит из 10 предприятий отрасли.
5-й этап (идентификация модели) – оценивание неизвестных параметров модели по имеющимся статистическим данным.
Чтобы определить параметры модели, используем МНК - метод наименьших квадратов . Система нормальных уравнений будет выглядеть следующим образом:
a n + b∑x = ∑y
a∑x + b∑x 2 = ∑y x
Для расчета параметров регрессии построим расчетную таблицу (табл. 1).
x y x 2 y 2 x y
10 6 100 36 60
12 6 144 36 72
15 7 225 49 105
17 7 289 49 119
18 7 324 49 126
19 8 361 64 152
19 8 361 64 152
20 9 400 81 180
20 9 400 81 180
21 10 441 100 210
171 77 3045 609 1356

Данные берем из таблицы 1 (последняя строка), в итоге имеем:
10a + 171 b = 77
171 a + 3045 b = 1356
Эту СЛАУ решаем методом Крамера или методом обратной матрицы .
Получаем эмпирические коэффициенты регрессии: b = 0.3251, a = 2.1414
Эмпирическое уравнение регрессии имеет вид:
y = 0.3251 x + 2.1414
6-й этап (верификация модели) – сопоставление реальных и модельных данных, проверка адекватности модели, оценка точности модельных данных.
Анализ проводим с помощью

Изучение корреляционных зависимостей основывается на исследовании таких связей между переменными, при которых значения одной переменной, ее можно принять за зависимую переменную, «в среднем» изменяются в зависимости от того, какие значения принимает другая переменная, рассматриваемая как причина по отношению к зависимой переменной. Действие данной причины осуществляется в условиях сложного взаимодействия различных факторов, вследствие чего проявление закономерности затемняется влиянием случайностей. Вычисляя средние значения результативного признака для данной группы значений признака-фактора, отчасти элиминируется влияние случайностей. Вычисляя параметры теоретической линии связи, производится дальнейшее их элиминирование и получается однозначное (по форме) изменение «y» с изменением фактора «x».

Для исследования стохастических связей широко используется метод сопоставления двух параллельных рядов, метод аналитических группировок, корреляционный анализ, регрессионный анализ и некоторые непараметрические методы. В общем виде задача статистики в области изучения взаимосвязей состоит не только в количественной оценке их наличия, направления и силы связи, но и в определении формы (аналитического выражения) влияния факторных признаков на результативный. Для ее решения применяют методы корреляционного и регрессионного анализа.

ГЛАВА 1. УРАВНЕНИЕ РЕГРЕССИИ: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ

1.1. Уравнение регрессии: сущность и типы функций

Регрессия (лат. regressio- обратное движение, переход от более сложных форм развития к менее сложным) - одно из основных понятий в теории вероятности и математической статистике, выражающее зависимость среднего значения случайной величины от значений другой случайной величины или нескольких случайных величин. Это понятие введено Фрэнсисом Гальтоном в 1886.

Теоретическая линия регрессии - это та линия, вокруг которой группируются точки корреляционного поля и которая указывает основное направление, основную тенденцию связи.

Теоретическая линия регрессии должна отображать изменение средних величин результативного признака «y» по мере изменения величин факторного признака «x» при условии полного взаимопогашения всех прочих – случайных по отношению к фактору «x» - причин. Следовательно, эта линия должна быть проведена так, чтобы сумма отклонений точек поля корреляции от соответствующих точек теоретической линии регрессии равнялась нулю, а сумма квадратов этих отклонений была ба минимальной величиной.

y=f(x) - уравнение регрессии - это формула статистической связи между переменными.

Прямая линия на плоскости (в пространстве двух измерений) задается уравнением y=a+b*х. Более подробно: переменная y может быть выражена через константу (a) и угловой коэффициент (b), умноженный на переменную x. Константу иногда называют также свободным членом, а угловой коэффициент - регрессионным или B-коэффициентом.

Важным этапом регрессионного анализа является определение типа функции, с помощью которой характеризуется зависимость между признаками. Главным основанием должен служить содержательный анализ природы изучаемой зависимости, ее механизма. Вместе с тем теоретически обосновать форму связи каждого из факторов с результативным показателем можно далеко не всегда, поскольку исследуемые социально-экономические явления очень сложны и факторы, формирующие их уровень, тесно переплетаются и взаимодействуют друг с другом. Поэтому на основе теоретического анализа нередко могут быть сделаны самые общие выводы относительно направления связи, возможности его изменения в исследуемой совокупности, правомерности использования линейной зависимости, возможного наличия экстремальных значений и т.п. Необходимым дополнением такого рода предположений должен быть анализ конкретных фактических данных.

Приблизительно представление о линии связи можно получить на основе эмпирической линии регрессии. Эмпирическая линия регрессии обычно является ломанной линией, имеет более или менее значительный излом. Объясняется это тем, что влияние прочих неучтенных факторов, оказывающих воздействие на вариацию результативного признака, в средних погашается неполностью, в силу недостаточно большого количества наблюдений, поэтому эмпирической линией связи для выбора и обоснования типа теоретической кривой можно воспользоваться при условии, что число наблюдений будет достаточно велико.

Одним из элементов конкретных исследований является сопоставление различных уравнений зависимости, основанное на использовании критериев качества аппроксимации эмпирических данных конкурирующими вариантами моделей Наиболее часто для характеристики связей экономических показателей используют следующие типы функций:

1. Линейная:

2. Гиперболическая:

3. Показательная:

4. Параболическая:

5. Степенная:

6. Логарифмическая:

7. Логистическая:

Модель с одной объясняющей и одной объясняемой переменными – модель парной регрессии. Если объясняющих (факторных) переменных используется две или более, то говорят об использовании модели множественной регрессии. При этом, в качестве вариантов могут быть выбраны линейная, экспоненциальная, гиперболическая, показательная и другие виды функций, связывающие эти переменные.

Для нахождения параметров а и b уравнения регрессии используют метод наименьших квадратов. При применении метода наименьших квадратов для нахождения такой функции, которая наилучшим образом соответствует эмпирическим данным, считается, что сумка квадратов отклонений эмпирических точек от теоретической линии регрессии должна быть величиной минимальной.

Критерий метода наименьших квадратов можно записать таким образом:

Следовательно, применение метода наименьших квадратов для определения параметров a и b прямой, наиболее соответствующей эмпирическим данным, сводится к задаче на экстремум.

Относительно оценок можно сделать следующие выводы:

1. Оценки метода наименьших квадратов являются функциями выборки, что позволяет их легко рассчитывать.

2. Оценки метода наименьших квадратов являются точечными оценками теоретических коэффициентов регрессии.

3. Эмпирическая прямая регрессии обязательно проходит через точку x, y.

4. Эмпирическое уравнение регрессии построено таким образом, что сумма отклонений

.

Графическое изображение эмпирической и теоретической линии связи представлено на рисунке 1.


Параметр b в уравнении – это коэффициент регрессии. При наличии прямой корреляционной зависимости коэффициент регрессии имеет положительное значение, а в случае обратной зависимости коэффициент регрессии – отрицательный. Коэффициент регрессии показывает на сколько в среднем изменяется величина результативного признака «y» при изменении факторного признака «x» на единицу. Геометрически коэффициент регрессии представляет собой наклон прямой линии, изображающей уравнение корреляционной зависимости, относительно оси «x» (для уравнения

).

Раздел многомерного статистического анализа, посвященный восстановлению зависимостей, называется регрессионным анализом. Термин «линейный регрессионный анализ» используют, когда рассматриваемая функция линейно зависит от оцениваемых параметров (от независимых переменных зависимость может быть произвольной). Теория оценивания

неизвестных параметров хорошо развита именно в случае линейного регрессионного анализа. Если же линейности нет и нельзя перейти к линейной задаче, то, как правило, хороших свойств от оценок ожидать не приходится. Продемонстрируем подходы в случае зависимостей различного вида. Если зависимость имеет вид многочлена (полинома). Если расчёт корреляции характеризует силу связи между двумя переменными, то регрессионный анализ служит для определения вида этой связи и дает возможность для прогнозирования значения одной (зависимой) переменной отталкиваясь от значения другой (независимой) переменной. Для проведения линейного регрессионного анализа зависимая переменная должна иметь интервальную (или порядковую) шкалу. В то же время, бинарная логистическая регрессия выявляет зависимость дихотомической переменной от некой другой переменной, относящейся к любой шкале. Те же условия применения справедливы и для пробит-анализа. Если зависимая переменная является категориальной, но имеет более двух категорий, то здесь подходящим методом будет мультиномиальная логистическая регрессия можно анализировать и нелинейные связи между переменными, которые относятся к интервальной шкале. Для этого предназначен метод нелинейной регрессии.