Исходные статистические данные для регрессионного анализа. Регрессионный анализ - статистический метод исследования зависимости случайной величины от переменных
Задачи регрессионного анализа :
а) Установление формы зависимости. Относительно характера и формы зависимости между явлениями, различают положительную линейную и нелинейную и отрицательную линейную и нелинейную регрессию.
б) Определение функции регрессии в виде математического уравнения того или иного типа и установление влияния объясняющих переменных на зависимую переменную.
в) Оценка неизвестных значений зависимой переменной. С помощью функции регрессии можно воспроизвести значения зависимой переменной внутри интервала заданных значений объясняющих переменных (т. е. решить задачу интерполяции) или оценить течение процесса вне заданного интервала (т. е. решить задачу экстраполяции). Результат представляет собой оценку значения зависимой переменной.
Парная регрессия - уравнение связи двух переменных у и х: , где y - зависимая переменная (результативный признак); x - независимая, объясняющая переменная (признак-фактор).
Различают линейные и нелинейные регрессии.
Линейная регрессия: y = a + bx + ε
Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.
Регрессии, нелинейные по объясняющим переменным:
.
Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно a и b:
Можно воспользоваться готовыми формулами, которые вытекают из этой системы:
Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции для линейной регрессии :
и индекс корреляции - для нелинейной регрессии:
Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации .
Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических:
.
Допустимый предел значений - не более 8-10%.
Средний коэффициент эластичности показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения:
.
Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
,
где - общая сумма квадратов отклонений;
- сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
- остаточная сумма квадратов отклонений.
Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации R 2:
Коэффициент детерминации - квадрат коэффициента или индекса корреляции.
F-тест - оценивание качества уравнения регрессии - состоит в проверке гипотезы Но о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого выполняется сравнение фактического F факт и критического (табличного) F табл значений F-критерия Фишера. F факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:
,
где n - число единиц совокупности; m - число параметров при переменных х.
F табл - это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно a принимается равной 0,05 или 0,01.
Если F табл < F факт, то Н о - гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если F табл > F факт, то гипотеза Н о не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н о о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:
; ; .
Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:
Сравнивая фактическое и критическое (табличное) значения t-статистики - t табл и t факт - принимаем или отвергаем гипотезу Н о.
Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством
Если t табл < t факт то H o отклоняется, т.е. a, b и не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х. Если t табл > t факт то гипотеза Н о не отклоняется и признается случайная природа формирования а, b или .
Для расчета доверительного интервала определяем предельную ошибку D для каждого показателя:
, .
Формулы для расчета доверительных интервалов имеют следующий вид:
; ;
; ;
Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.
Прогнозное значение определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения . Вычисляется средняя стандартная ошибка прогноза :
,
где 
и строится доверительный интервал прогноза:
; 
; 
где 
.
Пример решения
Задача №1 . По семи территориям Уральского района За 199Х г. известны значения двух признаков.Таблица 1.
Требуется: 1. Для характеристики зависимости у от х рассчитать параметры следующих функций:
а) линейной;
б) степенной (предварительно нужно произвести процедуру линеаризации переменных, путем логарифмирования обеих частей);
в) показательной;
г) равносторонней гиперболы (так же нужно придумать как предварительно линеаризовать данную модель).
2. Оценить каждую модель через среднюю ошибку аппроксимации и F-критерий Фишера.
Решение (Вариант №1)
Для расчета параметров a и b линейной регрессии (расчет можно проводить с помощью калькулятора).решаем систему нормальных уравнений относительно а и b:
По исходным данным рассчитываем
:
| y | x | yx | x 2 | y 2 | A i | |||
| l | 68,8 | 45,1 | 3102,88 | 2034,01 | 4733,44 | 61,3 | 7,5 | 10,9 |
| 2 | 61,2 | 59,0 | 3610,80 | 3481,00 | 3745,44 | 56,5 | 4,7 | 7,7 |
| 3 | 59,9 | 57,2 | 3426,28 | 3271,84 | 3588,01 | 57,1 | 2,8 | 4,7 |
| 4 | 56,7 | 61,8 | 3504,06 | 3819,24 | 3214,89 | 55,5 | 1,2 | 2,1 |
| 5 | 55,0 | 58,8 | 3234,00 | 3457,44 | 3025,00 | 56,5 | -1,5 | 2,7 |
| 6 | 54,3 | 47,2 | 2562,96 | 2227,84 | 2948,49 | 60,5 | -6,2 | 11,4 |
| 7 | 49,3 | 55,2 | 2721,36 | 3047,04 | 2430,49 | 57,8 | -8,5 | 17,2 |
| Итого | 405,2 | 384,3 | 22162,34 | 21338,41 | 23685,76 | 405,2 | 0,0 | 56,7 |
| Ср. знач. (Итого/n) | 57,89 | 54,90 | 3166,05 | 3048,34 | 3383,68 | X | X | 8,1 |
| s | 5,74 | 5,86 | X | X | X | X | X | X |
| s 2 | 32,92 | 34,34 | X | X | X | X | X | X |
Уравнение регрессии: у =
76,88 - 0,35х.
С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта.
Рассчитаем линейный коэффициент парной корреляции:
Связь умеренная, обратная.
Определим коэффициент детерминации:
Вариация результата на 12,7% объясняется вариацией фактора х. Подставляя в уравнение регрессии фактические значения х,
определим теоретические (расчетные) значения
.
Найдем величину средней ошибки аппроксимации :
В среднем расчетные значения отклоняются от фактических на 8,1%.
Рассчитаем F-критерий:
поскольку 1< F
<
¥
, следует рассмотреть F
-1 .
Полученное значение указывает на необходимость принять гипотезу Но о
случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.
1б.
Построению степенной модели предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:
где
Y=lg(y), X=lg(x), C=lg(a).
Для расчетов используем данные табл. 1.3.
Таблица 1.3
| Y | X | YX | Y 2 | X 2 | A i | ||||
| 1 | 1,8376 | 1,6542 | 3,0398 | 3,3768 | 2,7364 | 61,0 | 7,8 | 60,8 | 11,3 |
| 2 | 1,7868 | 1,7709 | 3,1642 | 3,1927 | 3,1361 | 56,3 | 4,9 | 24,0 | 8,0 |
| 3 | 1,7774 | 1,7574 | 3,1236 | 3,1592 | 3,0885 | 56,8 | 3,1 | 9,6 | 5,2 |
| 4 | 1,7536 | 1,7910 | 3,1407 | 3,0751 | 3,2077 | 55,5 | 1,2 | 1,4 | 2,1 |
| 5 | 1,7404 | 1,7694 | 3,0795 | 3,0290 | 3,1308 | 56,3 | -1,3 | 1,7 | 2,4 |
| 6 | 1,7348 | 1,6739 | 2,9039 | 3,0095 | 2,8019 | 60,2 | -5,9 | 34,8 | 10,9 |
| 7 | 1,6928 | 1,7419 | 2,9487 | 2,8656 | 3,0342 | 57,4 | -8,1 | 65,6 | 16,4 |
| Итого | 12,3234 | 12,1587 | 21,4003 | 21,7078 | 21,1355 | 403,5 | 1,7 | 197,9 | 56,3 |
| Среднее значение | 1,7605 | 1,7370 | 3,0572 | 3,1011 | 3,0194 | X | X | 28,27 | 8,0 |
| σ | 0,0425 | 0,0484 | X | X | X | X | X | X | X |
| σ 2 | 0,0018 | 0,0023 | X | X | X | X | X | X | X |
Рассчитаем С иb:
Получим линейное уравнение:
.
Выполнив его потенцирование, получим:
Подставляя в данное уравнение фактические значения х,
получаем теоретические значения результата. По ним рассчитаем показатели: тесноты связи - индекс корреляции и среднюю ошибку аппроксимации 
Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.
1в . Построению уравнения показательной кривой
предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:
Для расчетов используем данные таблицы.
| Y | x | Yx | Y 2 | x 2 | A i | ||||
| 1 | 1,8376 | 45,1 | 82,8758 | 3,3768 | 2034,01 | 60,7 | 8,1 | 65,61 | 11,8 |
| 2 | 1,7868 | 59,0 | 105,4212 | 3,1927 | 3481,00 | 56,4 | 4,8 | 23,04 | 7,8 |
| 3 | 1,7774 | 57,2 | 101,6673 | 3,1592 | 3271,84 | 56,9 | 3,0 | 9,00 | 5,0 |
| 4 | 1,7536 | 61,8 | 108,3725 | 3,0751 | 3819,24 | 55,5 | 1,2 | 1,44 | 2,1 |
| 5 | 1,7404 | 58,8 | 102,3355 | 3,0290 | 3457,44 | 56,4 | -1,4 | 1,96 | 2,5 |
| 6 | 1,7348 | 47,2 | 81,8826 | 3,0095 | 2227,84 | 60,0 | -5,7 | 32,49 | 10,5 |
| 7 | 1,6928 | 55,2 | 93,4426 | 2,8656 | 3047,04 | 57,5 | -8,2 | 67,24 | 16,6 |
| Итого | 12,3234 | 384,3 | 675,9974 | 21,7078 | 21338,41 | 403,4 | -1,8 | 200,78 | 56,3 |
| Ср. зн. | 1,7605 | 54,9 | 96,5711 | 3,1011 | 3048,34 | X | X | 28,68 | 8,0 |
| σ | 0,0425 | 5,86 | X | X | X | X | X | X | X |
| σ 2 | 0,0018 | 34,339 | X | X | X | X | X | X | X |
Значения параметров регрессии A и В
составили:
Получено линейное уравнение: 
.
Произведем потенцирование полученного уравнения и запишем его в обычной форме:
Тесноту связи оценим через индекс корреляции :
Лекция 4
- Элементы статистического анализа модели
- Проверка статистической значимости параметров уравнения регрессии
- Анализ дисперсии
- Проверка общего качества уравнения регрессии
- F-статистика. Распределение Фишера в регрессионном анализе.
Оценивая зависимость между эндогенными и экзогенными переменными (y и x) по выборочным данным не всегда удается на первом этапе получить удачную модель регрессии. При этом каждый раз следует оценивать качество полученной модели. Качество модели оценивается по 2м направлениям:
· Статистическая оценка качества модели
Статистический анализ модели включает следующие элементы:
- Проверку статистической значимости параметров уравнения регрессии
- Проверку общего качества уравнения регрессии
- Проверку свойств данных, выполнение которых предполагалось при оценивании уравнения
Статистическая значимость параметров уравнения регрессии определяется по t-статистике или статистике Стьюдента. Так:
tb – t-статистика для коэффициента регрессии b
mb – стандартная ошибка коэффициента регрессии.
Так же рассчитывают t-статистику для коэффициентов корреляции R:
Таким образом tb^2=t r ^2=F. То есть проверка статистической значимости коэффициента регрессии b равносильна проверке статистической значимости коэффициента корреляции
Коэффициент корреляции показывает тесноту корреляционной связи(между х и у).
Для линейной регрессии коэффициент корреляции:
Для определения тесноты связи используют обычно таблицу Чеглока
R 0,1 – 0,3 слабая
R 0,3 – 0,5 умеренная
R 0,5-,07 заметная
R 0,7-0,9 высокая
R 0,9 до 0,99 весьма высокая связь между х и у
Коэффициент корреляции -1 Часто для практических целей рассчитывают коэффициент эластичности, бета-коэффициент: Эластичностью функции у=f(x) называется предел отношения относительных переменных у и х Эластичность показывает на сколько %-в изменится у при изменении х на 1 %. Для парной линейной регрессии коэффициент эластичности вычисляется по формуле: Он показывает на сколько %-в изменится у в среднем при изменении х в среднем на 1 %. Бетта-коэффициент равен: – среднее квадрат отклонение x – Среднее квадрат отклонение у Бетта-коэффициент показывает на какую величину от своего среднего квадратического отклонения изменится у при изменении х на величину своего среднего квадратического отклонения. Анализ дисперсии В анализе дисперсии особое место занимает разложение общей суммы квадратов отклонений переменой у от у среднего на две части: на сумму объясненную регрессией и сумму, не объясненную регрессией. Общая сумма квадратов отклонений равна сумме квадратов отклонений объясненной регрессией плюс остаточной сумме квадратов отклонений. Эти суммы связаны с числом степеней свободы df – это число свободы независимого варьирования признаков. Так общая сумма квадратов отклонений имеет общее число степеней свободы (n – 1). Сумма квадратов отклонений объясненная регрессией имеет степень свободы 1, так как переменная зависит от одной величины – коэффициента регрессии b. Между числом степеней свободы существует равенство, из которого: N – 1 = 1 + n – 2 Разделим каждую сумму на соответствующее число степеней свободы, получим средний квадрат отклонений или дисперсию: D общ = D факт + D ост Оценить общее качество уравнения регрессии означает, установить соответствует ли математическая модель, выражающая зависимость между переменными экспериментальным данным и достаточно ли включенных в модель переменных, объясняющих у. Оценить общие качества модели = оценить надежность модели = оценить достоверность уравнения регрессии. Оценка общего качества модели регрессии осуществляется на основе дисперсионного анализа. Для оценки качества модели рассчитывают коэффициент детерминации: В числителе выборочная оценка остаточной дисперсии, в знаменателе выборочная оценка общей дисперсии. Коэффициент детерминации характеризует долю вариации зависимой переменной, объясненной с помощью уравнения регрессии. Так, если R квадрат равен 0,97 это значит что на 97% изменений у обусловлено изменением х. Чем ближе R квадрат к единице, тем сильнее статистически значимая линейная связь между х и у. Для получения не смещенных оценок дисперсии(коэффициента детерминации) и числитель, и знаменатель в формуле делят на соответствующее число степеней свободы: Для определения статистической значимости коэффициента детерминации R квадрат проверяется нулевая гипотеза для F-статистики, рассчитываемой по формуле: Для парной линейной: F-расчетная сравнивается со значением статистики в таблице. F-табличная рассматривается с числом степеней свободы m, n-m-1, при уровне значимости альфа. Если F расч> F табл то нулевая гипотеза отвергается, принимается гипотеза о статистической значимости коэффициента детерминации R квадрат. F-критерий Фишера = факторная дисперсия / на остаточную дисперсию: Лекция №5 Проверка свойств данных, выполнение которых предполагалось при оценивании уравнения регрессии 1. Автокорреляция в остатках 2. Статистика Дарбина-Уотсона 3. Примеры При оценивании параметров модели регрессии предполагается, что отклонении
1. В случае, если взаимосвязь между х и у не линейна. 2. Связь между переменными х и у линейна, но на исследуемый показатель воздействует фактор, не включенный в модель. Величина такого фактора может менять свою динамику за рассматриваемый период. Особенно это характерно для лаговых переменных. Обе причины свидетельствуют о том, что полученное уравнение регрессии можно улучшить, оценив нелинейную зависимость или добавив в исходную модель дополнительный фактор. Четвертая предпосылка метода наименьших квадратов говорит о том, что отклонения являются независимыми между собой, однако при исследовании и анализе исходных данных на практике встречаются ситуации, когда эти отклонения содержат тенденцию или циклические колебания. Задание: рассмотреть процедуру регрессионного анализа на основе данных (цена продажи и жилая площадь) о 23 объектах недвижимости.
Режим работы "Регрессия" служит для расчета параметров уравнения линейной регрессии и проверки его адекватности исследуемому процессу. Для решения задачи регрессионного анализа в MS Excel выбираем в меню Сервис
команду Анализ данных
и инструмент анализа "Регрессия
". В появившемся диалоговом окне задаем следующие параметры: 1. Входной интервал Y
- это диапазон данных по результативному признаку. Он должен состоять из одного столбца. 2. Входной интервал X
- это диапазон ячеек, содержащих значения факторов (независимых переменных). Число входных диапазонов (столбцов) должно быть не больше 16. 3. Флажок Метки
, устанавливается втом случае, если в первой строке диапазона стоит заголовок. 4. Флажок Уровень надежности
активизируется, если в поле, находящееся рядом с ним необходимо ввести уровень надежности, отличный от установленного по умолчанию. Используется для проверки значимости коэффициента детерминации R 2 и коэффициентов регрессии. 5. Константа ноль.
Данный флажок необходимо установить, если линия регрессии должна пройти через начало координат (а 0 =0). 6. Выходной интервал/ Новый рабочий лист/ Новая рабочая книга -
указать адрес верхней левой ячейки выходного диапазона. 7. Флажки
в группе Остатки
устанавливаются, если необходимо включить в выходной диапазон соответствующие столбцы или графики. 8. Флажок График нормальной вероятности необходимо сделать активным, если требуется вывести на лист точечный график зависимости наблюдаемых значений Y от автоматически формируемых интервалов персентилей. После нажатия кнопки ОК в выходном диапазоне получаем отчет. С помощью набора средств анализа данных выполним регрессионный анализ исходных данных. Инструмент анализа "Регрессия" применяется для подбора параметров уравнения регрессии с помощью метода наименьших квадратов. Регрессия используется для анализа воздействия на отдельную зависимую переменную значений одной или нескольких независимых переменных. Величина множественный R
- это корень из коэффициента детерминации (R-квадрат). Также его называют индексом корреляции или множественным коэффициентом корреляции. Выражает степень зависимости независимых переменных (X1, X2) и зависимой переменной (Y) и равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы. В нашем случае он равен 0,7, что говорит о существенной связи между переменными. Величина R-квадрат (коэффициент детерминации)
, называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала . В нашем случае величина R-квадрат равна 0,48 , т.е. почти 50%, что говорит о слабой подгонке регрессионной прямой к исходным данным.Т.к. найденная величина R-квадрат = 48%<75%, то, следовательно, также можно сделать вывод о невозможности прогнозирования с помощью найденной регрессионной зависимости. Таким образом, модель объясняет всего 48% вариации цены, что говорит о недостаточности выбранных факторов, либо о недостаточном объеме выборки. Нормированный R-квадрат
- это тот же коэффициент детерминации, но скорректированный на величину выборки. Норм.R-квадрат=1-(1-R-квадрат)*((n-1)/(n-k)), регрессионный анализ линейный уравнение где n - число наблюдений; k - число параметров. Нормированный R-квадрат предпочтительнее использовать в случае добавления новых регрессоров (факторов), т.к. при их увеличении будет также увеличиваться значение R-квадрат, однако это не будет свидетельствовать об улучшении модели. Так как в нашем случае полученная величина равна 0,43 (что отличается от R-квадрат всего на 0,05), то можно говорить о высоком доверии коэффициенту R-квадрат. Стандартная ошибка
показывает качество аппроксимации (приближения) результатов наблюдений. В нашем случае ошибка равна 5,1. Рассчитаем в процентах: 5,1/(57,4-40,1)=0,294 ? 29% (Модель считается лучше, когда стандартная ошибка составляет <30%) Наблюдения
- указывается число наблюдаемых значений (23). ТАБЛИЦА ДИСПЕРСИОННЫЙ АНАЛИЗ Для получения уравнения регрессии определяется -статистика - характеристика точности уравнения регрессии, представляющая собой отношение той части дисперсии зависимой переменной которая объяснена уравнением регрессии к необъясненной (остаточной) части дисперсии. В столбце df
- приводится число степеней свободы k. Для регрессии это число регрессоров (факторов) - X1 (площадь) и X2 (оценка), т.е. k=2. Для остатка это величина, равная n-(m+1), т.е. число исходных точек (23) минус число коэффициентов (2) и минус свободный член (1). В столбце SS
- суммы квадратов отклонений от среднего значения результирующего признака. В нем представлены: Регрессионная сумма квадратов отклонений от среднего значения результирующего признака теоретических значений, рассчитанных по регрессионному уравнению. Остаточная сумма отклонений исходных значений от теоретических значений. Общая сумма квадратов отклонений исходных значений от результирующего признака. Чем больше регрессионная сумма квадратов отклонений (или чем меньше остаточная сумма), тем лучше регрессионное уравнение аппроксимирует облако исходных точек. В нашем случае остаточная сумма составляет около 50%. Следовательно, уравнение регрессии очень слабо аппроксимирует облако исходных точек. В столбце MS
- несмещенные выборочные дисперсии, регрессионная и остаточная. В столбце F
вычислено значение критериальной статистики для проверки значимости уравнения регрессии. Для осуществления статистической проверки значимости уравнения регрессии формулируется нулевая гипотеза об отсутствии связи между переменными (все коэффициенты при переменных равны нулю) и выбирается уровень значимости. Уровень значимости - это допустимая вероятность совершить ошибку первого рода - отвергнуть в результате проверки верную нулевую гипотезу. В рассматриваемом случае совершить ошибку первого рода означает признать по выборке наличие связи между переменными в генеральной совокупности, когда на самом деле ее там нет. Обычно уровень значимости принимается равным 5%. Сравнивая полученное значение = 9,4 с табличным значением = 3,5 (число степеней свободы 2 и 20 соответственно) можно говорить о том, что уравнение регрессии значимо (F>Fкр). В столбце значимость F
вычисляется вероятность полученного значения критериальной статистике. Так как в нашем случае это значение = 0,00123, что меньше 0,05 то можно говорить о том, что уравнение регрессии (зависимость) значимо с вероятностью 95%. Два выше описанных столба показывают надежность модели в целом. Следующая таблица содержит коэффициенты для регрессоров и их оценки. Строка Y-пересечение не связана ни с каким регрессором, это свободный коэффициент. В столбце
коэффициенты
записаны значения коэффициентов уравнения регрессии. Таким образом, получилось уравнение: Y=25,6+0,009X1+0,346X2 Регрессионное уравнение должно проходить через центр облака исходных точек: 13,02?M(b)?38,26 Далее сравниваем попарно значения столбцов Коэффициенты и Стандартная ошибка.
Видно, что в нашем случае, все абсолютные значения коэффициентов превосходят значения стандартных ошибок. Это может свидетельствовать о значимости регрессоров, однако, это грубый анализ. Столбец t-статистика содержит более точную оценку значимости коэффициентов. В столбце t-статистика
содержатся значения t-критерия, рассчитанные по формуле: t=(Коэффициент)/(Стандартная ошибка)
Этот критерий имеет распределение Стьюдента с числом степеней свободы n-(k+1)=23-(2+1)=20
По таблице Стьюдента находим значение tтабл=2,086. Сравнивая t с tтабл получаем, что коэффициент регрессора X2 незначим. Столбец p-значение
представляет вероятность того, что критическое значение статистики используемого критерия (статистики Стьюдента) превысит значение, вычисленное по выборке. В данном случае сравниваем p-значения
с выбранным уровнем значимости (0.05). Видно, что незначимым можно считать только коэффициент регрессора X2=0.08>0,05 В столбцах нижние 95% и верхние 95% приводятся границы доверительных интервалов с надежностью 95%. Для каждого коэффициента свои границы: Коэффициентtтабл*Стандартная ошибка
Доверительные интервалы строятся только для статистически значимых величин. В статистическом моделировании регрессионный анализ представляет собой исследования, применяемые с целью оценки взаимосвязи между переменными. Этот математический метод включает в себя множество других методов для моделирования и анализа нескольких переменных, когда основное внимание уделяется взаимосвязи между зависимой переменной и одной или несколькими независимыми. Говоря более конкретно, регрессионный анализ помогает понять, как меняется типичное значение зависимой переменной, если одна из независимых переменных изменяется, в то время как другие независимые переменные остаются фиксированными. Во всех случаях целевая оценка является функцией независимых переменных и называется функцией регрессии. В регрессионном анализе также представляет интерес характеристика изменения зависимой переменной как функции регрессии, которая может быть описана с помощью распределения вероятностей. Данный статистический метод исследования широко используется для прогнозирования, где его использование имеет существенное преимущество, но иногда это может приводить к иллюзии или ложным отношениям, поэтому рекомендуется аккуратно его использовать в указанном вопросе, поскольку, например, корреляция не означает причинно-следственной связи. Разработано большое число методов для проведения регрессионного анализа, такие как линейная и обычная регрессии по методу наименьших квадратов, которые являются параметрическими. Их суть в том, что функция регрессии определяется в терминах конечного числа неизвестных параметров, которые оцениваются из данных. Непараметрическая регрессия позволяет ее функции лежать в определенном наборе функций, которые могут быть бесконечномерными. Как статистический метод исследования, регрессионный анализ на практике зависит от формы процесса генерации данных и от того, как он относится к регрессионному подходу. Так как истинная форма процесса данных, генерирующих, как правило, неизвестное число, регрессионный анализ данных часто зависит в некоторой степени от предположений об этом процессе. Эти предположения иногда проверяемы, если имеется достаточное количество доступных данных. Регрессионные модели часто бывают полезны даже тогда, когда предположения умеренно нарушены, хотя они не могут работать с максимальной эффективностью. В более узком смысле регрессия может относиться конкретно к оценке непрерывных переменных отклика, в отличие от дискретных переменных отклика, используемых в классификации. Случай непрерывной выходной переменной также называют метрической регрессией, чтобы отличить его от связанных с этим проблем. Самая ранняя форма регрессии - это всем известный метод наименьших квадратов. Он был опубликован Лежандром в 1805 году и Гауссом в 1809. Лежандр и Гаусс применили метод к задаче определения из астрономических наблюдений орбиты тел вокруг Солнца (в основном кометы, но позже и вновь открытые малые планеты). Гаусс опубликовал дальнейшее развитие теории наименьших квадратов в 1821 году, включая вариант теоремы Гаусса-Маркова. Термин «регресс» придумал Фрэнсис Гальтон в XIX веке, чтобы описать биологическое явление. Суть была в том, что рост потомков от роста предков, как правило, регрессирует вниз к нормальному среднему. Для Гальтона регрессия имела только этот биологический смысл, но позже его работа была продолжена Удни Йолей и Карлом Пирсоном и выведена к более общему статистическому контексту. В работе Йоля и Пирсона совместное распределение переменных отклика и пояснительных считается гауссовым. Это предположение было отвергнуто Фишером в работах 1922 и 1925 годов. Фишер предположил, что условное распределение переменной отклика является гауссовым, но совместное распределение не должны быть таковым. В связи с этим предположение Фишера ближе к формулировке Гаусса 1821 года. До 1970 года иногда уходило до 24 часов, чтобы получить результат регрессионного анализа. Методы регрессионного анализа продолжают оставаться областью активных исследований. В последние десятилетия новые методы были разработаны для надежной регрессии; регрессии с участием коррелирующих откликов; методы регрессии, вмещающие различные типы недостающих данных; непараметрической регрессии; байесовские методов регрессии; регрессии, в которых переменные прогнозирующих измеряются с ошибкой; регрессии с большей частью предикторов, чем наблюдений, а также причинно-следственных умозаключений с регрессией. Модели регрессионного анализа включают следующие переменные: В различных областях науки, где осуществляется применение регрессионного анализа, используются различные термины вместо зависимых и независимых переменных, но во всех случаях регрессионная модель относит Y к функции X и β. Приближение обычно оформляется в виде E (Y | X) = F (X, β). Для проведения регрессионного анализа должен быть определен вид функции f. Реже она основана на знаниях о взаимосвязи между Y и X, которые не полагаются на данные. Если такое знание недоступно, то выбрана гибкая или удобная форма F. Предположим теперь, что вектор неизвестных параметров β имеет длину k. Для выполнения регрессионного анализа пользователь должен предоставить информацию о зависимой переменной Y: В последнем случае регрессионный анализ предоставляет инструменты для: Рассмотрим модель регрессии, которая имеет три неизвестных параметра: β 0 , β 1 и β 2 . Предположим, что экспериментатор выполняет 10 измерений в одном и том же значении независимой переменной вектора X. В этом случае регрессионный анализ не дает уникальный набор значений. Лучшее, что можно сделать, оценить среднее значение и стандартное отклонение зависимой переменной Y. Аналогичным образом измеряя два различных значениях X, можно получить достаточно данных для регрессии с двумя неизвестными, но не для трех и более неизвестных. Если измерения экспериментатора проводились при трех различных значениях независимой переменной вектора X, то регрессионный анализ обеспечит уникальный набор оценок для трех неизвестных параметров в β. В случае общей линейной регрессии приведенное выше утверждение эквивалентно требованию, что матрица X Т X обратима. Когда число измерений N больше, чем число неизвестных параметров k и погрешности измерений ε i , то, как правило, распространяется затем избыток информации, содержащейся в измерениях, и используется для статистических прогнозов относительно неизвестных параметров. Этот избыток информации называется степенью свободы регрессии. Классические предположения для регрессионного анализа включают в себя: Эти достаточные условия для оценки наименьших квадратов обладают требуемыми свойствами, в частности эти предположения означают, что оценки параметров будут объективными, последовательными и эффективными, в особенности при их учете в классе линейных оценок. Важно отметить, что фактические данные редко удовлетворяют условиям. То есть метод используется, даже если предположения не верны. Вариация из предположений иногда может быть использована в качестве меры, показывающей, насколько эта модель является полезной. Многие из этих допущений могут быть смягчены в более продвинутых методах. Отчеты статистического анализа, как правило, включают в себя анализ тестов по данным выборки и методологии для полезности модели. Кроме того, переменные в некоторых случаях ссылаются на значения, измеренные в точечных местах. Там могут быть пространственные тенденции и пространственные автокорреляции в переменных, нарушающие статистические предположения. Географическая взвешенная регрессия - единственный метод, который имеет дело с такими данными. В линейной регрессии особенностью является то, что зависимая переменная, которой является Y i , представляет собой линейную комбинацию параметров. Например, в простой линейной регрессии для моделирования n-точек используется одна независимая переменная, x i , и два параметра, β 0 и β 1 . При множественной линейной регрессии существует несколько независимых переменных или их функций. При случайной выборке из популяции ее параметры позволяют получить образец модели линейной регрессии. В данном аспекте популярнейшим является метод наименьших квадратов. С помощью него получают оценки параметров, которые минимизируют сумму квадратов остатков. Такого рода минимизация (что характерно именно линейной регрессии) этой функции приводит к набору нормальных уравнений и набору линейных уравнений с параметрами, которые решаются с получением оценок параметров. При дальнейшем предположении, что ошибка популяции обычно распространяется, исследователь может использовать эти оценки стандартных ошибок для создания доверительных интервалов и проведения проверки гипотез о ее параметрах. Пример, когда функция не является линейной относительно параметров, указывает на то, что сумма квадратов должна быть сведена к минимуму с помощью итерационной процедуры. Это вносит много осложнений, которые определяют различия между линейными и нелинейными методами наименьших квадратов. Следовательно, и результаты регрессионного анализа при использовании нелинейного метода порой непредсказуемы. Здесь, как правило, нет согласованных методов, касающихся числа наблюдений по сравнению с числом независимых переменных в модели. Первое правило было предложено Доброй и Хардином и выглядит как N = t^n, где N является размер выборки, n - число независимых переменных, а t есть числом наблюдений, необходимых для достижения желаемой точности, если модель имела только одну независимую переменную. Например, исследователь строит модель линейной регрессии с использованием набора данных, который содержит 1000 пациентов (N). Если исследователь решает, что необходимо пять наблюдений, чтобы точно определить прямую (м), то максимальное число независимых переменных, которые модель может поддерживать, равно 4. Несмотря на то что параметры регрессионной модели, как правило, оцениваются с использованием метода наименьших квадратов, существуют и другие методы, которые используются гораздо реже. К примеру, это следующие методы: Все основные статистические пакеты программного обеспечения выполняются с помощью наименьших квадратов регрессионного анализа. Простая линейная регрессия и множественный регрессионный анализ могут быть использованы в некоторых приложениях электронных таблиц, а также на некоторых калькуляторах. Хотя многие статистические пакеты программного обеспечения могут выполнять различные типы непараметрической и надежной регрессии, эти методы менее стандартизированы; различные программные пакеты реализуют различные методы. Специализированное регрессионное программное обеспечение было разработано для использования в таких областях как анализ обследования и нейровизуализации. 1
/
5 Этот термин в статистике впервые был использован Френсисом Гальтоном (1886) в связи с исследованием вопросов наследования физических характеристик человека. В качестве одной из характеристик был взят рост человека; при этом было обнаружено, что в целом сыновья высоких отцов, что не удивительно, оказались более высокими, чем сыновья отцов с низким ростом. Более интересным было то, что разброс в росте сыновей был меньшим, чем разброс в росте отцов. Так проявлялась тенденция возвращения роста сыновей к среднему (regression to mediocrity
), то есть «регресс». Этот факт был продемонстрирован вычислением среднего роста сыновей отцов, рост которых равен 56 дюймам, вычислением среднего роста сыновей отцов, рост которых равен 58 дюймам, и т. д. После этого результаты были изображены на плоскости, по оси ординат которой откладывались значения среднего роста сыновей, а по оси абсцисс - значения среднего роста отцов. Точки (приближённо) легли на прямую с положительным углом наклона меньше 45°; важно, что регрессия была линейной. Допустим, имеется выборка из двумерного распределения пары случайных переменных (X, Y
). Прямая линия в плоскости (x, y
) была выборочным аналогом функции В этом примере регрессия Y
на X
является линейной функцией . Если регрессия Y
на X
отлична от линейной, то приведённые уравнения – это линейная аппроксимация истинного уравнения регрессии. В общем случае регрессия одной случайной переменной на другую не обязательно будет линейной. Также не обязательно ограничиваться парой случайных переменных. Статистические проблемы регрессии связаны с определением общего вида уравнения регрессии, построением оценок неизвестных параметров, входящих в уравнение регрессии, и проверкой статистических гипотез о регрессии . Эти проблемы рассматриваются в рамках регрессионного анализа . Простым примером регрессии Y
по X
является зависимость между Y
и X
, которая выражается соотношением: Y
=u
(X
)+ε, где u
(x
)=E
(Y
| X
=x
), а случайные величины X
и ε независимы. Это представление полезно, когда планируется эксперимент для изучения функциональной связи y
=u
(x
) между неслучайными величинами y
и x
. На практике обычно коэффициенты регрессии в уравнении y
=u
(x
) неизвестны и их оценивают по экспериментальным данным. Представим зависимость y
от x
в виде линейной модели первого порядка: Будем считать, что значения x
определяются без ошибки, β 0 и β 1 - параметры модели, а ε - ошибка, распределение которой подчиняется нормальному закону с нулевым средним значением и постоянным отклонением σ 2 . Значения параметров β заранее не известны и их нужно определить из набора экспериментальных значений (x i , y i
), i
=1, …, n
. Таким образом мы можем записать: где означает предсказанное моделью значение y
при данном x
, b
0 и b
1 - выборочные оценки параметров модели. Определим также
e
i
=
y
i
−
y
i
^
{\displaystyle e_{i}=y_{i}-{\widehat {y_{i}}}}
- значение ошибки аппроксимации для
i
{\displaystyle i}
-го наблюдения. Метод наименьших квадратов даёт следующие формулы для вычисления параметров данной модели и их отклонений: здесь средние значения определяются как обычно:
x
¯
=
∑
i
=
1
n
x
i
n
{\displaystyle {\bar {x}}={\frac {\sum _{i=1}^{n}x_{i}}{n}}}
,
y
¯
=
∑
i
=
1
n
y
i
n
{\displaystyle {\bar {y}}={\frac {\sum _{i=1}^{n}y_{i}}{n}}}
и s e
2 обозначает остаточное отклонение регрессии, которое является оценкой дисперсии σ 2 в том случае, если модель верна. Стандартные ошибки коэффициентов регрессии используются аналогично стандартной ошибке среднего - для нахождения доверительных интервалов и проверки гипотез. Используем, например, критерий Стьюдента для проверки гипотезы о равенстве коэффициента регрессии нулю, то есть о его незначимости для модели. Статистика Стьюдента:
t
=
b
/
s
b
{\displaystyle t=b/s_{b}}
. Если вероятность для полученного значения и n
−2 степеней свободы достаточно мала, например, <0,05 - гипотеза отвергается.
Напротив, если нет оснований отвергнуть гипотезу о равенстве нулю, скажем,
b
1
{\displaystyle b_{1}}
- есть основание задуматься о существовании искомой регрессии, хотя бы в данной форме, или о сборе дополнительных наблюдений. Если же нулю равен свободный член
b
0
{\displaystyle b_{0}}
, то прямая проходит через начало координат и оценка углового коэффициента равна а её стандартной ошибки Обычно истинные величины коэффициентов регрессии β 0 и β 1 не известны. Известны только их оценки b
0 и b
1 . Иначе говоря, истинная прямая регрессии может пройти иначе, чем построенная по выборочным данным. Можно вычислить доверительную область для линии регрессии. При любом значении x
соответствующие значения y
распределены нормально. Средним является значение уравнения регрессии
y
^
{\displaystyle {\widehat {y}}}
. Неопределённость его оценки характеризуется стандартной ошибкой регрессии: Теперь можно вычислить -процентный доверительный интервал для значения уравнения регрессии в точке x
: где t
(1−α/2, n
−2) - t
-значение распределения Стьюдента. На рисунке показана линия регрессии, построенная по 10 точкам (сплошные точки), а также 95%-я доверительная область линии регрессии, которая ограничена пунктирными линиями. С 95%-й вероятностью можно утверждать, что истинная линия находится где-то внутри этой области. Или иначе, если мы соберём аналогичные наборы данных (обозначены кружками) и построим по ним линии регрессии (обозначены голубым цветом), то в 95 случаях из 100 эти прямые не покинут пределов доверительной области. (Для визуализации кликните по картинке) Обратите внимание, что некоторые точки оказались вне доверительной области. Это совершенно естественно, поскольку речь идёт о доверительной области линии регрессии, а не самих значений. Разброс значений складывается из разброса значений вокруг линии регрессии и неопределённости положения самой этой линии, а именно: Здесь m
- кратность измерения y
при данном x
. И
100
⋅
(1
−
α
2)
{\displaystyle 100\cdot \left(1-{\frac {\alpha }{2}}\right)}
-процентный доверительный интервал (интервал прогноза) для среднего из m
значений y
будет: На рисунке эта 95%-я доверительная область при m
=1 ограничена сплошными линиями. В эту область попадает 95 % всех возможных значений величины y
в исследованном диапазоне значений x
. Можно строго доказать, что, если условное матожидание
E
(Y
∣
X
=
x)
{\displaystyle E(Y\mid X=x)}
некоторой двумерной случайной величины (X, Y
) является линейной функцией от
x
{\displaystyle x}
, то это условное матожидание обязательно представимо в виде
E
(Y
∣
X
=
x)
=
μ
2
+
ϱ
σ
2
σ
1
(x
−
μ
1)
{\displaystyle E(Y\mid X=x)=\mu _{2}+\varrho {\frac {\sigma _{2}}{\sigma _{1}}}(x-\mu _{1})}
, где E
(X
)=μ 1 ,
E
(Y
)=μ 2 ,
var(X
)=σ 1 2 ,
var(Y
)=σ 2 2 ,
cor(X, Y
)=ρ. Более того, для уже упомянутой ранее линейной модели
Y
=
β
0
+
β
1
X
+
ε
{\displaystyle Y=\beta _{0}+\beta _{1}X+\varepsilon }
, где
X
{\displaystyle X}
и - независимые случайные величины, а
ε
{\displaystyle \varepsilon }
имеет нулевое матожидание (и произвольное распределение), можно доказать, что
E
(Y
∣
X
=
x)
=
β
0
+
β
1
x
{\displaystyle E(Y\mid X=x)=\beta _{0}+\beta _{1}x}
. Тогда с помощью указанного ранее равенства можно получить формулы для и :
β
1
=
ϱ
σ
2
σ
1
{\displaystyle \beta _{1}=\varrho {\frac {\sigma _{2}}{\sigma _{1}}}}
,
β
0
=
μ
2
−
β
1
μ
1
{\displaystyle \beta _{0}=\mu _{2}-\beta _{1}\mu _{1}}
ОТЧЕТ
ТАБЛИЦА РЕГРЕССИОННАЯ СТАТИСТИКА
Задачи регрессионного анализа
История
Регрессионные модели
Зависимая переменная Y
Необходимое количество независимых измерений
Статистические допущения
Основополагающие допущения
Нелинейный регрессионный анализ
Расчет мощности и объема выборки
Другие методы
Программное обеспечение
Энциклопедичный YouTube
Описание
Линейная регрессия
Еще немного статистики
Если откуда-то априори известно, что множество случайных точек на плоскости порождается линейной моделью, но с неизвестными коэффициентами β 0 {\displaystyle \beta _{0}} и β 1 {\displaystyle \beta _{1}} , можно получить точечные оценки этих коэффициентов по указанным формулам. Для этого в эти формулы вместо матожиданий, дисперсий и корреляции случайных величин X и Y нужно подставить их несмещенные оценки. Полученные формулы оценок в точности совпадут с формулами, выведенными на основе метода наименьших квадратов.
