3.4. Проверка адекватности моделей множественной линейной регрессии

3.4.1. Статистические критерии проверки адекватности моделей множественной регрессии

Анализ адекватности модели является важным этапом эконометрического моделирования. Для проверки адекватности моделей множественной регрессии, также как и парной линейной регрессии используют коэффициент детерминации и его модификации, отражающие особенности множественной модели, а также процедуры проверки статистических гипотез и построения доверительных интервалов для оценок параметров и прогнозов зависимой переменной.

3.4.2. Коэффициент детерминации

Важным показателем, характеризующим качество эмпирической регрессионной функции (ее соответствия наблюдаемым данным), является коэффициент детерминации. Полную сумму квадратов отклонений зависимой переменной от ее выборочного среднего в модели множественной регрессии можно представить в виде

(3.28)

В векторной форме выражение (3.28) можно записать так

(3.29)

где E - вектор - столбец с единичными элементами, E = (1,1,....,1)T, размерности n. Вспоминая свойства (3.19) и (3.20) остатков модели, имеем

(3.30)

С учетом (3.30) выражение (3.29) примет вид

(3.31)

Очевидно, первое слагаемое в формуле (3.31) - это объясненная сумма квадратов отклонений, второе - необъясненная сумма квадратов отклонений, и, следовательно, используя ранее введенные обозначения этих величин, можно записать

TSS = ESS + RSS

(3.32)

Представим три эквивалентных формы записи коэффициента детерминации R2.

Первая форма записи коэффициента R2

(3.33)

Вторая форма записи R2

(3.34)

Третья форма записи R2

(3.35)

Все три формы записи по существу имеют тот же вид, что и в парной линейной регрессии, только представлены в векторном виде.

Значения коэффициента детерминации в случае множественной регрессии, также как и парной, принадлежат интервалу [0, 1]. Покажем это. Определим верхнюю границу R2. Если , то, очевидно, TSS = ESS, и из определения (3.33) следует, что R2=1. Так будет, если все ei=0, и тогда (i=1,2,…,n), то есть функция регрессии полностью (на все сто процентов) объясняет поведение зависимой переменной.

Определим нижнюю границу R2. Если TSS = RSS, то ESS = 0 и из выражения (3.33) следует, что тогда R2 = 0. Так будет, если

и в этом случае, очевидно, для всех значений i=1,2,…,n. Это означает, что поведение зависимой переменной полностью определяется независимыми случайными ошибками модели, и функция регрессии не объясняет поведение зависимой переменной.

Как и в случае парной линейной регрессии, коэффициент детерминации многомерной (множественной) регрессии следует понимать (интерпретировать) как долю (часть) дисперсии (выборочной) переменной y, объясненную уравнением регрессии. Коэффициент детерминации служит мерой адекватности модели: чем он больше, тем лучше ( при прочих равных условиях) оценено уравнение регрессии.

Выше, говоря о коэффициенте детерминации как мере адекватности модели, мы подчеркнули, что о лучшем оценивании модели можно говорить только "при прочих равных условиях". Это означает в том числе, что применять коэффициент R2 корректно для сравнения только моделей с равным числом объясняющих переменных - регрессоров.

Зависимость величины R2 от количества регрессоров

Общеизвестна следующая зависимость R2 и количества регрессоров k: если включить в модель дополнительный регрессор, то коэффициент детерминации может при этом только увеличиться. Обозначим - приращение величины коэффициента детерминации при добавлении дополнительного регрессора, здесь в скобках указано количество регрессоров в модели.

Тогда можно утверждать, что всегда будет .

Действительно, в модели с k+1 регрессором минимизируется функция k+1 переменной

по всем возможным значениям коэффициентов b1, b2,...,bk+1 . В модели с k регрессорами минимизируется функция k переменных

по всем возможным значениям коэффициентов b1, b2,...,bk . Но, очевидно, S(b1, b2,...,bk ) = S(b1, b2,...,bk ,0), и минимизация суммы S(b1, b2,...,bk ) равносильна минимизации суммы S(b1, b2,...,bk,bk+1) при фиксированном значении коэффициента bk+1 = 0. Отсюда следует, что значение минимума  S(b1, b2,...,bk ) не может быть меньше, чем значение минимума  S(b1, b2,...,bk+1 )(по той простой причине, что добавление еще одной переменной, по которой проводится минимизация функции многих переменных S, дает дополнительную возможность уменьшить значение этой функции). Это означает, что величина остаточной суммы квадратов RSS в модели с k + 1 регрессором не может быть больше, чем в модели с k регрессорами. Но поскольку полная сумма квадратов в обеих моделях одинакова, то чем меньше RSS, тем, очевидно, будет больше коэффициент детерминации, что и требовалось доказать.

3.4.3. Скорректированный коэффициент детерминации

Как было установлено в предыдущем разделе, коэффициент детерминации увеличивается (точнее, почти всегда увеличивается) при увеличении количества регрессоров в модели. Это приводит к тому, что если при оценке качества модели ориентироваться на обычный коэффициент R2, то уравнения с большим числом регрессоров будут давать лучший результат, чем с меньшим. Это может привести к неоправданному включению в модель большого числа малозначимых регрессоров. Включение каждого дополнительного регрессора приводит к потере одной степени свободы (напомним, что количество степеней свободы равно количеству наблюдений минус количество оцениваемых коэффициентов регрессии). При добавлении одного дополнительного регрессора добавляется один коэффициент и теряется одна степень свободы. Поскольку количество наблюдений при построении эконометрических моделей, как правило, ограничено, а при применении t- и F- тестов для построения доверительных и прогнозных интервалов, а также проверке гипотез относительно коэффициентов, желательно иметь как можно больше степеней свободы, так как эти интервалы будут тем меньше, чем больше степеней свободы, то неоправданное включение дополнительного регрессора в статистическом отношении не желательно. В связи с этим, при анализе адекватности моделей множественной регрессии наряду с обычным коэффициентом детерминации используют так называемые скорректированные коэффициенты детерминации.

Скорректированный коэффициент детерминации Тейла

Рассмотрим вторую форму представления коэффициента детерминации (3.34):

(3.36)

Выражение (3.36) можно записать в эквивалентном виде

(3.37)

где , - смещенные оценки дисперсий случайной составляющей модели и зависимой переменной . Если теперь в выражении (3.37) смещенные оценки дисперсий заменить несмещенными, то получим скорректированный коэффициент детерминации Тейла

(3.38)

Скорректированный коэффициент детерминации всегда меньше обычного, то есть имеет место соотношение

(3.39)

Действительно, имеем

откуда и следует неравенство (3.39).

Ранее было отмечено, что добавление дополнительного регрессора, как правило, увеличивает значение обычного коэффициента детерминации. Этого не происходит, если использовать скорректированный коэффициент детерминации. Его изменение, вызванное добавлением регрессора, может быть как положительным, так и отрицательным и поэтому, ориентируясь на значение скорректированного коэффициента, можно более объективно оценить, целесообразно ли введение дополнительного регрессора при уменьшении степеней свободы (приводит ли это к более адекватной модели). Лучшей признается модель, для которой скорректированный коэффициент больше.

Пример 3.3.

Для модели примера 3.1. вычислим коэффициент детерминации и скорректированный коэффициент детерминации Тейла. Используя формулы (3.34) и (3.38), соответственно получим:


Данный результат позволяет сделать заключение о достаточно высоком качестве построенной регрессионной модели.

Пример 3.4.

Вычислим коэффициент детерминации и скорректированный коэффициент детерминации Тейла для регрессии примера 3.2. Их значения равны


соответственно, что также позволяет сделать вывод о достаточно высоком качестве построенной модели.

Задание.

Сравните результаты примеров 3.3, 3.4 с коэффициентами детерминации парных регрессий в примерах 2.4, 2.5. Сделайте выводы.

3.4.4. Построение доверительных интервалов для параметров регрессии и их линейных комбинаций

Построение доверительных интервалов как для отдельных коэффициентов регрессии так и для прогноза зависимой переменной является важнейшим этапом анализа регрессионной модели. Основные идеи, на которых базируются процедуры построения доверительных интервалов были рассмотрены в разделе (2.4.2) для случая парной линейной регрессии. Однако в многомерном случае появляются дополнительные задачи, в частности, построения интервалов и проверки гипотез для линейных комбинаций коэффициентов регрессии.

Для построения доверительных интервалов и проверки гипотез используются свойства t - статистики Стьюдента, которая имеет вид

(3.40)

где - оценка стандартного отклонения i-го коэффициента регрессии. В предположении, что случайная составляющая модели имеет нормальное распределение, случайная переменная t подчиняется центральному t - распределению Стьюдента с n - k степенями свободы. Для расчета t - статистики необходимо знать оценки стандартных отклонений или дисперсий оценок параметров модели, которые являются диагональными элементами оцененной матрицы ковариаций вектора оценок. Получим выражение для этих величин.

Эмпирическия оценка ковариационной матрицы вектора оценок параметров

Ранее для истинной ковариационной матрицы было получено выражение (формула (3.27))

В этом выражении неизвестно теоретическое значение дисперсии случайной составляющей модели . Оцененная по методу наименьших квадратов ковариационная матрица вектора b получается, если в выражении для теоретической ковариационной матрицы истинное значение дисперсии заменить его несмещенной оценкой. Получим выражение для такой оценки. Вспоминая выражения (3.15), (3.16) для оценок параметров и зависимой переменной, запишем

где матрица G = I - X(XTX)-1XT - идемпотентная матрица (определения и свойства таких матриц даны в приложении). Ковариационная матрица вектора ошибок равна

Используя это выражение, а также следующие свойства идемпотентных матриц: G= GT (идемпотентная матрица симметрична), G = GG , вычислим величину

(3.41)

где tr{ } - означает след матрицы (напомним, что след матрицы равен сумме ее диагональных элементов, след идемпотентной матрицы равен ее рангу, ранг единичной матрицы равен ее размерности, ранг идемпотентной матрицы G равен n - k). Из выражения (3.41) легко видеть, что несмещенной эмпирической оценкой дисперсии случайной составляющей будет оценка вида

(3.42)

Таким образом, для оцененной ковариационной матрицы получаем выражение

(3.43)

Элементы этой матрицы, стоящие на главной диагонали, являются эмпирическими оценками дисперсий соответствующих коэффициентов модели, а элементы, расположенные вне главной диагонали - оценками ковариаций оценок i-го и j - го коэффициентов, для всех .

На практике не приходится вычислять оценку ковариационной матрицы вручную, так как для этого существуют эффективные пакеты программ.

Доверительные интервалы для отдельных коэффициентов

Процедура построения доверительных интервалов для отдельных коэффициентов множественной регрессии принципиально не отличается от соответствующей процедуры в случае парной линейной регрессии, которую мы изучили в разделе 2.4.2. Как отмечалось выше, в классической линейной нормальной модели регрессии случайная переменная

(3.44)

где и - случайные величины, подчиняется центральному t - распределению с p = n - k степенями свободы. Определив из таблицы t - критерия значение t - статистики для заданного уровня значимости и данного значения степеней свободы p, получаем соотношение

(3.45)

где - доверительный уровень. Подставляя в выражение (3.45) значение t - статистики из соотношения (3.44), получим

(3.46)

Выражению (3.46) можно дать следующую интерпретацию: двусторонний симметричный доверительный интервал с

нижней границей

(3.47)

и

верхней границей

(3.48)

с вероятностью накрывает истинное значение регрессионного коэффициента . Уровень значимости выбирают, как и в парной линейной регрессии, либо равным 0,01 (однопроцентный уровень значимости), либо 0,05 (пятипроцентный уровень значимости).

Пример 3.5.

Определим границы доверительных интервалов для коэффициентов модели примера 3.1. Пусть уровень значимости . Вычисления по формулам (3.42), (3.43) дают следующие значения оценок дисперсий остатков регрессии и дисперсий оценок коэффициентов , , . Оценки среднеквадратичных отклонений для коэффициентов , , . Табличное значение t - статистики для p = 12 степеней свободы и уровня значимости =0,05 равно . Используя эти данные, а также полученные ранее оценки коэффициентов , , , легко вычислить границы (3.47), (3.48) доверительных интервалов (интервальные оценки) для коэффициентов: , ; следовательно, с вероятностью 1-=0,95 истинное значение коэффициента лежит в интервале (0,552;6,110); , , и, следовательно, истинное значение лежит в интервале (0,259;1,917); , и истинное значение лежит в интервале (-0,645;1,074).

Пример 3.6.

Аналогично предыдущему примеру определим границы доверительных интервалов для модели примера 3.2. Стандартные ошибки оценок коэффициентов равны , , . Табличное значение t - статистики при уровне значимости 0,05 и p = 9 степенях свободы равно 2,262. Доверительные интервалы равны соответственно: (-1,7655; 0,1016), (4,2306; 5,2553), (0,0735; 0,2765).

Задание.

Сравните доверительные интервалы, полученные в примерах 3.5, 3.6 с интервалами примеров 2.6, 2.7. Целесообразно ли включение дополнительных регрессоров в модели для объяснения поведения зависимой переменной?

Доверительные интервалы для линейных комбинаций коэффициентов регрессии

Часто при тестировании построенной модели множественной регрессии возникает задача проверки гипотез и построения доверительных интервалов для линейных комбинаций коэффициентов регрессии. Например, необходимо проверить, является ли сумма двух или нескольких коэффициентов постоянной величиной и построить доверительные границы для этой суммы.

В этом случае используется t - статистика вида

(3.49)

где - вектор коэффициентов линейной комбинации с постоянными компонентами, - оцененная линейная комбинация, - истинное (теоретическое) значение линейной комбинации, - оценка по методу наименьших квадратов стандартной ошибки линейной комбинации. Получим выражение для этой оценки. Теоретическая дисперсия линейной комбинации

(3.50)

Заменяя в формуле (3.50) теоретическую дисперсию случайного члена ее несмещенной оценкой (3.42), получим эмпирическую оценку дисперсии линейной комбинации

откуда имеем

Заметим, что в линейной комбинации некоторые из коэффициентов могут быть равны нулю (разумеется, соответствующие коэффициенты в теоретическом значении комбинации также должны быть равны нулю). Границы симметричного доверительного интервала с уровнем значимости для значения линейной комбинации задаются следующим образом:

нижняя граница

верхняя граница

Замечание к интерпретации доверительных интервалов.

Границы доверительных интервалов зависят от случайных величин b, , или , . Их конкретные значения зависят от наблюдаемой выборки случайных величин. Поэтому, когда мы говорим, что доверительный интервал с заданной вероятностью накрывает неизвестное истинное значение параметра или линейную комбинацию истинных параметров, мы имеем ввиду, что границы интервалов - случайные величины. Когда доверительные интервалы строятся по конкретным выборкам (по конкретной реализации наблюдений зависимой и независимых переменных), то можно говорить о том, что построенный (реализованный) доверительный интервал включает или не включает истинное значение параметра или истинное значение линейной комбинации параметров. Поскольку границы доверительных интервалов - случайные переменные, реализации которых меняются от выборки к выборке, то и расположение и ширина соответствующего доверительного интервала меняется и зависит от конкретных реализаций случайных переменных - оценок b, , или .

3.4.5. Проверка статистических гипотез относительно коэффициентов регрессии и их линейных комбинаций: t - тесты

Процедура проверки гипотез относительно отдельных коэффициентов

Сформулируем пару гипотез относительно отдельного i - го коэффициента множественной регрессии:

гипотеза

гипотеза

t - тест для проверки гипотез можно построить с использованием двустороннего симметричного доверительного интервала для коэффициента . Правило проверки состоит в следующем. Гипотеза отклоняется, при уровне значимости , если соответствующий двусторонний доверительный интервал не накрывает значение с уровнем доверия .

Проверка гипотез о линейных комбинациях коэффициентов

Гипотезы о линейных комбинациях коэффициентов множественной регрессии формулируются следующим образом:

гипотеза

гипотеза

где c* - теоретическое значение линейной комбинации, относительно которого формулируются гипотезы, - вектор-столбец коэффициентов регрессии.

Правило проверки этих гипотез: гипотеза при уровне значимости отклоняется, если соответствующий двусторонний симметричный доверительный интервал не накрывает (не включает) значение c* с уровнем доверия .

3.4.6. Проверка статистических гипотез относительно групп регрессионных коэффициентов и линейных комбинаций: F - тесты

На практике при построении моделей множественной регрессии может возникнуть задача проверки статистических гипотез относительно нескольких коэффициентов регрессии или их линейных комбинаций, или сочетания подобных гипотез. В этом случае применяются так называемые F - тесты, основанные на свойствах F - статистики. F - тесты требуют предположения нормальности распределения случайной составляющей модели, то есть, их можно применять (также как и t - тесты) только в случае нормальной линейной регрессии. С помощью F- теста можно проверить следующие гипотезы:

1. двустороннюю пару гипотез относительно одного, двух или нескольких коэффициентов регрессии;

2. двустороннюю пару гипотез относительно значений одной, двух или нескольких линейных комбинаций коэффициентов регрессии (в отличие от t- теста, который проверяет гипотезу только об одной линейной комбинации);

3. совокупность гипотез относительно коэффициентов и их линейных комбинаций (t- тест подобного рода гипотезы проверять не позволяет).

В общем случае гипотезы для применения F- теста формулируются следующим образом:

гипотеза

(3.51)

альтернативная гипотеза

где C - прямоугольная матрица размерности (m x k), - вектор - столбец размерности m, - вектор столбец коэффициентов.

Таким образом, с помощью F- теста в общем случае проверяются гипотезы относительно одновременного выполнения (или не выполнения) совокупности m линейных соотношений вида

(3.52)

где i=1,2,…,m. При этом формулировка гипотез будет корректной, если система линейных уравнений (3.52) совместна. Это означает, что строки матрицы C должны быть линейно - независимы или, что тоже самое, и ранг матрицы C равен m. С помощью t - теста подобные гипотезы проверить невозможно.

F- статистика вычисляется по формуле

(3.53)

Случайная переменная F, определяемая выражением (3.53) в предположениях нормальной линейной регрессии и истинности гипотезы  H0 распределена в соответствии с F - распределением с (m, p) степенями свободы (заметим, что здесь количество степеней свободы задается двумя значениями).

Правило проверки гипотез на основе F-теста:

Гипотеза  отклоняется, если выполнено неравенство

(3.54)

где - табличное значение F - распределения для соответствующего уровня доверия и заданных степеней свободы m и p (это значение еще называют квантиль F - распределения).

Порядок выполнения F - теста следующий.

1. Сформулировать пару гипотез H0 иH1.

2. Выбрать уровень значимости .

3. Вычислить значение F - статистики по формуле (3.53).

4. Найти в таблице F - распределения (F - критерия) значение квантили , соответствующее заданным уровню значимости и степеням свободы.

5. Проверить выполнение неравенства (3.54).

Частный случай: F-тест для совокупности регрессионных коэффициентов

На практике может возникнуть необходимость проверки гипотез о значимости коэффициентов множественной регрессии в совокупности, то есть нулевой гипотезы

(3.55)

против альтернативной. Заметим, что в формулировке гипотезы не участвует свободный член регрессионного уравнения. Очевидно, гипотеза H0 вида (3.55) является частным случаем общей гипотезы (3.51), проверяемой с помощью F-теста. Действительно, достаточно матрицу C размерности (k-1) x k в общей формулировке (3.51) задать в виде

и вектор - столбец c*=(0,0,...,0)T, его размерность равна (k-1).

В этом случае значение F - статистики можно вычислить, используя коэффициент детерминации R2. Формула для вычисления имеет вид

(3.56)

Ее можно получить из общей формулы для вычисления F-статистики (3.53).

Замечание. О проверке статистической значимости коэффициента детерминации.

Выражение (3.56) определяет взаимосвязь коэффициента детерминации и F-статистики. Ранее мы установили, что минимальное значение коэффициента детерминации равно нулю. Это соответствует случаю, когда отсутствует влияние регрессоров на регрессанд. Очевидно, и гипотеза вида (3.55) тестирует именно этот случай. Коэффициент детерминации - случайная величина, его конкретное рассчитанное значение определяется наблюдаемой выборкой. Поэтому и коэффициент R2 необходимо подвергнуть тестированию, сформулировав пару гипотез

(3.57)

(3.58)

F-тест для проверки этих гипотез можно получить, используя соотношение (3.56).

Задание.

Опишите порядок проведения F-теста для проверки гипотезы (3.57) против альтернативы (3.58) и проверьте значимость коэффициентов детерминации в моделях примеров 3.1, 3.2.

F-тест для отдельных групп коэффициентов

С помощью F-теста можно проверять гипотезы о влиянии на регрессанд отдельных групп регрессоров в совокупности, или, что то же самое, значима ли группа коэффициентов регрессии, соответствующих этим регрессорам (нулевая гипотеза - коэффициенты равны нулю). Обычно говорят об r последних регрессоров модели. В этом случае строят две регрессионные модели: модель с k регрессорами и модель с (k-r) регрессорами (то есть в первой модели полагают равными нулю r последних коэффициентов, соответствующих r последним тестируемым регрессорам). Значение F-статистики вычисляют по формуле

(3.59)

где e0- вектор ошибок модели с (k - r) регрессорами, e - вектор ошибок модели с k регрессорами.

Правило принятия решения состоит в следующем.

Нулевая гипотеза отклоняется, если выполняется неравенство

(3.60)

Можно дать следующее интуитивное пояснение к данному F - тесту. Включение дополнительных регрессоров приводит, как правило, к уменьшению суммы квадратов ошибок (квадратичного критерия) или, соответственно, к увеличению коэффициента детерминации. Если r последних регрессоров не оказывают заметного влияния на регрессанд (нулевая гипотеза верна), то числитель в выражении (3.59) будет близок к нулю, значение F - статистики также будет близко к нулю и неравенство (3.60) выполняться не будет. Если же включение r дополнительных регрессоров улучшает качество модели, то значение F - статистики возрастет, что приведет к выполнению неравенства (3.60) и, следовательно, к отклонению гипотезы H0 .

Замечание.

Очевидно, F - тест можно использовать для проверки гипотез относительно одного коэффициента регрессии или одной линейной комбинации вида cTb. В этом случае m = 1 и F - тест приводит к тому же результату, что и двусторонний t - тест для проверки гипотез относительно линейных комбинаций коэффициентов (см. п. 3.4.5). Можно показать, что в этом случае F - статистика будет равна квадрату t - статистики, то есть F=t2 и табличное значение