Эконометрика

Глава 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

3.6. Метод максимального правдоподобия в многомерном случае

Методу максимального правдоподобия (МП) для оценки параметров парной линейной регрессии был посвящен раздел 2.5. предыдущей главы. Как было установлено, этот метод можно применять, если известен вид (с точностью до неизвестных параметров) совместной функции плотности распределения вероятностей наблюдений. В частности, предполагая, что остатки распределены по нормальному закону, можно построить функцию правдоподобия, из условия максимума которой определяются оценки коэффициентов регрессии и дисперсии случайного члена, причем оценка дисперсии по методу МП получается смещенной. Рассмотрим обобщение этого метода на случай множественной линейной регрессии.

Поскольку остатки регрессионной модели в нормальном случае взаимно независимы, то функция правдоподобия для множественной регрессии имеет вид

(3.73)

Логарифмируя выражение (3.73), получим логарифмическую функцию правдоподобия множественной регрессии

(3.74)

Дифференцируя правую часть выражения (3.74) по неизвестным параметрам регрессии - вектору и дисперсии и приравнивая результат к нулю, получим следующую систему уравнений для определения этих параметров:

Из первого уравнения данной системы получаем МП - оценку вектора коэффициентов

(3.75)

из второго - МП - оценку дисперсии случайного члена регрессии

(3.76)

Уравнение (3.75) для МП - оценки вектора коэффициентов, очевидно, совпадает с уравнением (3.15) для соответствующей оценки b по методу наименьших квадратов. Выражение (3.76) дает смещенную (но тем неменее, состоятельную) оценку дисперсии случайной составляющей множественной регрессии. В п. 3.4.4. было показано, что несмещенная оценка дисперсии в множественной регрессии имеет вид (формула (3.42))