Статистический анализ: Подход с использованием ЭВМ - Афифи А.
Скачать (прямая ссылка):
3.2.1. Оценивание параметров
Параметры модели оцениваются по выборке объема п, полученной из популяции W. Так же как в разд. 3.1, эту выборку можно получить одним из двух способов. При первом способе фиксируются некоторые значения Хъ Х„, а затем в подпопуляции, определенной этими ограничениями, наблюдаются одно или несколько значений переменной Y. Затем фиксируются новые значения Хг, Хр и наблюдаются одно или несколько значений Y в этой подпопуляции, и так продолжается до тех пор, пока не будет получено п наблюдений. При таком способе формирования выборки случайной является лишь переменная Y. Второй способ получения выборки заключается в случайном отборе п индивидуумов из популяции W и одновременном наблюдении у них всех р + 1 переменных Y, Хъ Хр, причем все эти переменные случайны. Хотя процедура оценивания параметров одинакова для всех способов формирования выборки, одно из основных предположений теории оценивания методом наименьших квадратов (разд. 4.1) состоит в том, что выборка образована первым способом. С другой стороны, излагаемая ниже теория множественного и частного коэффициентов корреляции основывается на том, что выборка образована по второму способу из многомерной нормальной популяции.
В этом и следующих двух разделах предполагается, что хи, ...
xpi, i — 1, я, суть фиксированные значения независимых
166
Гл. 3. Регрессионный и корреляционный анализы
переменных Хх, Хр (здесь Хх = хи, Хр = хп1, а у( — наблюдаемое значение переменной У). Итак, выборка состоит из /г наблюдений (ух, ххх, хрХ), (уп, хХп, хрп). Для модели множественной линейной регрессии имеем
У1 - Ро + р\*и 4-----Ь РРхр, + в,., (3.2.4)
где ро, ръ р^ — неизвестные параметры, а ех, еп — независимые случайные ошибки, распределенные по закону N (0, а2). Для получения МНК-оценок Ь0, Ьх, Ьр параметров, пользователь может воспользоваться какой-либо программой линейной регрессии из ПСП. Эти оценки, которые минимизируют сумму квадратов отклонений
5 = Е {У1 - Ро - -----РЛ)2. (3-2.5)
1=1
обычно называются (частными) коэффициентами регрессии и содержатся в выходных данных программы. Иногда оценка Ь<> называется свободным членом, константой или смещением по у. Оценка уравнения множественной линейной регрессии (или плоскость наименьших квадратов) может быть записана в виде
0 = Ьо + Ь1х1-\----+ Ьрхр. (3.2.6)
(Матричные выражения для МНК-оценок приведены в замечании 3.2.1.1.)
Заметим, что сумма квадратов отклонений 5 является мерой ошибки, связанной с «подгонкой» выборочных данных посредством модели линейной регрессии; МНК-оценки минимизируют эту ошибку. Далее, Ь{ суть несмещенные оценки для рг, г == 0, 1, ру и выражаются линейными функциями наблюдений ух, ...
уп. Наконец, из теоремы Гаусса—Маркова (разд. 4.1) следует, что предсказанное значение у имеет минимальную дисперсию для данных хх, хр среди всех линейных по Хх, Хр предикторов У.
В выходных данных программ множественной линейной регрессии обычно содержатся еще четыре величины. Первая, называемая остаточной суммой квадратов (или ошибок) БЭ^ есть значение Б, которое получается при подстановке МНК-оценок вместо параметров, т. е.
= ? (и - Ь„ - Ьххх1-----Ьрхр1)\ (3.2.7)
1=1
Если эту величину разделить на число степеней свободы vR = = п — р — 1 (число степеней свободы остатков или ошибок), получается несмещенная оценка дисперсии ошибок а2, называемая остаточным средним квадратом ошибки МЭК. Итак,
МБК = (3.2.8)
3.2. Множественная линейная регрессия и корреляции
167
Иногда для этой величины в данной главе будет использоваться обозначение 5*. Указанные три величины обычно возникают в таблице дисперсионного анализа аналогично тому, как это показано в табл. 3.2.1. Четвертая величина (не присутствующая в таблице) — квадратный корень из М5К — называется стандартной ошибкой оценки. Итак, 5 = |/М5к есть оценка стандартного отклонения ошибки а.
Рассмотрим приведенную таблицу более подробно. Заметим, что каждый из средних квадратов равен сумме квадратов, деленной на соответствующее число степеней свободы. Полная сумма квадра-
Таблица 3.2.1.
Таблица дисперсиоииого анализа для модели множественной линейной регрессии
Источник Степени Средний _
дисперсии
Сумма квадратов свободы квадрат /•-отношение
Регрессия SSrj
Отклонение sot регрессии
п
Полная SSx = (У( ~ У)г vx = п — 1
тов и число степеней свободы равны сумме соответствующих компонент — «обусловленной регрессией» и «остаточной». Р-отношение равно отношению двух средних квадратов, оно будет обсуждаться в разд. 3.2.2. Полная сумма квадратов SST, деленная на число степеней свободы vT, равна оценке дисперсии У. Наконец, отношение SSD/SST = R2 (иногда называемое коэффициентом детерминации) есть доля дисперсии У, «объясненная» регрессией У по Хъ Хр (как будет показано дальше, эта величина равна квадрату'множественного коэффициента корреляции). Итак, R2 является мерой качества подгонки, т. е. чем больше R2, тем лучше модель аппроксимирует У.
Замечания 3.2.1. *1. Представим теперь модель и МНК-оценки в матричных обозначениях. Это представление есть специальный случай материала, рассматриваемого в разд. 4.1.
