Временные ряды. Обработка данных и теория. - Бриллинджер Д.Р.
Скачать (прямая ссылка):
На протяжении всей главы мы будем рассматривать случай детерминированного ряда X (t) и стохастического действительного ряда Y(t). Brillinger (1969а) рассматривал модель
со
Y(o = »*+ 2 а(/-о)Х(и)+е(0, (6.1.15)
U = -оо
t = 0, ± 1, в которой ряд X(o детерминированный, а К(t), 8(f) —векторные s-компонентные ряды. В гл. 8 будет рассматриваться модель (6.1.15), в которой ряд X(o-также стохастический.
6.2. Метод наименьших квадратов и регрессионная теория
Основу метода наименьших квадратов и линейной регрессионной теории составляют две классические теоремы. Первая из них —теорема Гаусса—Маркова
Теорема 6.2.1. Пусть
Y = aX + e, (6.2.1)
где г есть lxn-матрица случайных величин, причем Ee = O, Еете — аЧ, а есть IxA-матрица неизвестных параметров и X есть kxn-матрица известных величин. Тогда
(Y-aX)(Y-aX)T (6.2.2)
минимизируется при выборе а равным a= YXT(XX1)"*, если матрица XXх несингулярна. Этот минимум равен Y(I — Xхх X(XX1^)-1X)Y1. Математическое ожидание величины а равно а, а ковариационная матрица а задается выражением E (а — а)тх X (а -а) -о2 (XXх)-1, причем если о2= (п - ft)-* Y (I — Xх х X(XX1^)-1X)Y1, то Eo2 = о2. Кроме того, а является линейной несмешанной бценкой для а с минимальной дисперсией.
Этот результат можно найти, например, в гл. 19 книги Kendall, Stuart (1961). Обратимся к вопросу о распределении величины а2 и а, которую обычно называют оценкой наименьших квадратов величины а.
Теорема 6.2.2. Если в дополнение к условиям теоремы 6.2.1 предположить, что п компонент вектора г являются величинами,
6.2. Метод наименьших квадратов и регрессионная теория 205
имеющими нормальное распределение, то ат имеет распределение Л^(ат, о2 (XXх)-1), а а2, имеет распределение o2%l_k/(n — k) и не зависит от а.
Непосредственно из теоремы 6.2.2 следует, что величина
F = [{n-k) аХХтат]/[&Y (I — Xх (XXх)-1 X) YT] (6.2.3)
имеет нецентральное /^-распределение с kun—k степенями свободы и параметром нецентральности аХХтат/ог2. Как видим, гипотезу а= 0 можно проверить, заметив, что величина (6.2.3) имеет центральное Fky -распределение, когда гипотеза верна. Соответствущую статистику
Шх=Щ?- (6.2.4)
называют квадратом множественного выборочного коэффициента корреляции. Нетрудно видеть, что 0Ryx ^ 1. Из (6.2.3) следует также, что
Syx = [Fk/(n--k)]/[l+Fk/(n-k)], (6.2.5)
и потому распределение этой величины может быть определено непосредственно из нецентрального /^-распределения.
Пусть Яу и Яу обозначают /-е компоненты а и а соответственно, a Cj1 обозначает /-й — элемент диагонали (ХХТ)-1. Тогда доверительные интервалы для Uj могут быть получены из рассмотрения центрированной величины
[aj-aj]/[cjj\ (1-XMXX^)-1X) YV(Zi-*)]1'2, (6.2.6)
имеющей /„.,-распределение.
Эти результаты можно применять для действительных случайных величин и параметров. Однако при анализе временных рядов большинство случаев, представляющих интерес, требуют перехода к комплексным величинам. Верна
Теорема 6.2.3. Пусть
Y^aX+ е, (6.2.7)
где г есть lxn-матрица комплексных случайных величин, причем Ее = 0, Еєте = 0, Еете = O2I, а есть 1 х k-матрица неизвестных комплексных параметров, X — kxn-матрица с известными комплексными элементами, Y есть lxn-матрица с известными ком-плексными элементами. Тогда
(Y-aX)(Y-aX)T (6.2.8)
минимизируется при выборе а,равным a = YX^XX1)^1, если матрица XXх несингулярна. Этот минимум равен Y(I — Xх (XXх)"1 X) Yx. Кроме того, Ea = a, E (а— а)х (а — а) = 0 и E (а — а)хх X (?-а) = (XXх)'1 о2- Если tf = (n-k)~* Y(I - Хт (XXх)-* X) Y\то Ea? = а2.
Для распределений величин а и а2 верна
Теорема 6.2.4. Если в дополнение к условиям теоремы 6:2.3 предположить, что компоненты вектора г являются независимыми величинами с распределением (0, о2), то ат имеет распределение Nck (ах, (XXх)"1 о2) и о2-имеет распределение o2%l(n—k)l /[2(п—k)] и не зависит от а.
Из этой теоремы можно заключить, что величина
G = [(n-k) aXXTax]/[?Y (І —Xх(XXх)-1 X) Yx] (6.2.9)
имеет нецентральное /^-распределение со степенями свободы 2k и 2(n — k) и параметром нецентральности аХХтат/а2. Эта статистика может быть использована для проверки гипотезы а = 0. Соответствующее выражение
\Ryx\* = ^^?- (6.2.10)
является квадратом комплексного множественного выборочного коэффициента корреляции. Нетрудно убедиться, что 0 ^| RYx I2^l. Также из (6.2.10) получаем
IR yx I2 = [Gkl(n - k)]l[ 1 + Gkl(n -k)], (6.2.11)
так что распределение этой величины можно определить непосредственно из нецентрального F-распределения. Сформулированные выше теоремы 6.2.3 и 6.2.4 приведены в работе Akaike (1965). Khatri (1965а) показал, что а и (n—k)o2/n являются оценками наибольшего правдоподобия для а и а2.
Оценка а играет важную роль при прогнозировании математического ожидания #0 — переменной, связанной с данным х0. Справедлива
Теорема 6.2.5. Предположим, что выполнены условия теоремы 6.2.4. Пусть также
j/0 = ax0 + e0, (6.2.12)
где г0 не зависит от г из (6.2.7) и i/0 = ах0; тогда у0 имеет рас* пределение N%(ax0, Q2Xj(XX^-1X0) и не зависит от о2.