Статистический анализ: Подход с использованием ЭВМ - Афифи А.
Скачать (прямая ссылка):
Положим Y2 = а21Хг + ... + а2рХр. Надо найти такие коэффициенты а81, а2р, чтобы величина
V(Yt) = 21 Г «««2/0,/ (5.6.5)
«=i t=i
12*
356
Гл. 5. Методы многомерного статистического анализа
р
достигала максимального значения при условии 2 а|/ = 1
/=1
и соу (Уь У2) = 2?=12р=1аиа21Ос( = 0. Первое условие обеспечивает единственность решения, а второе — некоррелированность Ух и К2. Решение щ = (а21, аър)' является собственным вектором матрицы 2, соответствующим второму по величине собственному значению. Это собственное значение равно дисперсии V* (К2), а У2 является второй главной компонентой признаков Хи
Хр. Первые две главные компоненты объясняют 100 [V (Ух) + + V (К2)]/У процентов общей дисперсии. После того как получены Уъ Уд_1г <7 = 2, р, найдем переменную Уч =
р
= 2 а9/Ху, такую, чтобы величина
р р
V (Уя) -•¦= Е И а^а9у-о«7 1=1 /=1
р
достигла максимального значения при условии Е а2,,- = 1
У=1
и
р р
соч(Ут, У,,) = ? 1 а?/°Ча'/ 0 для т=1,...,<7—1.
1=1 /=1
В результате получим ад = (ая1, а?р)' — собственный вектор матрицы 2, соответствующий <7-му по величине собственному значению, которое равно дисперсии V (Уч). Таким образом, Уа будет <т-й главной компонентой и переменные Ух, Уч будут объяснять 1002^=1 V* (У[)/У процентов общей дисперсии.
Можно привести следующую геометрическую интерпретацию анализа главных компонент (см. рис. 5.6.1 для р = 2). Переменные Хъ Хр могут быть представлены координатными осями. Начало координат находится в точке ц = (и^, \лр)'. Таким образом, в р-мерном пространстве каждая реализация вектора х = (Хх, хр)' представляется точкой с координатами Хх = = Хх, Хр = Хр. В анализе главных компонент ищется такой поворот системы координат, чтобы переменная Ух, соответствующая одной из новых координатных осей, имела максимальную дисперсию, а переменная У2, соответствующая другой оси, была не коррелирована с Ух и имела бы при этом максимальную дисперсию. Аналогично переменная Уд, соответствующая новей координатной оси с ^-м номером, должна быть не коррелирована с Ул, У\, Уд-1 и иметь при этом максимальную дисперисю, д = 3, р. Пусть / (х) — функция плотности нормального распределения случайного вектора X = (Хь Хр)'\ тогда неравенство / (х) < с, где с — некоторая постоянная, определяет область
5.6. Анализ главных компонент
357
р-мерного пространства, называемую эллипсоидом концентрации. Можно показать, что главные компоненты имеют такое же направление, как и оси эллипсоида концентрации.
На рис. 5.6.1 переменные Хх и Х2 порождают двумерное пространство с центром в точке (р.!, р.2). Эллипсоидом концентрации здесь будет эллипс. Первая главная компонента Уг = а11Х1 +
'/'|./'г) /
Рис. 5.6.1. Главные компоненты для случая р = 2.
+ а12Х2 определяет направление большой оси эллипса, а вторая главная компонента У2 = а^Л^ + а22Х2 — малой оси.
Когда матрица 2 неизвестна, можно предположить, что имеется случайная выборка х?х1, х«х1, по которой 2 оценивается выборочной ковариационной матрицей 8. Для получения оценок главных компонент следует применить описанную выше процедуру к матрице 5. В результате получатся оценки а,/ коэффициентов аф I , } — 1, р. Оценкой <7-й главной компоненты
р
будет вектор Уч = ? ад,Х!, где а9 = (а?1, ачг)' есть
/=1
9-й собственный вектор матрицы д= 1, р. При геометрической интерпретации следует заменить р,1( р.р выборочными СреДНИМИ .... хр.
Замечания 5.6.1. 1. Если переменные Хх, Хр имеют совместное нормальное распределение, то главные компоненты взаимно независимы.
2. Для любых двух неравных собственных значений V (У^ и V (У/) соответствующие собственные векторы образуют прямой угол. Это свойство называется ортогональностью и выражается
358 Гл. 5. Методы многомерного статистического анализа
следующими соотношениями: Sm=iaima/m = 0, i, j — 1, р, i Ф j. Если же два собственных значения равны, то соответствующие собственные векторы можно выбрать так, что и они будут ортогональны. Таким образом, можно считать, что р главных компонент взаимно ортогональны.
3. Для получения главных компонент можно использовать вместо ковариационной матрицы корреляционную. Действительно, когда р переменных измеряются в различных единицах, не имеющих между собой ничего общего, линейные комбинации переменных бывает трудно интерпретировать. В этом случае может помочь стандартизация каждой переменной, т. е. замена Х( переменной
Z, (Xt — \x)oi или Z, = (Xt — x),sh i _-= 1,..., p,
поскольку величина Z, безразмерна. Далее следует провести анализ структуры зависимости переменных Zx, Zp, которая задается корреляционной матрицей переменных X,, ХР. Заметим, что при этом общая дисперсия V равняется числу переменных р. В общем случае главные компоненты, получаемые по корреляционной матрице, отличны от главных компонент ковариационной матрицы. На самом деле всякое линейное преобразование исходных переменных приводит к новым главным компонентам.
4. Корреляция между переменной Xt и главной компонентой Yf задается величиной ai; [У(Уу)]1/2/о;, где о, — стандартное отклонение переменной Xt. Следовательно, для сравнения вкладов переменных Хи Хр в Yj следует сравнить величины а;(/а,-, /= 1, р. Когда известна корреляционная матрица, достаточно сравнить коэффициенты а;[. В этом случае самый большой коэффициент показывает, какая переменная внесла наибольший вклад в /-ю главную компоненту.
