Научная литература
booksshare.net -> Добавить материал -> Математика -> Лоуcон Ч. -> "Численное решение задач метода наименьших квадратов" -> 55

Численное решение задач метода наименьших квадратов - Лоуcон Ч.

Лоуcон Ч., Хенсон P. Численное решение задач метода наименьших квадратов: учебное пособие. Под редакцией Тыртышникова Е.Е. — М.: Наука, 1986. — 232 c.
Скачать (прямая ссылка): louson_h_chisl_resh_zmnk.djvu
Предыдущая << 1 .. 49 50 51 52 53 54 < 55 > 56 57 58 59 60 61 .. 88 >> Следующая

В некоторых случаях имеется естественное упорядочение переменных; примером могут служить коэффициенты многочлена от одного неизвестного. В таких случаях очевидным образом получается последовательность решений: сначала берется только первая переменная, затем первая и вторая и т.д. Для задачи сглаживания посредством многочленов или отрезков ряда Фурье разработаны весьма специализированные алгоритмы (см., например, [55]).
Если нет естественного упорядочения переменных, то иногда рассматривают следующую задачу о выборе подмножества. Для каждого значения * = 1,..., и нужно найти подмножество Jk из А: индексов такое, что норма Рк невяэки, полученной при решении задачи только относительно к переменных Xj,i GJk, не превосходит значения, получаемого при выборе любого другого набора из к переменных. Обычно в задачу о выборе вводят еще допуск т на линейную независимость и сравнивают лишь такие множества из к индексов, что ассоциированные с ними матрицы удовлетворяют некоторому тесту на обусловленность, связанному с т (например, проверяют величины главных элементов).
Очевидно, что последовательность { р* } не возрастает с увеличением к. Поэтому можно установить границу р с таким расчетом, что процесс за-
149
канчивается, когда достигнуто значение к, для которого рк < Р- Другая возможность - остановить вычисления, когда значение р* - p*+i становится меньше назначенной границы, которая может зависеть от к. К такому тесту на окончание приводят статистические соображения, связанные с F-распределением (см., например, [144]).
Задача о выборе в том виде, как она сформулирована, требует изнурительной работы по перебору всех ^ ^ ^ комбинаций из к переменных. При
больших значениях ^ ^ ^ такой -подход становится чересчур дорогостоящим.
Были разработаны методы, использующие для определения оптимальных подмножеств J к частичное упорядочение подмножеств (по отношению включения); при этом не требуется явной проверки каждого подмножества. Изложение этих идей можно найти в работах [83, 113] ив упомянутых там работах. Предложение основать выбор подмножества на гребневой регрессии высказано в [99].
Альтернативным образом действий является компромисс, при котором рассматривают следующую, более ограниченную задачу. Вначале решают при к = 1 прежнюю задачу. Пусть J i — ее решение. После того как определено множество Jk, сравниваются в поиске предпочтительного множества из к + 1 переменных лишь множества вида U {/} , где / ф J к\ выбранное множество обозначается через Jk + j. Пусть последовательности найденных этим путем множеств Jk ,к = 1,..., л, соответствует последовательность норм невязок рк. Заметим, что Тк =Jk ирк=рк при к = 1 и к = п, но для 1 < к < л множество /*, вообще говоря, отличается от Jk, а рк > рк.
Алгоритм этого типа называют пошаговой регрессией (см. [151, с. 191— 203]). Вычисления можно организовать так, что выбор' новой переменной на шаге к будет лишь немногим сложнее, чем алгоритм выбора главного элемента, обычно используемый при решении системы линейных уравнений. Эту идею можно усовершенствовать, рассматривая на каждом шаге возможность удаления переменных, чей вклад в уменьшение невязки стал незначительным в результате введения новых переменных [151].
Основное математическое затруднение в пошаговой регрессии состоит в том, что величина вклада, вносимого отдельной переменной в уменьшение нормы невязки, в общем случае зависит от того, какие переменные включаются вместе с ней в решение. Эту трудность можно обойти, выполняя линейный переход к новым переменным, чьи индивидуальные воздействия на вектор невязки взаимно независимы. В статистической терминологии новые переменные не коррелированы. На алгебраическом языке этот переход равносилен замене матрицы а новой матрицей а- ас, у которой столбцы ортогональны. Имеется множество различных матриц С, реализующих такое преобразование, и, вообще говоря, различные матрицы порождают различные наборы некоррелированных переменных. Одной из трансформирующих матриц, имеющей вдобавок другие полезные свойства, является матрица v из сингулярного разложения a ~usvt матрицы а.
ISO
если, в частности, треоуется, чтооьт трансформирующая матрица С была ортогональна, то, чтобы А С имела ортогональные столбцы, С обязательно должна совпадать с матрицей V некоторого сингулярного разложения А.
Добавим, что числа tt — квадратные корни из диагональных элементов диагональной матрицы [(АС) Т(АС)\- имеют следующую статистическую интерпретацию: с точностью до общего множителя они совпадают со среднеквадратичными отклонениями новых переменных. При выборе С = = V эти числа tt становятся обратными к сингулярным числам матрицы А. Этот выбор минимизирует наименьшее иэ средне квадратичных отклонений, а также каждое из отклонений в предположении, что предыдущие переменные уже выбраны.
Обсуждение сингулярного разложения матрицы А будет продолжено в следующем параграфе.
§ 6. Сингулярный анализ ,
Пусть для матрицы А найдено сингулярное разложение (см. гл. 4,18)
S 1 т Ут.
A = U
Тогда можно вычислить вектор g=UTb
Предыдущая << 1 .. 49 50 51 52 53 54 < 55 > 56 57 58 59 60 61 .. 88 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed