Численное решение задач метода наименьших квадратов - Лоуcон Ч.
Скачать (прямая ссылка):
10";
1
10"2 10"4
Рис. 26.2. Нормы невязок и нормы решений для ряда значений параметра стабилизации \ в методе Левенберга -Марквардта
Рис. 26.3. Компоненты решении и норма невязки как функции от X. ^
о-4
х о
Ч?
-8
0,1
о 0,01
0,001
-, | , .
-
I 1
10"8 W"
1000
1(Г4 10-г 1 0,1 1 10 100
А Норна решения
Рис. 264. Те же данные, что и на рис. 26.3, при уменьшенном масштабе по вертикальной оси
Рис. 26-5. Пробные решения полученные в сингулярном анализе, в сопоставлении с континуумом решений Левенберга-Марквардта
так как ||х(3) II < ||х*4* II, а норма невязки, соответствующей х^', лишь незначительно меньше нормы невязки для .
Хотя все четыре метода выбора предпочтительного решения дс**^ привели нас к одному и тому же вектору х *3*, так будет не для любых исходных данных. Пользователь должен решить, какой из этих критериев (а возможно, и какой-то иной) наиболее подходит для его задачи.
Интересно сравнить эти результаты с результатами, которые дают для той же задачи другие методы стабилизации решений. Анализ Левенберга-Марквардта (гл. 25, § 4) приводит к континууму пробных решений. На рис. 26.1 показана информация, нужная для применения метода
157
леиениер-! И—МЛрквардта. с ее помощью можно вычертить график (рис. 26.2), демонстрирующий зависимость между RNORM и YNORM. Согласно теореме 25.49, зта кривая будет на плоскости переменных (YNORM - RNORM) граничной линией для области, соответствующей нашей задаче: для любого вектора у точка с координатами (\\у ||, \\b-Ay ||) лежит на кривой или выше ее.
Более детальную информацию дает вычисление в соответствии с (25.46), (25.38) и (25.35) и составление графиков отдельных компонент решения как функций от X. Рис. 26.3, 26.4 показывают такие графики для данного примера. Этот тип графиков подробно обсуждается в [99].
На рис. 26.5 дано сопоставление норм решений и невязок для пяти пробных решений, полученных методом сингулярного анализа, с соответствующими данными для континуума решений Левенберга-Марквардта.
К этому же примеру мы применили алгоритм HFTI. Величины диагональных элементов треугольной матрицы R, к которой трансформируется матрица А, равны 0,52, 0,71-Ю-1, 0,91 • 10"1, 0,14 • 10"\ 0,20-10_6. Интересно отметить, что эти значения отличаются от соответствующих син-
Та блица 26.2
Нормы решений и иевяэок метода HFTI для иллюстративной задачи
к И,«1 lift - А:(к) II * Пг(*>11 lift - А:<к)\\
1 0,99719 0,216865 4 4,92951 0,000139
2 2,24495 0.039281 5 220,89008 0,000138
3 4,58680 0,000139
Таблица 26.3
Нормы решений и иевяэок при использовании подмножеств столбцов
Опорные столбцы 11 w || II ft - Aw\\ Опорные столбцы 11 w II II ft - Aw||
1 2,46 0,40 1,2,4 . 10,8 0,00018
2 1,92 0,22 1.2,5 " 5.0 " 0,00014
3 2,42 0,07 ' 1, 3,4 8,1 0,00015
4 2,09 0,19 1,3,5 , 5,0 0,00014
5 2,30 0,19 4,9 , ( 0,00014
1,2 ' - 5,09 0,039 2, 3,4 13,5 0,00020
1,3 2,72 0,052 , 2,3,5 . 7,6 >¦ 0,00014
1,4 ' 4,53 0,023 2,4,5 24,0 0,00028
1, 5 5,07 0,001 3, 4,5 17,3 0,00017
2, 3 3,03 > b 0,053 1, 2, 3, 4 10,3 1 0,00014
2, 4 * * 20,27 f * 0,030 ; 1, 2, 3, 5 r 5,0 »f 0,00014
2,5 17,06 * 0,128 iX 1,2,4,5 ¦ ¦: 5,0 v 0,00014
3,4 % 3,07 0,056 1,3, 4,5 ' 5,0 .| 0,00014
3,5 fir 2,97 0,058 af 2, 3, 4. 5 9,0 ! 0,00014
4,5 17,05 0,175 , 1.2, 3, 4,5 220,9 0,00014
1,2,3 22,1 0,00018
158
ftjIBOl
Решения, опирающиеся на
2 столбца
Решбния.опи-рающився на 3 столбца
10
100 1000
Решения,1 опираю- Рвшения,ол» Зразе Щмвся на4столбца ?a|Pjjj?Jjg*0|
0,00011_^^"Q , ° .
Ьй 1 55100 1000
Норма решения
Рис. 26.6. Решения, опирающиеся на подмножества столбцов Л
гулярных чисел множителями, не превосходящими 2. Из теоремы 6.31 известно, что сингулярные числа s< н диагональные элементы Гц должны удовлетворять соотношениям
1,00 <s,/г,, <2,24, 0,58<j2/r22 <2,00, 0,33 <5з/гЭз< 1,73, 0,18<s4/r44 < 1,41, 0,09 <s5/r5 5 < 1,00.
Для допуска г, определяющего псевдоранг матрицы, были последовательно установлены значения 0,29, 0,040, 0,0046, 0,0000073, 0,0. Подпрограмма HFT1 вычислила пять различных решений (которые мы обозначим
через г отвечающих значениям псевдоранга А: = 1, 2, 3, 4, 5. Нормы решений и невязок для этих пяти векторов приведены в табл. 26.2.
Отметим, что данные табл. 26.2 весьма сходны с соответствующими данными рис. 26.1 (в столбцах с шапками "YNORM" и " RNORM") для пробных решений, полученных в сингулярном анализе.
В качестве еще одного способа анализа этой задачи были вычислены решения, опирающиеся на каждое из 31 непустых подмножеств, составленных из пяти столбцов матрицы А. Нормы решений и невязок для всех этих 31 решений приведены в табл. 26.3 и показаны на рис. 26.6.
159
Обозначим через »И • решение, опирающееся на столбцы /,/, ...
Из рнс. 26.6 видно, что простейшая форма пошаговой регрессии определит вектор мД3) как предпочтительное решение среди тех, что опираются только на один столбец. Далее будут рассмотрены решения w^1'3', w^2,3\ уИ3,4\ »И3,5). Среди этих четырех векторов будет выбран и>(|>3) как дающий наименьшую норму невязки. Заметим, что зта норма в 52 раза больше, чем та, что соответствует вектору »И1,5), Очевидно, что этот последний вектор дает минимум невязки среди всех решений, опирающихся на два столбца. На следующем этапе простая пошаговая регрессия выберет
