Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
Неизвестными являются п средних значений pLlt . . ., р.п и дисперсия о-2. Правдоподобные значения для fi,-, конечно, снова равны арифметическим среди им
1
h>i = g (®; + Уд-
Пели все /а,- подставить в (8), то получим
~ 1-----— (Xi—щ)1
(2 л)" g(.r„ г//|сг, = -2- е *•>'
Вычисляя логарифмическую производную последнего выражения, найдем, что функция правдоподобия достигает максимума в точке о-2 = о-2, где
? (*( - Уд2- (»)
Ап ^
1 Если ? — смещенная оценка параметра t>, причем —<Sfl)2—-Он (8 о — e)2/g(e — 6 ё)2 — о (п —> оо), то й называют асимптотически несмещенной оцен кой для t>. В данном случае tr2= (1 —1/и) о-2 и ?(сг3 — о о-2)2 = = 2сг* (п — 1 )/и2, поэтому сг2 — асимптотически несмещенная оценка для сг2. — Прим. перев.
188
Г л. VIII. Оценки неизвестных параметров
Математическое ожидание а¦* равно
- вдвое меньше о-2. Следовательно, в этом случае метод наибольшего правдоподобия дает оценку для о-2 с постоянным отрицательным смещением —о-2/2.
В качестве несмещенной оценки следовало бы выбрать
При всех г разность х;— г// распределена нормально с нулевым средним значением и дисперсией 2о-2, поэтому математическое ожидание У'Хх;—у;)2 равно 2па-2.
Оценка (10) является состоятельной. Позднее мы докажем, что среди всех несмещенных оценок в2 обладает наименьшей дисперсией.
Из этих примеров мы видим, что в некоторых случаях метод наибольшего правдоподобия дает хорошие несмещенные оценки, в других случаях — по крайней мере состоятельные оценки, но имеется и третий класс случаев, когда этот метод не приводит ни к каким хорошим результатам.
Возникает вопрос, в каких случаях метод наибольшего правдоподобия хорош и в каких случаях плох? На этот вопрос едва ли можно найти исчерпывающий ответ. Можно сказать лишь следующее. Если имеется много независимых наблюдений xlt ..., хп и лишь один неизвестный параметр или лишь ограниченное число параметров Cj,. . а функции распределения удовлетворяют определенным условиям регулярности, то метод наибольшего правдоподобия оказывается хорошим и становится все лучше и лучше с возрастанием п. Но если п невелико или если г возрастает одновременно с п (как это было в нашем последнем примере), то на метод наибольшего правдоподобия полагаться нельзя. Для этих случаев имеются другие методы, позволяющие находить наилучшую несмещенную оценку. С одним из таких методов мы познакомимся в § 41.
Но прежде мы несколько полнее изучим метод наибольшего правдоподобия. При этом сначала будем предполагать, что имеется лишь один неизвестный параметр 0.
При практическом отыскании оценок метсдсм наибольшего правдоподобия прежде всего требуется найти решение уравнения правдоподобия:
(10)
§ 36. Вычисление максимума
Ь’(х | 6) = 0,
(1)
§ 36. Вычисление максимума
189
где L'(x | fl) — логарифмическая производная функции правдоподобия д(х | А) по А. Поэтому
Пусть С — оценка наибольшего правдоподобия, удовлетворяющая условию (1), — неизвестнее истиннее значение параметра
&оУ — математическое ожидание случайней величины у с плотностью вероятности g(t [ t)0) и Q#y — математическое ожидание случайной величины у с плотностью вероятности g(t | й). Штрих всегда будет обозначать дифференцирование по А.
Сначала предположим, что х1г. . ., хп — независимые наблюдения, имеющие одинаковую плотность вероятности f(x | €), зависящую от параметра й. В этом случае
где <р = /'// — логарифмическая производная функции /.
В отдельных случаях удается найти решение уравнения (1) элементарными средствами; с такими случаями мы познакомимся в § 35. В большинстве же случаев, однако, (1) представляет собой сложное алгебраическое или трансцендентное уравнение, которое можно решить методом последовательных приближений.
Простейший вариант этого метода заключается в следующем. Сначала выбирают какое-либо приближенное значение ^ и вычисляют L'(x | Cj) как сумму логарифмических произЕОДных, относящихся к отдельным наблюдениям хк:
по методу Ньютона. С этой целью L'(x \ fl2) разлагают по формуле Тэйлора до членов первого порядка включительно:
д(х | в) = /(*! | в). . . f(xn ] в),
следовательно,
Ь'{х \0) = 2 <Р(хк I ®)>
(2)
L'(x ]$!)=? Фк I ei)-Далее, стараются найти улучшенное приближение
?l2 = + h
(3)
(4)
L'{x | Иг) ~ L'(x \ Сг) -f h L"(x | t\).
Приравнивая это выражение нулю, получают , Щх\^)
-L"(xIt),) ’
190
Гл. VIII. Оценки неизвестных параметров
Сумма в правой части (6) равна арифметическому среднему
F.cex <р', умноженному на п. Если арифметическое среднее заменить соответствующим математическим ожиданием, то можно добиться большого упрощения вычислений. Это математическое ожидание задается формулой
