Статистический анализ: Подход с использованием ЭВМ - Афифи А.
Скачать (прямая ссылка):
Е (** - *)2
1=1
(3.1.6)
148
Гл. 3. Регрессионный и корреляционный анализы
Заметим, что 5 есть мера ошибки, возникающей при аппроксимации выборки прямой. Оценки &? и минимизируют ошибку. Как следует из результатов разд. 4.1, эти оценки несмещены и имеют минимальную дисперсию среди вc^x_JieшeщeJBJ^ыx.QцeJШK-р0 и р\, линейно зависящих от""наблюдений уи у2, у,г.
Оценкой уравнения регрессии (или прямой наименьших квадратов) будет
0 = &„ + &!*, (3.1.7)
так что оценка значения У при X = хг есть у{ == Ь0 + ЬХХ1. Разница между наблюдаемым и оцененным значением У при X = х-ь называется отклонением (или остатком) &г — уг —
х
Рис. 3.1.5. Теоретическая регрессионная прямая наименьших квадратов с ука занным (-м отклонением di = yt — ус. Прямая наименьших квадратов доставляет минимум S. Пунктирная линия — прямая наименьших квадратов у — = Ь0 4- Ьхх, сплошная линия — неизвестная теоретическая прямая у = р"о 4" + pi*.
f Прямая наименьших -квадратов доставляем минимум^ сумме квад-ратов отклонений S = ? d?. Соотношение между теоретической
; регрессионной прямой, прямой наименьших квадратов и точками выборки можно увидеть на рис. 3.1.5.
Во многих ПСП имеются программы простой линейной регрессии, которые вычисляют оценки наименьших квадратов Ь0 и Ьг по выборке. На выходе этих программ оценка Ьх обычно называется коэффициентом регрессии, а оценка Ь0 — свободным членом уравнения регрессии.
Пример 3.1.1 (продолжение). Для этого примера определялась регрессия У по X, где У — концентрация молочной кислоты,
3.1. Лниейиая регрессия и корреляционный анализ
149
измеренная прибором, а X — известная концентрация молочной кислоты. Программой регрессионного анализа были вычислены оценки ?0 и ?x по п = 20 наблюдениям, что дало Ь0 = 0.159 и Ьг = 1.227. Таким образом, прямая наименьших квадратов есть д = 0.159 + 1.227*. Если X = 1, то у = 1.39, если же X = 10, то # = 12.43. Эта прямая графически представлена на рис. 3.1.1. Для практических целей желательно предсказать истинную концентрацию X по наблюдаемой концентрации У. Для этого нужно обратить оценку регрессионного уравнения, что дает для оценки X по У уравнение х = (у — 0.159)/1.227.
Замечания 3.1.2. 1. Эти оценки могут быть также получены с помощью программ множественной линейной регрессии, для чего на управляющей карте число переменных р задается равным 2. Такие программы обсуждаются в разд. 3.2.
2. Можно интерпретировать предсказанное значение $ двумя способами. При первом способе исследователь заинтересован в оценивании значения У для индивидуума, у которого X принимает значение х. В этой ситуации # есть наилучшая оценка единственного значения У, соответствующего X = х. При втором подходе исследователь делает выводы о среднем значении У" для подпопуля-ции, соответствующей значению X = х. Тогда та же самая оценка Q будет наилучшей оценкой среднего значения У при X = х. Различие между этими двумя способами интерпретации важно, когда строятся доверительные интервалы (см. разд. 3.1.2).
3. Можно «центрировать» модель регрессии, записав
Ус = ?o + ?ia\- + et, i = 1, . . ., n,
где
Wt = Xi — X И ?o = ?o + ?l*-
В этом случае оценкой наименьших квадратов для ?x остается Ьъ но оценкой наименьших квадратов для ?,, будет теперь Ь'0 = у. Практическое и теоретическое преимущество такого представления состоит в том, что оценки у и bL некоррелированны.
4. Если известно, что ?0 = 0, то можно использовать модель вида yt = ?jQ + eh i = 1, п. В программах многих ПСП предусмотрена возможность принудительного проведения линии регрессии через начало координат.
3.1.2. Доверительные интервалы и проверка гипотез
Чтобы сделать статистические выводы о ?0,Jb. и.Р., .сначала необходимо оценить дисперсик) ст2,.а затем описать распределение ошибки случайной переменной""^, i = 1, п. Согласно теории об-
150
Гл. 3. Регрессионный и корреляционный анализы
щей линейной модели, обычная несмещенная оценка для ог определяется через дисперсию оценки
п
? {У1 _ Ьо - 6Л)»
.¦_1
Положительный квадратный корень из этой величины называют стандартной ошибкой оценки. Обе эти величины, как правило, печатаются в выходных данных. Дисперсию оценки можно также найти из таблицы дисперсионного анализа, которая во многих случаях выводится на печать (см. табл. З.1.1.). Величина^ идентична
Таблица 3.1.1
Таблица дисперсионного анализа для простой линейной регрессии
Источник дисперсии Сумма квадрато] 1 Степени свободы Средний квадрат /•"-отношение
Регрессия SSD = S «' 1=1 VD= 1 MSD = SSD F MSD 0_MSr
Отклонение от регрессии SSr = S tot »=1 - Ms vr = п — 2 MSr = s- — SSr
Полная SSt п = S (л 1=1 -#>а VT = п — 1 V
MSR — среднему квадрату отклонения (остатка) от регрессии. Остаточная сумма квадратов SSR и остаточное число степеней свободы vR являются соответственно числителем и знаменателем •в формуле Q.1.8).. Обусловленная регрессией сумма квадратов SSD получила такое название потому, что ее можно записать как функцию оцененного коэффициента регрессии blt именно
п
" Т SSd = b\ J] (x{ — x)2. (3.1.9)
