Регрессия

- зависимость среднего значения какой-либо случайной величины от нек-рой другой величины или от нескольких величин. Если, например, при каждом значении х=xi наблюдается ni значений [img: http://localhost:8080/file/041873-4.jpg] случайной величины Y, то зависимость средних арифметических [img: http://localhost:8080/file/041873-5.jpg] этих значений от xi и является Р. в статистич. понимании этого термина. При обнаруженной закономерности изменения [img: http://localhost:8080/file/041873-6.jpg] с изменением хпредполагается, что в основе наблюдаемого явления лежит вероятностная зависимость: при каждом фиксированном значении хслучайная величина Y имеет определенное распределение вероятностей с математич. ожиданием, к-рое является функцией х: [img: http://localhost:8080/file/041873-7.jpg] Зависимость [img: http://localhost:8080/file/041873-8.jpg], где хиграет роль "независимой" переменной, наз. р е г р е с с и е й (или ф у н к ц ие й р е г р е с с и и) в вероятностном понимании этого термина. График функции т(х)наз. л и н и е й р ег р е с с и и, или к р и в о й р е г р е с с и и, величины Y по х. Переменная хназ. р е г р е с с и о н н о й п е р е м е н н о й, или р е г р е с с о р о м. Точность, с к-рой линия регрессии Yпо хпередает изменение Yв среднем при изменении х, измеряется дисперсией величины Y, вычисляемой для каждого значения х: [img: http://localhost:8080/file/041873-9.jpg] Графически зависимость дисперсии s2 (х)от хвыражается т. н. с к е д а с т и ч е с к о й л и н и е й. Если s2 (х)=0при всех значениях x, то с вероятностью 1 величины связаны строгой функциональной зависимостью. Если s2 (х)№0ни при каком значении хи т (х)не зависит от х, то регрессия Yпо хотсутствует.. В теории вероятностей задача Р. решается применительно к такой ситуации, когда значения регрессионной переменной х соответствуют значениям нек-рой случайной величины Xи предполагается известным совместное распределение вероятностей величин Xи Y(при этом математич. ожидание [img: http://localhost:8080/file/041873-10.jpg] и дисперсия [img: http://localhost:8080/file/041873-11.jpg] будут соответственно условным математич. ожиданием и условной дисперсией случайной величины Yпри фиксированном значении X=x). В этом случае определены две Р.: Y по х и X по у, и понятие Р. может быть использовано также для того, чтобы ввести нек-рые меры взаимосвязанности случайных величин X и Y, определяемые как характеристики степени концентрации распределения около линий Р. (см. Корреляция). Функции Р. обладают тем свойством, что среди всех действительных функций f(x)минимум математич. ожидания [img: http://localhost:8080/file/041873-12.jpg] достигается для функции f(x)= т (х), то есть регрессия Y по хдает наилучшее (в указанном смысле) представление величины Y. Наиболее важным является тот случай, когда регрессия Y по хл и н е й н а, т. е. [img: http://localhost:8080/file/041873-13.jpg] Коэффициенты b0 и b1, наз. коэффициентами Р., легко вычисляются: [img: http://localhost:8080/file/041873-14.jpg] (здесь r - корреляции коэффициент X и Y, [img: http://localhost:8080/file/041873-15.jpg], [img: http://localhost:8080/file/041873-16.jpg], и п р я м а я регрессии Y по х имеет вид [img: http://localhost:8080/file/041873-17.jpg] (аналогичным образом находится прямая регрессии Xпо у). Точная линейная Р. имеет место в случае, когда двумерное распределение величин Xи Y является нормальным. В условиях статистич. приложений, когда для точного определения Р. нет достаточных сведений о форме совместного распределения вероятностей, возникает задача приближенного нахождения Р. Решению этой задачи может служить выбор из всех функций g(x), принадлежащих заданному классу, такой функции, к-рая дает наилучшее представление величины Y в том смысле, что минимизирует математич. ожидание [img: http://localhost:8080/file/041873-18.jpg]. Найденная функция наз. с р е д н е й к в а д р а т и ч е с к о й Р. Простейшим будет случай л и н е й н о й с р е д н е й к в а д р а т и ч е с к о й Р., когда отыскивают наилучшую линейную аппроксимацию величины Y посредством величины X, т. е. такую линейную функцию [img: http://localhost:8080/file/041873-19.jpg], для к-рой выражение [img: http://localhost:8080/file/041873-20.jpg] принимает наименьшее возможное значение. Данная экстремальная задача имеет единственное решение [img: http://localhost:8080/file/041873-21.jpg] т. е. вычисление приближенной линии Р. приводит к тому же результату, к-рый получен в случае точной линейной Р.: [img: http://localhost:8080/file/041873-22.jpg] Минимальное значение [img: http://localhost:8080/file/041873-23.jpg] при вычисленных значениях параметров равно [img: http://localhost:8080/file/041873-24.jpg]. Если регрессия т(х)существует, то при любых b0 и b1 имеет место соотношение [img: http://localhost:8080/file/041873-25.jpg] откуда следует, что прямая средней квадратич. регрессии [img: http://localhost:8080/file/041873-26.jpg] дает наилучшее приближение к линии регрессии т(х), если измерять расстояние вдоль оси у. Поэтому если линия т(х)есть прямая, то она совпадает с прямой средней квадратической Р. В общем случае, когда Р. сильно отличается от линейной, можно поставить задачу нахождения многочлена [img: http://localhost:8080/file/041873-27.jpg] нек-рой степени т, для к-рого среднее значение [img: http://localhost:8080/file/041873-28.jpg] имеет возможно меньшее значение. Такое решение задачи соответствует п а р а б о л ич е с к о й (или п о л и н о м и а л ь н о й) средней квадратической Р. (см. Параболическая регрессия).порядка т. Кривая [img: http://localhost:8080/file/041873-29.jpg] есть парабола m-го порядка, дающая наилучшую аппроксимацию истинной линии Р. Обобщением параболической Р. служит функция Р., выраженная линейной комбинацией тех или иных заданных функций: [img: http://localhost:8080/file/041873-30.jpg] Наиболее важное значение имеет случай, когда j0 (х),...,jm (х) - ортогональные многочлены соответствующих порядков, построенные по распределению X. Другими примерами н е л и н е й н о й (к р и в о л ин е й н о й) Р. являются случаи тригонометрической Р., показательной Р., и т. п. Понятие Р. естественным образом обобщается на тот случай, когда вместо одной регрессионной переменной рассматривается нек-рое множество переменных. Если случайные величины X1 Х2,..., Х п имеют совместное распределение вероятностей, то множественная Р. определяется, напр., как регрессия X1 по x2,..., х п: [img: http://localhost:8080/file/041873-31.jpg] Соответствующее уравнение определяет поверхность регрессии Х 1 по х2,..., х n. Линейная регрессия Х 1 по х 2,..., х п имеет вид [img: http://localhost:8080/file/041873-32.jpg] где b2,..., bn- коэффициенты Р. (при [img: http://localhost:8080/file/041873-33.jpg]). Линейная средняя квадратическая Р. величины Х 1 по x2,..., х п определяется как наилучшая линейная оценка величины Х 1 величинами Х 2,..., Х п в смысле обращения в минимум выражения [img: http://localhost:8080/file/041873-34.jpg] Соответствующая п л о с к о с т ь Р. дает наилучшую аппроксимацию поверхности регрессии x1=m(x2,..., х п), если последняя существует. Если поверхность Р. есть плоскость, то она необходимо совпадает с плоскостью средней квадратической Р. (так будет в случае, когда совместное распределение всех пвеличин нормально). Простым примером регрессии Yпо Xявляется зависимость между Yи X, к-рая выражается соотношением [img: http://localhost:8080/file/041873-35.jpg], где [img: http://localhost:8080/file/041873-36.jpg], а случайные величины Xи dнезависимы. Это представление полезно, когда планируется эксперимент для изучения функциональной связи у=и (х)между неслучайными величинами уи х. Эта же модель Р. используется во многих приложениях при изучении характера зависимости случайной величины Yот неслучайной величины х. На практике выбор функции у=и (х)и оценку неизвестных коэффициентов Р. по экспериментальным данным производят методами регрессионного анализа.