Наименьших квадратов метод

- один из методов ошибок теории для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Н. к. м. применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Н. к. м. предложен К. Гауссом (С. Gauss, 1794-95) и А. Лежандром (A. Legendre, 1805-06). Строгое обоснование и установление границ содержательной применимости Н. к. м. даны А. А. Марковым и А. Н. Колмогоровым. В простейшем случае линейных связей (см. ниже) и наблюдений, не содержащих систематич. ошибок, а подверженных лишь случайным ошибкам, оценки неизвестных величин, полученные с помощью Н. к. м., являются линейными функциями от наблюденных значений. Эти оценки не имеют систематич. ошибок, т. е. являются несмещенными (см. Несмещенная оценка). Если случайные ошибки наблюдений независимы и подчиняются нормальному распределению, то Н. к. м. дает оценки неизвестных с наименьшей дисперсией, т. е. эти оценки являются эффективными (см. Статистическое оценивание). В этом смысле Н. к. м. является наилучшим среди всех остальных методов, позволяющих находить несмещенные оценки. Однако если распределение случайных ошибок существенно отличается от нормального, то Н. к. м. может и не быть наилучшим. При обосновании Н. к. м. (по Гауссу) предполагается, что "убыток" от замены точного (неизвестного) значения нек-рой величины [img: http://localhost:8080/file/031502-343.jpg] ее приближенным значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки [img: http://localhost:8080/file/031502-344.jpg] оптимальной оценкой считается такая лишенная систематич. ошибки величина X, для к-рой среднее значение [img: http://localhost:8080/file/031502-345.jpg] "убытка" минимально. Именно это требование и составляет основу Н. к. м. В общем случае отыскание оптимальной в смысле Н. к. м. оценки X - задача весьма сложная, поэтому практически эту задачу сужают и в качестве Xвыбирают линейную функцию от результатов наблюдений, лишенную систематич. ошибки, и такую, для к-рой среднее значение убытка минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина mзависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н. к. м.), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Xтакже подчиняется нормальному распределению со средним значением [img: http://localhost:8080/file/031502-346.jpg] и, следовательно, плотность вероятности случайной величины X [img: http://localhost:8080/file/031502-347.jpg] достигает максимума в точке [img: http://localhost:8080/file/031502-348.jpg] (это свойство и выражает точное содержание распространенного в теории ошибок утверждения: "оценка X, вычисленная согласно Н. к. м.,- наиболее вероятное значение неизвестного параметра [img: http://localhost:8080/file/031502-349.jpg] "). Случай одного неизвестного. Пусть для оценки значения неизвестной величины [img: http://localhost:8080/file/031502-350.jpg] произведено пнезависимых наблюдений, давших результаты [img: http://localhost:8080/file/031502-351.jpg] [img: http://localhost:8080/file/031502-352.jpg] - случайные ошибки (по определению, принятому в классич. теории ошибок, случайные ошибки - независимые случайные величины с нулевым математич. ожиданием: [img: http://localhost:8080/file/031502-353.jpg] [img: http://localhost:8080/file/031502-354.jpg]; если же [img: http://localhost:8080/file/031502-355.jpg] наз. систематическими ошибками). Согласно Н. к. м. в качестве оценки величины m. принимают такое X, для к-рого будет наименьшей сумма квадратов (отсюда и само название метода): [img: http://localhost:8080/file/031502-356.jpg] где [img: http://localhost:8080/file/031502-357.jpg] (коэффициент k>0 можно выбирать произвольно). Величину [img: http://localhost:8080/file/031502-358.jpg] наз. весом, а [img: http://localhost:8080/file/031502-359.jpg] -квадратичным отклонением измерения с номером [img: http://localhost:8080/file/031502-360.jpg]. В частности, если все измерения равноточны, то [img: http://localhost:8080/file/031502-361.jpg] и в этом случае можно положить [img: http://localhost:8080/file/031502-362.jpg] если же каждое [img: http://localhost:8080/file/031502-363.jpg] - арифметич. среднее из [img: http://localhost:8080/file/031502-364.jpg] равноточных измерений, то полагают [img: http://localhost:8080/file/031502-365.jpg] Сумма [img: http://localhost:8080/file/031502-366.jpg] будет наименьшей, если в качестве Xвыбрать взвешенное среднее: [img: http://localhost:8080/file/031502-367.jpg] Оценка [img: http://localhost:8080/file/031502-368.jpg] величины [img: http://localhost:8080/file/031502-369.jpg] лишена систематич. ошибки, имеет вес Ри дисперсию [img: http://localhost:8080/file/031502-370.jpg]. В частности, если все измерения равноточны, то Y - арифметич. среднее результатов измерений: [img: http://localhost:8080/file/031502-371.jpg] При нек-рых общих предположениях можно показать, что если количество наблюдений пдостаточно велико, то распределение оценки У мало отличается от нормального с математич. ожиданием m и дисперсией [img: http://localhost:8080/file/031502-372.jpg].В этом случае абсолютная погрешность приближенного равенства [img: http://localhost:8080/file/031502-373.jpg] меньше [img: http://localhost:8080/file/031502-374.jpg] с вероятностью, близкой к значению интеграла [img: http://localhost:8080/file/031502-375.jpg] (напр., [img: http://localhost:8080/file/031502-376.jpg]). Если веса измерений [img: http://localhost:8080/file/031502-377.jpg] заданы, а множитель кдо наблюдений остается неопределенным, то этот множитель и дисперсия оценки [img: http://localhost:8080/file/031502-378.jpg] могут быть оценены по формулам: [img: http://localhost:8080/file/031502-379.jpg] и [img: http://localhost:8080/file/031502-380.jpg] (обе оценки лишены систематич. ошибок). В том практически важном случае, когда ошибки [img: http://localhost:8080/file/031502-381.jpg] подчиняются нормальному распределению, можно найти точное значение вероятности, с к-рой абсолютная погрешность приближенного равенства [img: http://localhost:8080/file/031502-382.jpg] окажется меньше [img: http://localhost:8080/file/031502-383.jpg] (t- произвольное положительное число): [img: http://localhost:8080/file/031502-384.jpg] где постоянная [img: http://localhost:8080/file/031502-385.jpg] выбрана таким образом, чтобы выполнялось условие [img: http://localhost:8080/file/031502-386.jpg] (Стьюдента распре деление с п-1 степенями свободы). При больших пформулу (2) можно заменить формулой (1). Однако применение формулы (1) при небольших ппривело бы к грубым ошибкам. Так, напр., согласно (1) значению I= 0,99 соответствует t=2,58; истинные значения t, определяемые при малых пкак решения соответствующих уравнений [img: http://localhost:8080/file/031502-387.jpg] приведены в таблице: [img: http://localhost:8080/file/031502-388.jpg] Пример. Для определения массы нек-рого тела произведено 10 независимых равноточных взвешиваний, давших результаты Yi (в г): [img: http://localhost:8080/file/031502-389.jpg] (здесь ni - число случаев, в к-рых наблюдалась масса [img: http://localhost:8080/file/031502-390.jpg]). Так как все взвешивания равноточные, то следует положить [img: http://localhost:8080/file/031502-391.jpg] и в качестве оценки для неизвестного веса [img: http://localhost:8080/file/031502-392.jpg] выбрать величину [img: http://localhost:8080/file/031502-393.jpg] [img: http://localhost:8080/file/031502-394.jpg]. Задавая, напр., [img: http://localhost:8080/file/031502-395.jpg] по таблицам распределения Стьюдента с девятью степенями свободы можно найти, что [img: http://localhost:8080/file/031502-396.jpg] и поэтому в качестве предельной абсолютной погрешности приближенного равенства [img: http://localhost:8080/file/031502-397.jpg] следует принять величину [img: http://localhost:8080/file/031502-398.jpg] Таким образом, [img: http://localhost:8080/file/031502-399.jpg] Случай нескольких неизвестных (линейные связи). Пусть презультатов измерений [img: http://localhost:8080/file/031502-400.jpg] связаны с тнеизвестными величинами [img: http://localhost:8080/file/031502-401.jpg] независимыми линейными соотношениями [img: http://localhost:8080/file/031502-402.jpg] где [img: http://localhost:8080/file/031502-403.jpg] - известные коэффициенты, а [img: http://localhost:8080/file/031502-404.jpg] - независимые случайные ошибки измерений. Требуется оценить неизвестные величины [img: http://localhost:8080/file/031502-405.jpg] (эту задачу можно рассматривать как обобщение предыдущей, в к-рой [img: http://localhost:8080/file/031502-406.jpg] Так как [img: http://localhost:8080/file/031502-407.jpg] то средние значения результатов измерений [img: http://localhost:8080/file/031502-408.jpg] связаны с неизвестными величинами [img: http://localhost:8080/file/031502-409.jpg] линейными уравнениями (линейные связи): [img: http://localhost:8080/file/031502-410.jpg] Следовательно, искомые величины [img: http://localhost:8080/file/031502-411.jpg] представляют собой решение системы (4), уравнения к-рой предполагаются совместными. Точные значения измеряемых величин [img: http://localhost:8080/file/031502-412.jpg] и случайные ошибки [img: http://localhost:8080/file/031502-413.jpg] обычно неизвестны, поэтому вместо систем (3) и (4) принято записывать так наз. условные уравнения [img: http://localhost:8080/file/031502-414.jpg] Согласно Н. к. м. в качестве оценок для неизвестных [img: http://localhost:8080/file/031502-415.jpg] применяют такие величины [img: http://localhost:8080/file/031502-416.jpg], для к-рых сумма квадратов отклонений [img: http://localhost:8080/file/031502-417.jpg] будет наименьшей (как и в предыдущем случае, [img: http://localhost:8080/file/031502-418.jpg] - вес измерения, [img: http://localhost:8080/file/031502-419.jpg] - величина, обратно пропорциональная дисперсии случайной ошибки [img: http://localhost:8080/file/031502-420.jpg]). Условные уравнения, как правило, несовместны, т. с. при любых значениях [img: http://localhost:8080/file/031502-421.jpg] разности [img: http://localhost:8080/file/031502-422.jpg] не могут, вообще говоря, все обратиться в нуль. Н. к. м. предписывает в качестве оценок выбрать такие значения [img: http://localhost:8080/file/031502-423.jpg], к-рые минимизируют сумму S. В тех исключительных случаях, когда условные уравнения совместны и, значит, обладают решением, это решение совпадает с оценками, полученными согласно Н. к. м. Сумма квадратов Sпредставляет собой квадратичный многочлен относительно переменных [img: http://localhost:8080/file/031502-424.jpg]; этот многочлен достигает минимума при таких значениях [img: http://localhost:8080/file/031502-425.jpg] [img: http://localhost:8080/file/031502-426.jpg] при к-рых обращаются в нуль все первые частные производные: [img: http://localhost:8080/file/031502-427.jpg] Отсюда следует, что оценки [img: http://localhost:8080/file/031502-428.jpg], полученные согласно Н. к. м., должны удовлетворять системе т. н. нормальных уравнений, к-рая в обозначениях, предложенных К. Гауссом, имеет вид [img: http://localhost:8080/file/031502-429.jpg] где [img: http://localhost:8080/file/031502-430.jpg] и [img: http://localhost:8080/file/031502-431.jpg] Оценки, получающиеся в результате решения системы нормальных уравнений, лишены систематич. ошибок [img: http://localhost:8080/file/031502-432.jpg] дисперсии [img: http://localhost:8080/file/031502-433.jpg] величин [img: http://localhost:8080/file/031502-434.jpg] равны [img: http://localhost:8080/file/031502-435.jpg] где d- определитель системы (5), а [img: http://localhost:8080/file/031502-436.jpg] - минор, соответствующий диагональному элементу [img: http://localhost:8080/file/031502-437.jpg] (иными словами, [img: http://localhost:8080/file/031502-438.jpg] - вес оценки [img: http://localhost:8080/file/031502-439.jpg]). Если множитель пропорциональности (кназ. дисперсией на единицу веса) заранее неизвестен, то для его оценки, а также для оценки дисперсии [img: http://localhost:8080/file/031502-440.jpg] служат формулы [img: http://localhost:8080/file/031502-441.jpg] (S- минимальное значение исходной суммы квадратов). При нек-рых общих предположениях можно показать, что если количество наблюдений пдостаточно велико, то абсолютная погрешность приближенного равенства [img: http://localhost:8080/file/031502-442.jpg] меньше [img: http://localhost:8080/file/031502-443.jpg] с вероятностью, близкой к значению интеграла (1). Если случайные ошибки наблюдений [img: http://localhost:8080/file/031502-444.jpg] подчиняются нормальному распределению, то все отношения [img: http://localhost:8080/file/031502-445.jpg] распределены по закону Стьюдента с п-то степенями свободы (точная оценка абсолютной погрешности приближенного равенства производится здесь с помощью интеграла (2) так же, как в случае одного неизвестного). Кроме того, минимальное значение суммы Sв вероятностном смысле не зависит от [img: http://localhost:8080/file/031502-446.jpg] и потому приближенные значения дисперсий оценок [img: http://localhost:8080/file/031502-447.jpg] не зависят от самих оценок [img: http://localhost:8080/file/031502-448.jpg] Один из наиболее типичных случаев применения Н. к. м.- "выравнивание" таких результатов наблюдений [img: http://localhost:8080/file/031502-449.jpg], для к-рых в уравнениях (3) [img: http://localhost:8080/file/031502-450.jpg] где [img: http://localhost:8080/file/031502-451.jpg] - известные функции нек-рого параметра t(если t- время, то [img: http://localhost:8080/file/031502-452.jpg] - те моменты времени, в к-рые производились наблюдения). Особенно часто встречается в приложениях случай т. н. параболической интерполяции, когда [img: http://localhost:8080/file/031502-453.jpg] - многочлены (напр., [img: http://localhost:8080/file/031502-454.jpg]); если [img: http://localhost:8080/file/031502-455.jpg] [img: http://localhost:8080/file/031502-456.jpg] а наблюдения равноточные, то для вычисления оценок [img: http://localhost:8080/file/031502-457.jpg] можно воспользоваться таблицами ортогональных многочленов. Другой важный для приложений случай - т. н. гармоническая интерполяция, когда в качестве [img: http://localhost:8080/file/031502-458.jpg] выбирают три-гонометрич. функции (напр., [img: http://localhost:8080/file/031502-459.jpg] [img: http://localhost:8080/file/031502-460.jpg]). Пример. Для оценки точности одного из методов химич. анализа этим методом определялась концентрация СаО в десяти эталонных пробах заранее известного состава. Результаты наблюдений указаны в таблице (г - номер эксперимента, t;- истинная концентрация СаО, [img: http://localhost:8080/file/031502-461.jpg] - концентрация СаО, определенная в результате химич. анализа, [img: http://localhost:8080/file/031502-462.jpg] - ошибка химич. анализа): [img: http://localhost:8080/file/031502-463.jpg] Если результаты химич. анализа не имеют систематич. ошибок, то [img: http://localhost:8080/file/031502-464.jpg] Если же такие ошибки имеются, то в первом приближении их можно представить в виде: [img: http://localhost:8080/file/031502-465.jpg] ([img: http://localhost:8080/file/031502-466.jpg] наз. постоянной ошибкой, а [img: http://localhost:8080/file/031502-467.jpg] - методической ошибкой) или, что то же самое, [img: http://localhost:8080/file/031502-468.jpg] где [img: http://localhost:8080/file/031502-469.jpg] Для отыскания оценок [img: http://localhost:8080/file/031502-470.jpg] и [img: http://localhost:8080/file/031502-471.jpg] достаточно оценить величины [img: http://localhost:8080/file/031502-472.jpg] и [img: http://localhost:8080/file/031502-473.jpg]. Условные уравнения в данном случае имеют вид [img: http://localhost:8080/file/031502-474.jpg] поэтому [img: http://localhost:8080/file/031502-475.jpg] (согласно предположению о равноточности наблюдений все [img: http://localhost:8080/file/031502-476.jpg]). Так как [img: http://localhost:8080/file/031502-477.jpg] [img: http://localhost:8080/file/031502-478.jpg] то система нормальных уравнений записывается особенно просто: [img: http://localhost:8080/file/031502-479.jpg] где [img: http://localhost:8080/file/031502-480.jpg] Дисперсии компонент решения этой системы суть [img: http://localhost:8080/file/031502-481.jpg] где k - неизвестная дисперсия на единицу веса (в данном случае k- дисперсия любой из величин [img: http://localhost:8080/file/031502-482.jpg]). Так как в этом примере компоненты решения принимают значения Х 1= -0,35, и Х 2= - 0,00524, то [img: http://localhost:8080/file/031502-483.jpg] Если случайные ошибки наблюдений подчиняются нормальному распределению, то отношения [img: http://localhost:8080/file/031502-484.jpg] j= 1, 2, распределены по закону Стьюдента. В частности, если результаты наблюдений лишены систематич. ошибок, то [img: http://localhost:8080/file/031502-485.jpg], и, значит, закону Стьюдента должны подчиняться отношения [img: http://localhost:8080/file/031502-486.jpg] и [img: http://localhost:8080/file/031502-487.jpg]. С помощью таблиц распределения Стьюдента с п-m=8 степенями свободы можно убедиться, что если действительно х 1=х 2=0, то с вероятностью 0,999 каждое из этих отношений не должно превосходить 5,04 и с вероятностью 0,95 не должно превосходить 2,31. В данном случае [img: http://localhost:8080/file/031502-488.jpg] поэтому гипотезу отсутствия систематич. ошибок целесообразно отвергнуть; в то же время следует признать, что гипотеза об отсутствии ме-тодич. ошибки ([img: http://localhost:8080/file/031502-489.jpg]) не противоречит результатам наблюдений, т. к. [img: http://localhost:8080/file/031502-490.jpg]. Таким образом, можно заключить, что для определения tпо результату наблюдения Тцелесообразно пользоваться приближенной формулой [img: http://localhost:8080/file/031502-491.jpg] Случай нескольких неизвестных (нелинейные связи). Пусть презультатов измерений [img: http://localhost:8080/file/031502-492.jpg] связаны с mнеизвестными [img: http://localhost:8080/file/031502-493.jpg] функциональной зависимостью [img: http://localhost:8080/file/031502-494.jpg] [img: http://localhost:8080/file/031502-495.jpg] где [img: http://localhost:8080/file/031502-496.jpg] - независимые случайные ошибки, а функции [img: http://localhost:8080/file/031502-497.jpg] (в общем случае нелинейные) дифференцируемы. Согласно Н. к. м. в качестве оценок для xj принимают такие величины [img: http://localhost:8080/file/031502-498.jpg], для к-рых сумма квадратов [img: http://localhost:8080/file/031502-499.jpg] будет наименьшей. Так как функции [img: http://localhost:8080/file/031502-500.jpg] нелинейные, то решение нормальных уравнений [img: http://localhost:8080/file/031502-501.jpg] в этом случае может представлять значительные трудности. Иногда нелинейные связи каким-либо преобразованием могут быть приведены к линейным. Напр., при намагничивании железа напряженность магнитного поля H связана с магнитной индукцией Вэмпирич. формулой [img: http://localhost:8080/file/031502-502.jpg] (коэффициенты [img: http://localhost:8080/file/031502-503.jpg] и [img: http://localhost:8080/file/031502-504.jpg] определяются по измеренным значениям [img: http://localhost:8080/file/031502-505.jpg] при заданных [img: http://localhost:8080/file/031502-506.jpg]). Индукция В- нелинейная функция от [img: http://localhost:8080/file/031502-507.jpg] и [img: http://localhost:8080/file/031502-508.jpg]. Однако обратная величина индукции зависит от [img: http://localhost:8080/file/031502-509.jpg] и [img: http://localhost:8080/file/031502-510.jpg] Линейно. Применение Н. к. м. к исходному и преобразованному равенствам дает, вообще говоря, различные оценки для неизвестных [img: http://localhost:8080/file/031502-511.jpg] и [img: http://localhost:8080/file/031502-512.jpg], но если дисперсия случайных ошибок измерения индукции значительно меньше измеряемых величин [img: http://localhost:8080/file/031502-513.jpg], то [img: http://localhost:8080/file/031502-514.jpg] [img: http://localhost:8080/file/031502-515.jpg]. Поэтому величинам [img: http://localhost:8080/file/031502-516.jpg] следует приписать веса [img: http://localhost:8080/file/031502-517.jpg]; естественно ожидать, что при этих условиях различие оценок в нелинейном и линейном случаях будет практически несущественным. В тех случаях, когда не удается тождественными преобразованиями заменить нелинейные уравнения линейными, пользуются другим способом линеаризации. Из заданных пуравнений отбирают какие-либо m уравнений, решение к-рых [img: http://localhost:8080/file/031502-518.jpg] принимают за нулевое приближение для неизвестных xj. Если положить [img: http://localhost:8080/file/031502-519.jpg] то систему условных уравнений можно записать в виде: [img: http://localhost:8080/file/031502-520.jpg] Разлагая правые части в ряд по степеням [img: http://localhost:8080/file/031502-521.jpg] и ограничиваясь линейными членами, получают [img: http://localhost:8080/file/031502-522.jpg] где [img: http://localhost:8080/file/031502-523.jpg] - значение функции [img: http://localhost:8080/file/031502-524.jpg] и ее производных по [img: http://localhost:8080/file/031502-525.jpg] при [img: http://localhost:8080/file/031502-526.jpg] Эта система уравнений линейна, и поэтому для оценки неизвестных [img: http://localhost:8080/file/031502-527.jpg] легко может быть применен Н. к. м. Оценив [img: http://localhost:8080/file/031502-528.jpg] получают первое приближение для неизвестных [img: http://localhost:8080/file/031502-529.jpg] Величины [img: http://localhost:8080/file/031502-530.jpg] берут за исходное приближение, и всю операцию повторяют, пока с заданной точностью не совпадут два последовательных приближения. Если дисперсии ошибок [img: http://localhost:8080/file/031502-531.jpg] уменьшаются, то процесс сходится. Очень часто при малых [img: http://localhost:8080/file/031502-532.jpg] оказывается вполне достаточным уже первое приближение: не имеет смысла требовать нахождения [img: http://localhost:8080/file/031502-533.jpg] с точностью, значительно превышающей [img: http://localhost:8080/file/031502-534.jpg] Во многих практически важных случаях (и в частности, при оценке сложных нелинейных связей) количество неизвестных параметров бывает весьма большим, и поэтому реализация Н. к. м. оказывается эффективной лишь при использовании современной вычислительной техники.