Несмещенная оценка

- статистическая оценка, математич. ожидание к-рой совпадает с оцениваемой величиной. Пусть по реализации случайной величины X, принимающей значения в выборочном пространстве [img: http://localhost:8080/file/031509-83.jpg] надлежит оценить функцию [img: http://localhost:8080/file/031509-84.jpg] [img: http://localhost:8080/file/031509-85.jpg], отображающую параметрич. множество [img: http://localhost:8080/file/031509-86.jpg] в не-к-рое множество [img: http://localhost:8080/file/031509-87.jpg], и пусть в качестве оценки функции [img: http://localhost:8080/file/031509-88.jpg] выбрана статистика [img: http://localhost:8080/file/031509-89.jpg]. Если статистич. оценка Ттакова, что равенство [img: http://localhost:8080/file/031509-90.jpg] выполняется для всех [img: http://localhost:8080/file/031509-91.jpg], то Тназ. несмещенной оценкой функции [img: http://localhost:8080/file/031509-92.jpg]. Про Н. о. часто говорят, что она лишена систематич. ошибки. Пример 1. Пусть [img: http://localhost:8080/file/031509-93.jpg] - случайные величины, имеющие одно и то же математич. ожидание [img: http://localhost:8080/file/031509-94.jpg], т. е. [img: http://localhost:8080/file/031509-95.jpg] В таком случае статистика [img: http://localhost:8080/file/031509-96.jpg] является Н. о. математич. ожидания [img: http://localhost:8080/file/031509-97.jpg]. В частности, среднее арифметическое наблюдений [img: http://localhost:8080/file/031509-98.jpg] [img: http://localhost:8080/file/031509-99.jpg] является Н. о. для q. В данном примере [img: http://localhost:8080/file/031509-100.jpg] q Пример 2. Пусть [img: http://localhost:8080/file/031509-101.jpg] - независимые случайные величины, подчиняющиеся одному и тому же вероятностному закону, функция распределения к-рого есть F(x), т. е. [img: http://localhost:8080/file/031509-102.jpg] В таком случае функция эмпирия, распределения [img: http://localhost:8080/file/031509-103.jpg], построенная по наблюдениям [img: http://localhost:8080/file/031509-104.jpg] является Н. о. функции распределения F(x), т. е. [img: http://localhost:8080/file/031509-105.jpg] Пример 3. Пусть [img: http://localhost:8080/file/031509-106.jpg] - Н. о. параметра [img: http://localhost:8080/file/031509-107.jpg], т. е. [img: http://localhost:8080/file/031509-108.jpg] и пусть [img: http://localhost:8080/file/031509-109.jpg] - линейная функция. В таком случае статистика [img: http://localhost:8080/file/031509-110.jpg] является Н. о. для [img: http://localhost:8080/file/031509-111.jpg]. Следующий пример показывает, что имеются такие случаи, в к-рых Н. о. существуют и даже единственны, но при этом они могут оказаться бессмысленными. Пример 4. Пусть X- случайная величина, подчиняющаяся геометрич. распределению, параметр успеха к-рого есть [img: http://localhost:8080/file/031509-112.jpg], т. е. для любого натурального числа k [img: http://localhost:8080/file/031509-113.jpg] Если [img: http://localhost:8080/file/031509-114.jpg] - Н. о. параметра [img: http://localhost:8080/file/031509-115.jpg], то она должна удовлетворять уравнению несмещенности [img: http://localhost:8080/file/031509-116.jpg] или, что то же самое, уравнению [img: http://localhost:8080/file/031509-117.jpg] единственное решение к-рого есть [img: http://localhost:8080/file/031509-118.jpg] Очевидно, что статистика Тявляется хорошей только, если 9 очень близко к 1 либо к 0. в противном случае Тне несет никакой полезной информации о параметре [img: http://localhost:8080/file/031509-119.jpg]. Пример 5. Пусть случайная величина Xподчиняется биномиальному закону с параметрами пи [img: http://localhost:8080/file/031509-120.jpg], т. е. для любого [img: http://localhost:8080/file/031509-121.jpg] [img: http://localhost:8080/file/031509-122.jpg] Известно, что наилучшей Н. о. (в смысле минимума квадратичного риска) параметра успеха 9 является статистика [img: http://localhost:8080/file/031509-123.jpg] Тем не менее, если 9 - иррациональное число, то [img: http://localhost:8080/file/031509-124.jpg]. Этот пример отражает одно общее свойство случайных величин, заключающееся в том, что случайная величина, вообще говоря, не обязана принимать значение, совпадающее с ее математич. ожиданием. И наконец, возможны случаи, когда Н. о. вообще не существуют. Так, если в условиях примера 5 в качестве оцениваемой функции выбрать [img: http://localhost:8080/file/031509-125.jpg] то (см. пример 6) не существует Н. о. [img: http://localhost:8080/file/031509-126.jpg] для [img: http://localhost:8080/file/031509-127.jpg] Приведенные примеры демонстрируют, что само по себе понятие Н. о., при всей своей естественности, не помогает экспериментатору избавиться от всех осложнений, к-рые могут ждать его при построении ста-тистич. оценок, так как Н. о. может оказаться как очень хорошей, так и совершенно бессмысленной, она может быть неединственной, а может вовсе не существовать. Кроме того, Н. о., как и всякая точечная оценка, обладает еще следующим недостатком: она дает лишь нек-рое приближенное значение для истинного значения оцениваемой величины, к-рое как было неизвестным до эксперимента, таковым и остается после его проведения. Вообще, в задаче построения точечных ста-тистич. оценок нет серьезных обоснований к тому, чтобы во всех случаях стремиться к получению Н. о., если не считать того, что при изучении Н. о. возникает простая и стройная теория. Так, напр., Рао- Крамера неравенство имеет простой вид для Н. о. Именно, если Т=Т (Х)- Н. о. для функции [img: http://localhost:8080/file/031509-128.jpg], то при довольно широких условиях регулярности семейства [img: http://localhost:8080/file/031509-129.jpg] и функции [img: http://localhost:8080/file/031509-130.jpg] из неравенства Рао - Крамера следует, что [img: http://localhost:8080/file/031509-131.jpg] Где [img: http://localhost:8080/file/031509-132.jpg] - информационное количество Фишера. Таким образом, существует нижняя граница для дисперсий Н. о. функции [img: http://localhost:8080/file/031509-133.jpg], и этой границей служит [img: http://localhost:8080/file/031509-134.jpg]. В частности, если [img: http://localhost:8080/file/031509-135.jpg], то из (1) следует, что [img: http://localhost:8080/file/031509-136.jpg] Статистич. оценка, для к-рой в неравенстве Рао - Крамера достигается равенство, наз. эффективной. Так, статистика [img: http://localhost:8080/file/031509-137.jpg] рассмотренная в примере 5, является эффективной Н. о. параметра успеха [img: http://localhost:8080/file/031509-138.jpg] биномиального закона, т. к. [img: http://localhost:8080/file/031509-139.jpg] т. е. [img: http://localhost:8080/file/031509-140.jpg] является наилучшей точечной оценкой параметра в смысле минимума квадратичного риска в классе всех Н. о. Естественно, что для экспериментатора представляет интерес тот случай, когда класс Н. о. достаточно богат, чтобы иметь возможность выбора наилучшей в каком-то смысле Н. о. В этой связи большую роль играет Рао- Блэкуэлла- Колмогорова теорема, позволяющая строить Н. о. с наименьшей дисперсией. Эта теорема утверждает, что если семейство {Ре } имеет достаточную статистику [img: http://localhost:8080/file/031509-141.jpg], а [img: http://localhost:8080/file/031509-142.jpg] - произвольная Н. о. функции [img: http://localhost:8080/file/031509-143.jpg], то статистика [img: http://localhost:8080/file/031509-144.jpg] [img: http://localhost:8080/file/031509-145.jpg], получающаяся в результате осреднения Тпри фиксированной достаточной статистике [img: http://localhost:8080/file/031509-146.jpg], имеет риск, не превосходящий риска статистики Тотносительно произвольной выпуклой функции потерь при всех [img: http://localhost:8080/file/031509-147.jpg]. Если при этом семейство [img: http://localhost:8080/file/031509-148.jpg] является полным, то статистика [img: http://localhost:8080/file/031509-149.jpg] определяется единственным образом. То есть из теоремы Рао - Блэкуэлла - Колмогорова следует, что Н. о. нужно искать лишь в терминах достаточных статистик, если они существуют. Практич. ценность теоремы Рао - Блэкуэлла - Колмогорова заключается в том, что она дает рецепт построения наилучших Н. о., а именно: нужно построить произвольную Н. о. для [img: http://localhost:8080/file/031509-150.jpg], а затем осреднить ее по достаточной статистике. Пример 6. Пусть случайная величина Xимеет распределение Паскаля (отрицательное биномиальное распределение) с параметрами [img: http://localhost:8080/file/031509-151.jpg] т. е. [img: http://localhost:8080/file/031509-152.jpg] В этом случае статистика [img: http://localhost:8080/file/031509-153.jpg] является Н. о. параметра [img: http://localhost:8080/file/031509-154.jpg]. Так как статистика Твыражена в терминах достаточной статистики X, а система функций [img: http://localhost:8080/file/031509-155.jpg] является полной на отрезке [0, 1], то Тявляется единственной Н. о., а следовательно, наилучшей оценкой для 6. Пример 7. Пусть X - случайная величина, подчиняющаяся биномиальному закону с параметрами пи 0. Производящая функция Q(z)этого биномиального закона выражается формулой [img: http://localhost:8080/file/031509-156.jpg] откуда следует, что для любого целого числа [img: http://localhost:8080/file/031509-157.jpg] [img: http://localhost:8080/file/031509-158.jpg] [img: http://localhost:8080/file/031509-159.jpg] С другой стороны, [img: http://localhost:8080/file/031509-160.jpg] откуда следует, что [img: http://localhost:8080/file/031509-161.jpg] т. е. статистика [img: http://localhost:8080/file/031509-162.jpg] является Н. о. для [img: http://localhost:8080/file/031509-163.jpg], причем в силу того, что [img: http://localhost:8080/file/031509-164.jpg] выражена в терминах достаточной статистики X, а также в силу полноты системы функций [img: http://localhost:8080/file/031509-165.jpg] на отрезке [0, 1] следует, что [img: http://localhost:8080/file/031509-166.jpg] - единственная, а значит, и наилучшая Н. о. для [img: http://localhost:8080/file/031509-167.jpg]. В связи с этим примером возникает следующий вопрос: какие функции [img: http://localhost:8080/file/031509-168.jpg] от параметра [img: http://localhost:8080/file/031509-169.jpg] допускают несмещенное оценивание. А. Н. Колмогоров показал [1], что только для многочленов степени [img: http://localhost:8080/file/031509-170.jpg] существуют Н. о. Так, если [img: http://localhost:8080/file/031509-171.jpg] то из (2) следует, что статистика [img: http://localhost:8080/file/031509-172.jpg] является единственной Н. о. для [img: http://localhost:8080/file/031509-173.jpg]. Из этого результата, в частности, следует, что для функции [img: http://localhost:8080/file/031509-174.jpg] не существует Н. о. Пример 8. Пусть X- случайная величина, подчиняющаяся закону Пуассона с параметром [img: http://localhost:8080/file/031509-175.jpg], т. е. для любого целого числа [img: http://localhost:8080/file/031509-176.jpg] [img: http://localhost:8080/file/031509-177.jpg] В силу того, что [img: http://localhost:8080/file/031509-178.jpg] само наблюдение Xявляется Н. о. своего математич. ожидания 0. В свою очередь, напр., Н. о. функции [img: http://localhost:8080/file/031509-179.jpg] является [img: http://localhost:8080/file/031509-180.jpg] Вообще, статистика [img: http://localhost:8080/file/031509-181.jpg] является Н. о. функции [img: http://localhost:8080/file/031509-182.jpg]. Из этого факта, в частности, следует, что статистика [img: http://localhost:8080/file/031509-183.jpg] является Н. о. функции [img: http://localhost:8080/file/031509-184.jpg] Вообще, если функция [img: http://localhost:8080/file/031509-185.jpg] допускает несмещенное оценивание, то для нее должно выполняться уравнение несмещенности [img: http://localhost:8080/file/031509-186.jpg], к-рое равносильно следующему: [img: http://localhost:8080/file/031509-187.jpg] откуда получается, что Н. о. существует для любой функции [img: http://localhost:8080/file/031509-188.jpg], допускающей разложение в степенной ряд в своей области определения [img: http://localhost:8080/file/031509-189.jpg] Пример 9. Пусть независимые случайные величины [img: http://localhost:8080/file/031509-190.jpg] подчиняются одному и тому же закону Пуассона с параметром [img: http://localhost:8080/file/031509-191.jpg] Производящая функция этого закона, выражающаяся формулой [img: http://localhost:8080/file/031509-192.jpg] является целой аналитич. цией, и, следовательно, для нее существует единственная Н. о. Достаточной статистикой в этом случае является [img: http://localhost:8080/file/031509-193.jpg] к-рая подчиняется закону Пуассона с параметром nq. Если Т(Х)- Н. о. для [img: http://localhost:8080/file/031509-194.jpg], то она должна удовлетворять уравнению несмещенности [img: http://localhost:8080/file/031509-195.jpg] откуда следует, что [img: http://localhost:8080/file/031509-196.jpg] т. е. Н. о. для производящей функции закона Пуассона является производящая функция биномиального закона с параметрами Xи 1/n. Примеры 6-9 демонстрируют, что в нек-рых случаях, довольно часто встречающихся на практике, именно благодаря понятию Н. о. задача построения наилучших оценок оказывается легко разрешимой, если ограничиться классом Н. о. А. Н. Колмогоров [1] рассмотрел вопрос построения Н. о., в частности задачу построения Н. о. функции распределения нормального закона, параметры к-рого неизвестны. Э. Леману (Е. Lehmann) принадлежит более общее определение Н. о. Согласно определению Э. Лемана (см. [2]) статистич. оценка Т=Т(X)параметра [img: http://localhost:8080/file/031509-197.jpg] наз. несмещенной относительно функции потерь [img: http://localhost:8080/file/031509-198.jpg] если [img: http://localhost:8080/file/031509-199.jpg] Имеется модификация этого определения (см. [3]). Ю. В. Линником и его учениками (см. [4]) была установлена независимость наилучшей Н. о. от функции потерь при довольно широких предположениях.