АНАЛИЗ ДАННЫХ

дисциплина, посвященная построению и исследованию процедур, осуществляющих преобразование от «исходных данных» к «результату». Ранее вместо термина «А. д.» употреблялся термин «обработка результатов наблюдений (измерений)». Математич. аппаратом А. д. является математич. статистика. Под «исходными данными» обычно понимают нек-рый первичный набор чисел, получаемых в процессе проведения исследования: результаты измерений какой-либо физич. величины; совокупность параметров, характеризующих какое-либо событие или состояние системы, установки, физич. тела; число случаев осуществления какого-либо события; учет наличия или отсутствия какого-либо признака и т. п. «Результатами» А. д. обычно являются либо итоговые показатели (напр. при обработке многократных измерений каких-либо физич. величин), либо параметры модели (физич. закономерности), описывающей исследуемое явление (напр. размеры ядер при исследовании распределений углов рассеяния частиц на ядрах), либо вывод о справедливости какой-либо теории и т. п. Погрешности данных. Как исходные данные, так и результаты помимо своей величины характеризуются ошибкой, или погрешностью. Под ошибкой обычно понимают разницу между наблюдаемой или вычисляемой величиной и фактич. величиной. Ошибки в исходных данных могут от опыта к опыту систематически повторяться (систематические ошибки) либо меняться случайным образом (случайные ошибки). Систематич. ошибки, как правило, связаны с неправильно откалиброванным измерительным прибором (или невозможностью калибровки), с неправильно учтенными внешними условиями проведения опыта (или невозможностью их учета), с неправильной методикой измерения и т. п. Исследование систематич. ошибок играет важную роль в анализе экспериментальных данных. После выявления природы систематич. ошибок и определения их величины они перестают быть ошибками и становятся поправками. Если систематич. ошибки устранить не удается, то обычно оценка систематич. ошибки приводится совместно с результатом. Случайные ошибки измерений - флуктуации в наблюдениях (измерениях) - являются следствием конечной точности эксперимента (измерительного прибора) и (или) случайного характера наблюдаемой (измеряемой) величины. Получению численных результатов по данным измерений, содержащим случайные ошибки, посвящен раздел математич. статистики, называемый теорией ошибок. В исходных данных и в результатах анализа могут быть также и грубые ошибки (промахи) - следствие неправильных записей, неумелого применения прибора, применения испорченного прибора, арифметич. ошибок в вычислениях и т. п. Такие ошибки исправляют при более тщательном повторении опытов или расчетов. Из-за наличия в реальных исходных данных всевозможных ошибок неизвестного характера на практике сложно сформулировать и построить такую процедуру, к-рая приведет к окончательному результату. Поэтому А. д. обычно подразделяют на два раздела (этапа): исследование данных и обработка данных. Исследование данных (или разведочный анализ) - это такие операции, выполнение к-рых существенно зависит от конкретных данных. При исследовании данных определяющую роль играет человек, к-рый решает: как дальше поступать с этими данными; какие точки выбросить, какие оставить; какую конкретную процедуру применить для улучшения качества исходных данных; нужно ли сгруппировать ряд данных и как это сделать и т. п. В разведочном анализе обычно используют простые методы преобразования и представления данных, позволяющие качественно оценить имеющиеся данные и повысить их надежность (достоверность). Из основных процедур разведочного анализа следует особенно отметить процедуру «сглаживания», устранение грубых ошибок. Обработка данных - это собственно процедура получения результатов по выбранной схеме. Математич. статистика в основном посвящена именно обработке данных. Статистический анализ. Из-за конечной точности измерений и наличия случайных ошибок или из-за статистич. природы экспериментальных данных ряд измерений $\{\boldsymbol{x}\}$, проведенных независимо, рассматривают как случайные переменные, распределенные с плотностью вероятности $p(\boldsymbol{x})$, к-рая может быть дискретной либо непрерывной. Задача экспериментальных исследований - получить $p(\boldsymbol{x})$ по наблюдениям $\boldsymbol{x}$, задача теории - придумать (вычислить) $p(\boldsymbol{x})$. При таком рассмотрении почти все задачи А. д. сводятся к оцениванию плотности вероятности и к определению согласия между теоретич. и эмпирич. распределениями. В математич. статистике задачам оценивания посвящен раздел статистич. оценивания, а задачам определения согласия - раздел статистич. проверки гипотез. По способу оценивания плотности вероятности и определения ее согласия с теоретической А. д. подразделяют на параметрический и непараметрический. В непараметрическом анализе предполагается, что нет никакой априорной информации относительно вида функции $p(\boldsymbol{x})$. Заключение о функции $p(\boldsymbol{x})$ или о ее свойствах делается непосредственно из исходных данных. В параметрическом анализе предполагается, что $p(\boldsymbol{x})$ входит в параметрич. семейство распределения $p(\boldsymbol{x})=$ $=p(\alpha, x)$, где $\alpha-$ конечный набор параметров (дискретных или непрерывных), к-рые выделяют отдельные распределения из семейства. Здесь проблема оценивания функции $p(x)$ сводится к выбору подходящих значений $\alpha$. Простейшая задача параметрич. анализа - получение результата для какой-либо физич. величины по данным ее многократных измерений со случайной ошибкой, соответствующей распределению Гаусса ошибок. Пусть имеется ряд $x_{i}, i=1,2, \ldots, N$, измерений одной и той же физич. величины с дисперсией $\sigma^{2}$. Вероятность одиночного наблюдения $x_{i}$ равна \[ p_{i}=\left(2 \pi \sigma^{2}\right)^{-1 / 2} \exp \left[-\left(x_{i}-\mu\right)^{2} / 2 \sigma^{2}\right] \] тогда вероятность $N$ независимых наблюдений $x_{i}, i=1,2, \ldots$, $N$, равна произведению вероятностей \[ p(\mu, \sigma)=\prod_{i=1}^{N} p_{i}=\left(2 \pi \sigma^{2}\right)^{-N / 2} \exp \left[-\sum_{i=1}^{N}\left(x_{i}-\mu\right)^{2} / 2 \sigma^{2}\right] . \] В качестве оценки результата измерений физич. величины $\boldsymbol{x}$, при постоянной дисперсии $\sigma^{2}$, следует взять такую величину $\mu^{*}$, к-рая дает максимум вероятности $p(\mu, \sigma)$. Максимум предыдущего выражения достигается при минимуме показателя экспоненты, откуда следует, что \[ \mu^{*}=N^{-1} \sum_{i=1}^{N} x_{i} \] Проверка гипотез. Результатом А. д. может быть также оценка справедливости какой-либо теоретич. модели или гипотезы (статистической гипотезы) в смысле применимости ее к экспериментально наблюдаемому явлению. Такой результат сам по себе не дает доказательства справедливости теории, он дает лишь возможность выбора альтернатив и степень согласия теории и эксперимента. Пусть надо проверить гипотезу $H_{0}$ по отношению к гипотезе $H_{1}$ на основании нек-рых экспериментальных наблюдений $\{\boldsymbol{x}\}$. Пусть $X(\boldsymbol{x} \mid H)$ есть функция наблюдений и проверяемой гипотезы ($X$ обычно называют проверочной статистикой) и пусть $\Omega$ есть пространство всевозможных значений $X$. Пространство $\Omega$ делят на две области: $\omega$ и $\Omega-\omega$, к-рые соответственно называются критической и допустимой. Считают, что при попадании проверочной статистики $X$ в критич. область $\omega$ гипотеза $H_{0}$ неверна (верна $H_{1}$), а при попадании $X$ в допустимую область гипотеза $H_{0}$ верна ($H_{1}$ ошибочна). Разделение пространства $\Omega$ на критическую и допустимую области обычно производится так, чтобы вероятность отвергнуть гипотезу, когда она верна (то есть вероятность потери), была бы малой. Величину этой вероятности называют уровнем значимости, или величиной критерия. Таким образом, уровень значимости $\alpha$ равен вероятности попадания $X$ в $\omega$, когда гипотеза $H_{0}$ верна, то есть \[ \mathrm{P}\left\{X \in \omega \mid H_{0}\right\}=\alpha . \] С другой стороны, целесообразно потребовать также малости вероятности принятия ложной гипотезы, то есть вероятности примеси $\beta$: \[ P\left\{X \in \Omega-\omega \mid H_{1}\right\}=\beta \] Для оценки критерия проверки альтернативных гипотез служит величина, называемая мощностью критерия, к-рая определяется как вероятность $1-\beta$ попадания $X$ в критич. область пространства $\Omega$, когда верна гипотеза $H_{1}$, то есть \[ \mathrm{P}\left\{X \in \omega \mid H_{1}\right\}=1-\beta . \] При выборе гипотезы исследователь обычно решает, какие потери $\alpha$ он может допустить, а затем выбирает проверочную статистику и критич. область так, чтобы максимизировать мощность критерия $1-\beta$. Одна из наиболее общих проверяемых гипотез при А. д. состоит в том, что плотность вероятности $p(\boldsymbol{x})$ есть данная функция $\boldsymbol{x}$, то есть $p(\boldsymbol{x})=f(\boldsymbol{x})$. Здесь обычно нет определенной альтернативной гипотезы, то есть фактически имеется набор всевозможных альтернативных гипотез, к-рые явно не определены. В этом случае невозможно вычислить примесь и определить мощность критерия. Такая задача возникает при проверке совпадения экспериментальных данных с какой-либо теоретич. моделью и решается на основе критерия согласия. Как при обычной проверке гипотез, начинают с выбора проверочной статистики, однако пространство $\Omega$ не делится на критич. и допустимую области. Уровень значимости здесь определяется как вероятность того, что при условии $H_{0}$ проверочная статистика $X$ будет иметь значение, превышающее величину $T$, наблюдаемую из данных, \[ \mathrm{P}\left\{X \geqslant T \mid H_{0}\right\}=\alpha(T) \text {. } \] В данном контексте величина $\alpha(T)$ называется также уровнем достоверности. Критерий согласия конструируется при помощи меры различия между непараметрич. оценкой плотности вероятности и теоретич. функцией плотности вероятности проверяемой гипотезы. Наиболее популярной является квадратич. мера, нормированная на дисперсию. В достаточно общих предположениях проверочная статистика сводится к сумме квадратов независимых, нормально распределенных случайных величин с нулевым средним и единичной дисперсией, к-рая имеет $\chi^{2}$-распределение с числом степеней свободы, равным количеству членов в сумме. В этом случае критерием согласия является $\chi^{2}-$ критерий Пирсона. Современные экспериментальные исследования в области ядерной физики, геофизики, физики атмосферы, океана и др. характеризуются огромным объемом получаемой первичной информации (до $10^{12}$ бит/с и более). Результаты эксперимента обычно составляют $\sim 10^{3}$ бит/с. Таким образом, в процессе А. д. происходит значительное сжатие информации (в 1 млрд. раз и более). А. д. таких экспериментальных исследований немыслим без использования средств автоматизации и быстродействующей вычислительной техники. Лит.: [1] Митропольский А. К., Техника статистических вычислений, 2 изд., М., 1971; [2] Статистические методы в экспериментальной физике, пер. с англ., М., 1976; [3] Тьюки Дж., Анализ результатов наблюдений, пер. с англ., М., 1981; [4] Мостеллер Ф., Тьюки Дж., Анализ данных и регрессия, пер. с англ.,

дисциплина, посвященная построению и исследованию процедур, осуществляющих преобразование от «исходных данных» к «результату». Ранее вместо термина «А. д.» употреблялся термин «обработка результатов наблюдений (измерений)». Математич. аппаратом А. д. является математич. статистика. Под «исходными данными» обычно понимают нек-рый первичный набор чисел, получаемых в процессе проведения исследования: результаты измерений какой-либо физич. величины; совокупность параметров, характеризующих какое-либо событие или состояние системы, установки, физич. тела; число случаев осуществления какого-либо события; учет наличия или отсутствия какого-либо признака и т. п. «Результатами» А. д. обычно являются либо итоговые показатели (напр. при обработке многократных измерений каких-либо физич. величин), либо параметры модели (физич. закономерности), описывающей исследуемое явление (напр. размеры ядер при исследовании распределений углов рассеяния частиц на ядрах), либо вывод о справедливости какой-либо теории и т. п. Погрешности данных. Как исходные данные, так и результаты помимо своей величины характеризуются ошибкой, или погрешностью. Под ошибкой обычно понимают разницу между наблюдаемой или вычисляемой величиной и фактич. величиной. Ошибки в исходных данных могут от опыта к опыту систематически повторяться (систематические ошибки) либо меняться случайным образом (случайные ошибки). Систематич. ошибки, как правило, связаны с неправильно откалиброванным измерительным прибором (или невозможностью калибровки), с неправильно учтенными внешними условиями проведения опыта (или невозможностью их учета), с неправильной методикой измерения и т. п. Исследование систематич. ошибок играет важную роль в анализе экспериментальных данных. После выявления природы систематич. ошибок и определения их величины они перестают быть ошибками и становятся поправками. Если систематич. ошибки устранить не удается, то обычно оценка систематич. ошибки приводится совместно с результатом. Случайные ошибки измерений - флуктуации в наблюдениях (измерениях) - являются следствием конечной точности эксперимента (измерительного прибора) и (или) случайного характера наблюдаемой (измеряемой) величины. Получению численных результатов по данным измерений, содержащим случайные ошибки, посвящен раздел математич. статистики, называемый теорией ошибок. В исходных данных и в результатах анализа могут быть также и грубые ошибки (промахи) - следствие неправильных записей, неумелого применения прибора, применения испорченного прибора, арифметич. ошибок в вычислениях и т. п. Такие ошибки исправляют при более тщательном повторении опытов или расчетов. Из-за наличия в реальных исходных данных всевозможных ошибок неизвестного характера на практике сложно сформулировать и построить такую процедуру, к-рая приведет к окончательному результату. Поэтому А. д. обычно подразделяют на два раздела (этапа): исследование данных и обработка данных. Исследование данных (или разведочный анализ) - это такие операции, выполнение к-рых существенно зависит от конкретных данных. При исследовании данных определяющую роль играет человек, к-рый решает: как дальше поступать с этими данными; какие точки выбросить, какие оставить; какую конкретную процедуру применить для улучшения качества исходных данных; нужно ли сгруппировать ряд данных и как это сделать и т. п. В разведочном анализе обычно используют простые методы преобразования и представления данных, позволяющие качественно оценить имеющиеся данные и повысить их надежность (достоверность). Из основных процедур разведочного анализа следует особенно отметить процедуру «сглаживания», устранение грубых ошибок. Обработка данных - это собственно процедура получения результатов по выбранной схеме. Математич. статистика в основном посвящена именно обработке данных. Статистический анализ. Из-за конечной точности измерений и наличия случайных ошибок или из-за статистич. природы экспериментальных данных ряд измерений $\{\boldsymbol{x}\}$, проведенных независимо, рассматривают как случайные переменные, распределенные с плотностью вероятности $p(\boldsymbol{x})$, к-рая может быть дискретной либо непрерывной. Задача экспериментальных исследований - получить $p(\boldsymbol{x})$ по наблюдениям $\boldsymbol{x}$, задача теории - придумать (вычислить) $p(\boldsymbol{x})$. При таком рассмотрении почти все задачи А. д. сводятся к оцениванию плотности вероятности и к определению согласия между теоретич. и эмпирич. распределениями. В математич. статистике задачам оценивания посвящен раздел статистич. оценивания, а задачам определения согласия - раздел статистич. проверки гипотез. По способу оценивания плотности вероятности и определения ее согласия с теоретической А. д. подразделяют на параметрический и непараметрический. В непараметрическом анализе предполагается, что нет никакой априорной информации относительно вида функции $p(\boldsymbol{x})$. Заключение о функции $p(\boldsymbol{x})$ или о ее свойствах делается непосредственно из исходных данных. В параметрическом анализе предполагается, что $p(\boldsymbol{x})$ входит в параметрич. семейство распределения $p(\boldsymbol{x})=$ $=p(\alpha, x)$, где $\alpha-$ конечный набор параметров (дискретных или непрерывных), к-рые выделяют отдельные распределения из семейства. Здесь проблема оценивания функции $p(x)$ сводится к выбору подходящих значений $\alpha$. Простейшая задача параметрич. анализа - получение результата для какой-либо физич. величины по данным ее многократных измерений со случайной ошибкой, соответствующей распределению Гаусса ошибок. Пусть имеется ряд $x_{i}, i=1,2, \ldots, N$, измерений одной и той же физич. величины с дисперсией $\sigma^{2}$. Вероятность одиночного наблюдения $x_{i}$ равна \[ p_{i}=\left(2 \pi \sigma^{2}\right)^{-1 / 2} \exp \left[-\left(x_{i}-\mu\right)^{2} / 2 \sigma^{2}\right] \] тогда вероятность $N$ независимых наблюдений $x_{i}, i=1,2, \ldots$, $N$, равна произведению вероятностей \[ p(\mu, \sigma)=\prod_{i=1}^{N} p_{i}=\left(2 \pi \sigma^{2}\right)^{-N / 2} \exp \left[-\sum_{i=1}^{N}\left(x_{i}-\mu\right)^{2} / 2 \sigma^{2}\right] . \] В качестве оценки результата измерений физич. величины $\boldsymbol{x}$, при постоянной дисперсии $\sigma^{2}$, следует взять такую величину $\mu^{*}$, к-рая дает максимум вероятности $p(\mu, \sigma)$. Максимум предыдущего выражения достигается при минимуме показателя экспоненты, откуда следует, что \[ \mu^{*}=N^{-1} \sum_{i=1}^{N} x_{i} \] Проверка гипотез. Результатом А. д. может быть также оценка справедливости какой-либо теоретич. модели или гипотезы (статистической гипотезы) в смысле применимости ее к экспериментально наблюдаемому явлению. Такой результат сам по себе не дает доказательства справедливости теории, он дает лишь возможность выбора альтернатив и степень согласия теории и эксперимента. Пусть надо проверить гипотезу $H_{0}$ по отношению к гипотезе $H_{1}$ на основании нек-рых экспериментальных наблюдений $\{\boldsymbol{x}\}$. Пусть $X(\boldsymbol{x} \mid H)$ есть функция наблюдений и проверяемой гипотезы ($X$ обычно называют проверочной статистикой) и пусть $\Omega$ есть пространство всевозможных значений $X$. Пространство $\Omega$ делят на две области: $\omega$ и $\Omega-\omega$, к-рые соответственно называются критической и допустимой. Считают, что при попадании проверочной статистики $X$ в критич. область $\omega$ гипотеза $H_{0}$ неверна (верна $H_{1}$), а при попадании $X$ в допустимую область гипотеза $H_{0}$ верна ($H_{1}$ ошибочна). Разделение пространства $\Omega$ на критическую и допустимую области обычно производится так, чтобы вероятность отвергнуть гипотезу, когда она верна (то есть вероятность потери), была бы малой. Величину этой вероятности называют уровнем значимости, или величиной критерия. Таким образом, уровень значимости $\alpha$ равен вероятности попадания $X$ в $\omega$, когда гипотеза $H_{0}$ верна, то есть \[ \mathrm{P}\left\{X \in \omega \mid H_{0}\right\}=\alpha . \] С другой стороны, целесообразно потребовать также малости вероятности принятия ложной гипотезы, то есть вероятности примеси $\beta$: \[ P\left\{X \in \Omega-\omega \mid H_{1}\right\}=\beta \] Для оценки критерия проверки альтернативных гипотез служит величина, называемая мощностью критерия, к-рая определяется как вероятность $1-\beta$ попадания $X$ в критич. область пространства $\Omega$, когда верна гипотеза $H_{1}$, то есть \[ \mathrm{P}\left\{X \in \omega \mid H_{1}\right\}=1-\beta . \] При выборе гипотезы исследователь обычно решает, какие потери $\alpha$ он может допустить, а затем выбирает проверочную статистику и критич. область так, чтобы максимизировать мощность критерия $1-\beta$. Одна из наиболее общих проверяемых гипотез при А. д. состоит в том, что плотность вероятности $p(\boldsymbol{x})$ есть данная функция $\boldsymbol{x}$, то есть $p(\boldsymbol{x})=f(\boldsymbol{x})$. Здесь обычно нет определенной альтернативной гипотезы, то есть фактически имеется набор всевозможных альтернативных гипотез, к-рые явно не определены. В этом случае невозможно вычислить примесь и определить мощность критерия. Такая задача возникает при проверке совпадения экспериментальных данных с какой-либо теоретич. моделью и решается на основе критерия согласия. Как при обычной проверке гипотез, начинают с выбора проверочной статистики, однако пространство $\Omega$ не делится на критич. и допустимую области. Уровень значимости здесь определяется как вероятность того, что при условии $H_{0}$ проверочная статистика $X$ будет иметь значение, превышающее величину $T$, наблюдаемую из данных, \[ \mathrm{P}\left\{X \geqslant T \mid H_{0}\right\}=\alpha(T) \text {. } \] В данном контексте величина $\alpha(T)$ называется также уровнем достоверности. Критерий согласия конструируется при помощи меры различия между непараметрич. оценкой плотности вероятности и теоретич. функцией плотности вероятности проверяемой гипотезы. Наиболее популярной является квадратич. мера, нормированная на дисперсию. В достаточно общих предположениях проверочная статистика сводится к сумме квадратов независимых, нормально распределенных случайных величин с нулевым средним и единичной дисперсией, к-рая имеет $\chi^{2}$-распределение с числом степеней свободы, равным количеству членов в сумме. В этом случае критерием согласия является $\chi^{2}-$ критерий Пирсона. Современные экспериментальные исследования в области ядерной физики, геофизики, физики атмосферы, океана и др. характеризуются огромным объемом получаемой первичной информации (до $10^{12}$ бит/с и более). Результаты эксперимента обычно составляют $\sim 10^{3}$ бит/с. Таким образом, в процессе А. д. происходит значительное сжатие информации (в 1 млрд. раз и более). А. д. таких экспериментальных исследований немыслим без использования средств автоматизации и быстродействующей вычислительной техники. Лит.: [1] Митропольский А. К., Техника статистических вычислений, 2 изд., М., 1971; [2] Статистические методы в экспериментальной физике, пер. с англ., М., 1976; [3] Тьюки Дж., Анализ результатов наблюдений, пер. с англ., М., 1981; [4] Мостеллер Ф., Тьюки Дж., Анализ данных и регрессия, пер. с англ.,