Как найти достаточную статистику - Сайт, где вы сможете решить свои вопросы

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 6 декабря 2021 года; проверки требует 1 правка.

Достаточная статистика для параметра определяющая некоторое семейство $F_{theta }$ распределений вероятности — статистика такая, что условная вероятность выборки $X=X_{1},X_{2},ldots ,X_{n};$ при данном значении не зависит от параметра То есть выполняется равенство:

{displaystyle mathbb {P} (Xin {bar {X}}|mathrm {T} (X)=t,theta )=mathbb {P} (Xin {bar {X}}|mathrm {T} (X)=t),}

Достаточная статистика таким образом, содержит в себе всю информацию о параметре , которая может быть получена на основе выборки X. Поэтому понятие достаточной статистики широко используется в теории оценки параметров.

Наиболее простой достаточной статистикой является сама выборка , однако действительно важными являются случаи, когда размерность достаточной статистики значительно меньше размерности выборки, в частности, когда достаточная статистика выражается лишь несколькими числами.

Достаточная статистика называется минимально достаточной, если для каждой достаточной статистики T существует неслучайная измеримая функция g, что почти всюду.

Теорема факторизации[править | править код]

Теорема факторизации даёт способ практического нахождения достаточной статистики для распределения вероятности. Она даёт достаточные и необходимые условия достаточности статистики и утверждение теорем иногда используется в качестве определения.

Пусть — некоторая статистика, а $f_{theta }(x)$ — условная функция плотности или функция вероятности (в зависимости от вида распределения) для вектора наблюдений X. Тогда является достаточной статистикой для параметра , тогда и только тогда, когда существуют такие измеримые функции и , что можно записать:

${displaystyle f_{theta }(x)=h(x),g(theta ,mathrm {T} (x))}$

Доказательство[править | править код]

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда $f_{theta }(x)={mathbb {P}}(X=x|theta )$ — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и

Тогда имеем:

${begin{aligned}{mathbb {P}}(X=x|{mathrm {T}}(X)=t,theta )&={frac {{mathbb {P}}(X=x|theta )}{{mathbb {P}}({mathrm {T}}(X)=t|theta )}}&={frac {h(x),g(theta ,{mathrm {T}}(x))}{sum _{{x:{mathrm {T}}(x)=t}}h(x),g(theta ,{mathrm {T}}(x))}}\&={frac {h(x),g(theta ,t)}{sum _{{x:{mathrm {T}}(x)=t}}h(x),g(theta ,t)}}&={frac {h(x),}{sum _{{x:{mathrm {T}}(x)=t}}h(x),}}.end{aligned}}$

Отсюда видим, что условная вероятность вектора X при заданном значении статистики не зависит от параметра и соответственно — достаточная статистика.

Наоборот можем записать:

{displaystyle mathbb {P} (X=x|theta )=mathbb {P} (X=x|mathrm {T} (X)=t,theta )cdot mathbb {P} (mathrm {T} (X)=t|theta ).}

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра и его можно взять за функцию из формулировки теоремы. Другой множитель является функцией от theta ; и и его можно взять за функцию Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Примеры[править | править код]

Распределение Бернулли[править | править код]

Пусть $X_{1},X_{2},ldots ,X_{n};$ — последовательность случайных величин, что равны 1 с вероятностью и равны 0 с вероятностью (то есть, имеют распределение Бернулли). Тогда

${displaystyle mathbb {P} (x_{1},ldots x_{n}|p)=p^{sum x_{i}}(1-p)^{n-sum x_{i}}=p^{mathrm {T} (x)}(1-p)^{n-mathrm {T} (x)},}$

если взять ${displaystyle mathrm {T} (X)=X_{1}+ldots +X_{n}.}$

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

${displaystyle g(p,mathrm {T} (x_{1},ldots x_{n}))=p^{mathrm {T} (x_{1},ldots x_{n})}(1-p)^{n-mathrm {T} (x_{1},ldots x_{n})},}$

${displaystyle h(x_{1},ldots x_{n})=1.}$

Распределение Пуассона[править | править код]

Пусть $X_{1},X_{2},ldots ,X_{n};$ — последовательность случайных величин с распределением Пуассона. Тогда

${mathbb {P}}(x_{1},ldots x_{n}|lambda )={e^{{-lambda }}lambda ^{{x_{1}}} over x_{1}!}cdot {e^{{-lambda }}lambda ^{{x_{2}}} over x_{2}!}cdots {e^{{-lambda }}lambda ^{{x_{n}}} over x_{n}!}=e^{{-nlambda }}lambda ^{{(x_{1}+x_{2}+cdots +x_{n})}}cdot {1 over x_{1}!x_{2}!cdots x_{n}!}=e^{{-nlambda }}lambda ^{{{mathrm {T}}(x)}}cdot {1 over x_{1}!x_{2}!cdots x_{n}!}$

где ${displaystyle mathrm {T} (X)=X_{1}+ldots +X_{n}.}$

Данная статистика является достаточной согласно теореме факторизации, если обозначить

${displaystyle g(lambda ,mathrm {T} (x_{1},ldots x_{n}))=e^{-nlambda }lambda ^{mathrm {T} (x)}}$

$h(x_{1},ldots x_{n})={1 over x_{1}!x_{2}!cdots x_{n}!}$

Равномерное распределение[править | править код]

Пусть $X_{1},X_{2},ldots ,X_{n};$ — последовательность равномерно распределённых случайных величин $X_{1},X_{2},ldots ,X_{n};~U(a,b)$ . Для этого случая

${displaystyle mathbb {P} (x_{1},ldots x_{n}|a,b)=left(b-aright)^{-n}mathbf {1} _{{a,leq ,min _{1leq ileq n}X_{i}}}mathbf {1} _{{max _{1leq ileq n}X_{i},leq ,b}}.}$

Отсюда следует, что статистика ${displaystyle T(X)=left(min _{1leq ileq n}X_{i},max _{1leq ileq n}X_{i}right)}$ является достаточной.

Нормальное распределение[править | править код]

Для случайных величин $X_{1},X_{2},ldots ,X_{n};$ с нормальным распределением ${mathcal {N}}(mu ,,sigma ^{2})$ достаточной статистикой будет ${mathrm {T}}(X)=left(sum _{{i=1}}^{n}X_{i},sum _{{i=1}}^{n}X_{i}^{2}right),.$

Свойства[править | править код]

${displaystyle {textrm {E}}[(delta _{1}(X)-theta )^{2}]leq {textrm {E}}[(delta (X)-theta )^{2}]}$

причём равенство достигается лишь когда delta

является измеримой функцией от T. (Теорема Рао — Блэквелла — Колмогорова)

См. также[править | править код]

Статистическая оценка
Параметр

Литература[править | править код]

Kholevo, A.S. (2001), «Sufficient statistic», in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1-55608-010-4
Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
Леман Э. Теория точечного оценивания. — М.: Наука, 1991. — 448 с. — ISBN 5-02-013941-6.

Источник

[
newcommandcN{{mathcal{N}}}
newcommandP{{mathbb{P}}}
newcommandE{{mathbb{E}}}
]

Функция (T=t(Y_1, Y_2, ldots, Y_n)) называется достаточной статистикой для параметра (a), если для вычисления оценки максимального правдоподобия (hat a) достаточно знать только величину (T).

Величины (Y_1), (Y_2), , (Y_n) являются случайной выборкой из нормального распределения (cN(mu; 146)).

Найдите достаточную статистику для параметра (mu).

Например, достаточной статистикой будет (T=sum Y_i) или (T=2 sum Y_i + 11). Знания любой из этих величин достаточно, чтобы посчитать (hat mu). Возможно много других вариантов достаточной статистики.

Величины (Y_1), (Y_2), , (Y_n) являются случайной выборкой из равномерного распределения (U[0; a]).

Найдите достаточную статистику для параметра (a).

Например, достаточной статистикой будет (T=max{Y_1, ldots, Y_n}) или (T= 11 + 2 / max{Y_1, ldots, Y_n}). Знания любой из этих величин достаточно, чтобы посчитать (hat a). Возможно много других вариантов достаточной статистики.

Перед формальным определением посмотрим на мотивирующий пример.

Мы хотим оценить неизвестный параметр (a).

Величины (Y_1), (Y_2), , (Y_n) являются случайной выборкой из нормального распределения (cN(5; a)).

Величины (W_1), (W_2), , (W_n) являются случайной выборкой из нормального распределения (cN(5; 27)).

Какая из двух выборок полезна для оценка параметра (a)?

Выборка ((Y_i)) полезна, а выборка ((W_i)) — бесполезна.

И мы можем перейти к формальному определению.

Функция (T=t(Y_1, Y_2, ldots, Y_n)) называется достаточной статистикой для параметра (a), если условный закон распределения

[
(Y_1, Y_2, ldots, Y_n mid T)
]

не зависит от параметра (a).

Другими словами, знание (T) делает выборку (Y_1), (Y_2), , (Y_n) бесполезной для оценивания параметра (a).

Формальное и неформальное определение связаны теоремой о факторизации.

Функция (T=t(Y_1, Y_2, ldots, Y_n)) является достаточной статистикой для параметра (a), если и только если совместная функция плотности наблюдений представима в виде произведения двух функций

[
f(y_1, y_2, ldots, y_n mid a) = g(y_1, y_2, ldots, y_n) cdot h(a, t).
]

Функция (g) не зависит от неизвестного параметра (a), а функция (h) зависит от наблюдений только «через» достаточную статистику (t).

Величины ((Y_i)) независимы и имеют распределение Бернулли с неизвестным параметром (p).

Найдите вероятность (P(Y_1 = 1, Y_2 = 0, Y_3 = 1)).
Найдите вероятность (P(Y_1 = y_1, Y_2 = y_2, ldots, Y_n = y_n)) в общем виде.
Без вычислений, опираясь на интуицию, найдите достаточную статистику для параметра (p).
Найдите вероятность (P(Y_1 = 1, Y_2 = 0, Y_3 = 1 mid T = 1)), где (T=sum Y_i).
Найдите вероятность (P(Y_1 = 1, Y_2 = 0, Y_3 = 1 mid T = 2)), где (T=sum Y_i).
Найдите вероятность (P(Y_1 = y_1, Y_2 = y_2, ldots, Y_n = y_n mid T= t)), где (T=sum Y_i), в общем виде. Убедитесь, что эта вероятность не зависит от (p).

[
P(Y_1 = y_1, Y_2 = y_2, ldots, Y_n = y_n mid T= t) =
begin{cases}
1/C_n^t, text{ если } sum y_i = t \
0, text{ иначе}.
end{cases}
]

Зачем ещё полезна достаточная статистика? С помощью достаточной статистики зачастую можно улучшить другую оценку!

Теорема Рао-Блэквелла-Колмогорова

Если (hat a) — произвольная оценка параметра (a) (не обязательно максимального правдоподобия), а функция (T=t(Y_1, Y_2, ldots, Y_n)) является достаточной статистикой для параметра (a), то новая оценка (hat a’ = E(hat a mid T)) не хуже исходной оценки (hat a) по среднеквадратичной ошибке

[
E[(hat a’ – a)^2] leq E[(hat a – a)^2].
]

Правда, два раза подряд улучшить оценку не получится. Если (hat a’ = E(hat a mid T)), то вторая попытка улучшения, (E(hat a’ mid T)), совпадёт с (hat a’). Новая оценка (hat a’) будет несмещённой, если и только если исходная оценка (hat a) была несмещённой.

Источник

In statistics, a statistic is sufficient with respect to a statistical model and its associated unknown parameter if “no other statistic that can be calculated from the same sample provides any additional information as to the value of the parameter”.^[1] In particular, a statistic is sufficient for a family of probability distributions if the sample from which it is calculated gives no additional information than the statistic, as to which of those probability distributions is the sampling distribution.

A related concept is that of linear sufficiency, which is weaker than sufficiency but can be applied in some cases where there is no sufficient statistic, although it is restricted to linear estimators.^[2] The Kolmogorov structure function deals with individual finite data; the related notion there is the algorithmic sufficient statistic.

The concept is due to Sir Ronald Fisher in 1920. Stephen Stigler noted in 1973 that the concept of sufficiency had fallen out of favor in descriptive statistics because of the strong dependence on an assumption of the distributional form (see Pitman–Koopman–Darmois theorem below), but remained very important in theoretical work.^[3]

Background[edit]

Roughly, given a set of independent identically distributed data conditioned on an unknown parameter theta , a sufficient statistic is a function whose value contains all the information needed to compute any estimate of the parameter (e.g. a maximum likelihood estimate). Due to the factorization theorem (see below), for a sufficient statistic , the probability density can be written as ${displaystyle f_{mathbf {X} }(x)=h(x),g(theta ,T(x))}$ . From this factorization, it can easily be seen that the maximum likelihood estimate of theta will interact with only through . Typically, the sufficient statistic is a simple function of the data, e.g. the sum of all the data points.

More generally, the “unknown parameter” may represent a vector of unknown quantities or may represent everything about the model that is unknown or not fully specified. In such a case, the sufficient statistic may be a set of functions, called a jointly sufficient statistic. Typically, there are as many functions as there are parameters. For example, for a Gaussian distribution with unknown mean and variance, the jointly sufficient statistic, from which maximum likelihood estimates of both parameters can be estimated, consists of two functions, the sum of all data points and the sum of all squared data points (or equivalently, the sample mean and sample variance).

In other words, the joint probability distribution of the data is conditionally independent of the parameter given the value of the sufficient statistic for the parameter. Both the statistic and the underlying parameter can be vectors.

Mathematical definition[edit]

A statistic t = T(X) is sufficient for underlying parameter θ precisely if the conditional probability distribution of the data X, given the statistic t = T(X), does not depend on the parameter θ.^[4]

Alternatively, one can say the statistic T(X) is sufficient for θ if its mutual information with θ equals the mutual information between X and θ.^[5] In other words, the data processing inequality becomes an equality:

{displaystyle I{bigl (}theta ;T(X){bigr )}=I(theta ;X)}

Example[edit]

As an example, the sample mean is sufficient for the mean (μ) of a normal distribution with known variance. Once the sample mean is known, no further information about μ can be obtained from the sample itself. On the other hand, for an arbitrary distribution the median is not sufficient for the mean: even if the median of the sample is known, knowing the sample itself would provide further information about the population mean. For example, if the observations that are less than the median are only slightly less, but observations exceeding the median exceed it by a large amount, then this would have a bearing on one’s inference about the population mean.

Fisher–Neyman factorization theorem[edit]

Fisher’s factorization theorem or factorization criterion provides a convenient characterization of a sufficient statistic. If the probability density function is ƒ_θ(x), then T is sufficient for θ if and only if nonnegative functions g and h can be found such that

${displaystyle f_{theta }(x)=h(x),g_{theta }(T(x)),}$

i.e. the density ƒ can be factored into a product such that one factor, h, does not depend on θ and the other factor, which does depend on θ, depends on x only through T(x). A general proof of this was given by Halmos and Savage^[6] and the theorem is sometimes referred to as the Halmos-Savage factorization theorem.^[7] The proofs below handle special cases, but an alternative general proof along the same lines can be given.^[8]

It is easy to see that if F(t) is a one-to-one function and T is a sufficient
statistic, then F(T) is a sufficient statistic. In particular we can multiply a
sufficient statistic by a nonzero constant and get another sufficient statistic.

Likelihood principle interpretation[edit]

An implication of the theorem is that when using likelihood-based inference, two sets of data yielding the same value for the sufficient statistic T(X) will always yield the same inferences about θ. By the factorization criterion, the likelihood’s dependence on θ is only in conjunction with T(X). As this is the same in both cases, the dependence on θ will be the same as well, leading to identical inferences.

Proof[edit]

Due to Hogg and Craig.^[9] Let $X_{1},X_{2},ldots ,X_{n}$ , denote a random sample from a distribution having the pdf f(x, θ) for ι < θ < δ. Let Y₁ = u₁(X₁, X₂, …, X_n) be a statistic whose pdf is g₁(y₁; θ). What we want to prove is that Y₁ = u₁(X₁, X₂, …, X_n) is a sufficient statistic for θ if and only if, for some function H,

${displaystyle prod _{i=1}^{n}f(x_{i};theta )=g_{1}left[u_{1}(x_{1},x_{2},dots ,x_{n});theta right]H(x_{1},x_{2},dots ,x_{n}).}$

First, suppose that

${displaystyle prod _{i=1}^{n}f(x_{i};theta )=g_{1}left[u_{1}(x_{1},x_{2},dots ,x_{n});theta right]H(x_{1},x_{2},dots ,x_{n}).}$

We shall make the transformation y_i = u_i(x₁, x₂, …, x_n), for i = 1, …, n, having inverse functions x_i = w_i(y₁, y₂, …, y_n), for i = 1, …, n, and Jacobian $J=left[w_{i}/y_{j}right]$ . Thus,

$prod _{i=1}^{n}fleft[w_{i}(y_{1},y_{2},dots ,y_{n});theta right]=|J|g_{1}(y_{1};theta )Hleft[w_{1}(y_{1},y_{2},dots ,y_{n}),dots ,w_{n}(y_{1},y_{2},dots ,y_{n})right].$

The left-hand member is the joint pdf g(y₁, y₂, …, y_n; θ) of Y₁ = u₁(X₁, …, X_n), …, Y_n = u_n(X₁, …, X_n). In the right-hand member, $g_{1}(y_{1};theta )$ is the pdf of $Y_{1}$ , so that $H[w_{1},dots ,w_{n}]|J|$ is the quotient of $g(y_{1},dots ,y_{n};theta )$ and $g_{1}(y_{1};theta )$ ; that is, it is the conditional pdf ${displaystyle h(y_{2},dots ,y_{n}mid y_{1};theta )}$ of $Y_{2},dots ,Y_{n}$ given $Y_{1}=y_{1}$ .

But $H(x_{1},x_{2},dots ,x_{n})$ , and thus $Hleft[w_{1}(y_{1},dots ,y_{n}),dots ,w_{n}(y_{1},dots ,y_{n}))right]$ , was given not to depend upon theta . Since theta was not introduced in the transformation and accordingly not in the Jacobian , it follows that ${displaystyle h(y_{2},dots ,y_{n}mid y_{1};theta )}$ does not depend upon theta and that $Y_{1}$ is a sufficient statistics for theta .

The converse is proven by taking:

${displaystyle g(y_{1},dots ,y_{n};theta )=g_{1}(y_{1};theta )h(y_{2},dots ,y_{n}mid y_{1}),}$

where ${displaystyle h(y_{2},dots ,y_{n}mid y_{1})}$ does not depend upon theta because $Y_{2}...Y_{n}$ depend only upon $X_{1}...X_{n}$ , which are independent on Theta when conditioned by $Y_{1}$ , a sufficient statistics by hypothesis. Now divide both members by the absolute value of the non-vanishing Jacobian , and replace $y_{1},dots ,y_{n}$ by the functions $u_{1}(x_{1},dots ,x_{n}),dots ,u_{n}(x_{1},dots ,x_{n})$ in $x_{1},dots ,x_{n}$ . This yields

${displaystyle {frac {gleft[u_{1}(x_{1},dots ,x_{n}),dots ,u_{n}(x_{1},dots ,x_{n});theta right]}{|J^{*}|}}=g_{1}left[u_{1}(x_{1},dots ,x_{n});theta right]{frac {h(u_{2},dots ,u_{n}mid u_{1})}{|J^{*}|}}}$

where ${displaystyle J^{*}}$ is the Jacobian with $y_{1},dots ,y_{n}$ replaced by their value in terms $x_{1},dots ,x_{n}$ . The left-hand member is necessarily the joint pdf $f(x_{1};theta )cdots f(x_{n};theta )$ of $X_{1},dots ,X_{n}$ . Since ${displaystyle h(y_{2},dots ,y_{n}mid y_{1})}$ , and thus ${displaystyle h(u_{2},dots ,u_{n}mid u_{1})}$ , does not depend upon theta , then

${displaystyle H(x_{1},dots ,x_{n})={frac {h(u_{2},dots ,u_{n}mid u_{1})}{|J^{*}|}}}$

is a function that does not depend upon theta .

Another proof[edit]

A simpler more illustrative proof is as follows, although it applies only in the discrete case.

We use the shorthand notation to denote the joint probability density of by $f_{theta }(x,t)$ . Since is a function of , we have $f_{theta }(x,t)=f_{theta }(x)$ , as long as and zero otherwise. Therefore:

${displaystyle {begin{aligned}f_{theta }(x)&=f_{theta }(x,t)\[5pt]&=f_{theta }(xmid t)f_{theta }(t)\[5pt]&=f(xmid t)f_{theta }(t)end{aligned}}}$

with the last equality being true by the definition of sufficient statistics. Thus $f_{theta }(x)=a(x)b_{theta }(t)$ with ${displaystyle a(x)=f_{Xmid t}(x)}$ and $b_{theta }(t)=f_{theta }(t)$ .

Conversely, if $f_{theta }(x)=a(x)b_{theta }(t)$ , we have

${displaystyle {begin{aligned}f_{theta }(t)&=sum _{x:T(x)=t}f_{theta }(x,t)\[5pt]&=sum _{x:T(x)=t}f_{theta }(x)\[5pt]&=sum _{x:T(x)=t}a(x)b_{theta }(t)\[5pt]&=left(sum _{x:T(x)=t}a(x)right)b_{theta }(t).end{aligned}}}$

With the first equality by the definition of pdf for multiple variables, the second by the remark above, the third by hypothesis, and the fourth because the summation is not over .

Let ${displaystyle f_{Xmid t}(x)}$ denote the conditional probability density of given T(X) . Then we can derive an explicit expression for this:

${displaystyle {begin{aligned}f_{Xmid t}(x)&={frac {f_{theta }(x,t)}{f_{theta }(t)}}\[5pt]&={frac {f_{theta }(x)}{f_{theta }(t)}}\[5pt]&={frac {a(x)b_{theta }(t)}{left(sum _{x:T(x)=t}a(x)right)b_{theta }(t)}}\[5pt]&={frac {a(x)}{sum _{x:T(x)=t}a(x)}}.end{aligned}}}$

With the first equality by definition of conditional probability density, the second by the remark above, the third by the equality proven above, and the fourth by simplification. This expression does not depend on theta and thus is a sufficient statistic.^[10]

Minimal sufficiency[edit]

A sufficient statistic is minimal sufficient if it can be represented as a function of any other sufficient statistic. In other words, S(X) is minimal sufficient if and only if^[11]

S(X) is sufficient, and
if T(X) is sufficient, then there exists a function f such that S(X) = f(T(X)).

Intuitively, a minimal sufficient statistic most efficiently captures all possible information about the parameter θ.

A useful characterization of minimal sufficiency is that when the density f_θ exists, S(X) is minimal sufficient if and only if

${frac {f_{theta }(x)}{f_{theta }(y)}}$

is independent of θ :

S(x) = S(y)

This follows as a consequence from Fisher’s factorization theorem stated above.

A case in which there is no minimal sufficient statistic was shown by Bahadur, 1954.^[12] However, under mild conditions, a minimal sufficient statistic does always exist. In particular, in Euclidean space, these conditions always hold if the random variables (associated with $P_{theta }$ ) are all discrete or are all continuous.

If there exists a minimal sufficient statistic, and this is usually the case, then every complete sufficient statistic is necessarily minimal sufficient^[13](note that this statement does not exclude a pathological case in which a complete sufficient exists while there is no minimal sufficient statistic). While it is hard to find cases in which a minimal sufficient statistic does not exist, it is not so hard to find cases in which there is no complete statistic.

The collection of likelihood ratios ${displaystyle left{{frac {L(Xmid theta _{i})}{L(Xmid theta _{0})}}right}}$ for , is a minimal sufficient statistic if the parameter space is discrete ${displaystyle left{theta _{0},...,theta _{k}right}}$ .

Examples[edit]

Bernoulli distribution[edit]

If X₁, …., X_n are independent Bernoulli-distributed random variables with expected value p, then the sum T(X) = X₁ + … + X_n is a sufficient statistic for p (here ‘success’ corresponds to X_i = 1 and ‘failure’ to X_i = 0; so T is the total number of successes)

This is seen by considering the joint probability distribution:

$Pr{X=x}=Pr{X_{1}=x_{1},X_{2}=x_{2},ldots ,X_{n}=x_{n}}.$

Because the observations are independent, this can be written as

${displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

and, collecting powers of p and 1 − p, gives

${displaystyle p^{sum x_{i}}(1-p)^{n-sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

which satisfies the factorization criterion, with h(x) = 1 being just a constant.

Note the crucial feature: the unknown parameter p interacts with the data x only via the statistic T(x) = Σ x_i.

As a concrete application, this gives a procedure for distinguishing a fair coin from a biased coin.

Uniform distribution[edit]

If X₁, …., X_n are independent and uniformly distributed on the interval [0,θ], then T(X) = max(X₁, …, X_n) is sufficient for θ — the sample maximum is a sufficient statistic for the population maximum.

To see this, consider the joint probability density function of X (X₁,…,X_n). Because the observations are independent, the pdf can be written as a product of individual densities

${displaystyle {begin{aligned}f_{theta }(x_{1},ldots ,x_{n})&={frac {1}{theta }}mathbf {1} _{{0leq x_{1}leq theta }}cdots {frac {1}{theta }}mathbf {1} _{{0leq x_{n}leq theta }}\[5pt]&={frac {1}{theta ^{n}}}mathbf {1} _{{0leq min{x_{i}}}}mathbf {1} _{{max{x_{i}}leq theta }}end{aligned}}}$

where 1_{…} is the indicator function. Thus the density takes form required by the Fisher–Neyman factorization theorem, where h(x) = 1_{{min{x_i}≥0}}, and the rest of the expression is a function of only θ and T(x) = max{x_i}.

In fact, the minimum-variance unbiased estimator (MVUE) for θ is

${frac {n+1}{n}}T(X).$

This is the sample maximum, scaled to correct for the bias, and is MVUE by the Lehmann–Scheffé theorem. Unscaled sample maximum T(X) is the maximum likelihood estimator for θ.

Uniform distribution (with two parameters)[edit]

If $X_{1},...,X_{n}$ are independent and uniformly distributed on the interval (where alpha and beta are unknown parameters), then ${displaystyle T(X_{1}^{n})=left(min _{1leq ileq n}X_{i},max _{1leq ileq n}X_{i}right)}$ is a two-dimensional sufficient statistic for .

To see this, consider the joint probability density function of $X_{1}^{n}=(X_{1},ldots ,X_{n})$ . Because the observations are independent, the pdf can be written as a product of individual densities, i.e.

${begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=prod _{i=1}^{n}left({1 over beta -alpha }right)mathbf {1} _{{alpha leq x_{i}leq beta }}=left({1 over beta -alpha }right)^{n}mathbf {1} _{{alpha leq x_{i}leq beta ,,forall ,i=1,ldots ,n}}\&=left({1 over beta -alpha }right)^{n}mathbf {1} _{{alpha ,leq ,min _{1leq ileq n}X_{i}}}mathbf {1} _{{max _{1leq ileq n}X_{i},leq ,beta }}.end{aligned}}$

The joint density of the sample takes the form required by the Fisher–Neyman factorization theorem, by letting

${begin{aligned}h(x_{1}^{n})=1,quad g_{(alpha ,beta )}(x_{1}^{n})=left({1 over beta -alpha }right)^{n}mathbf {1} _{{alpha ,leq ,min _{1leq ileq n}X_{i}}}mathbf {1} _{{max _{1leq ileq n}X_{i},leq ,beta }}.end{aligned}}$

Since $h(x_{1}^{n})$ does not depend on the parameter and $g_{(alpha ,,,beta )}(x_{1}^{n})$ depends only on $x_{1}^{n}$ through the function ${displaystyle T(X_{1}^{n})=left(min _{1leq ileq n}X_{i},max _{1leq ileq n}X_{i}right),}$

the Fisher–Neyman factorization theorem implies ${displaystyle T(X_{1}^{n})=left(min _{1leq ileq n}X_{i},max _{1leq ileq n}X_{i}right)}$ is a sufficient statistic for .

Poisson distribution[edit]

If X₁, …., X_n are independent and have a Poisson distribution with parameter λ, then the sum T(X) = X₁ + … + X_n is a sufficient statistic for λ.

To see this, consider the joint probability distribution:

${displaystyle Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},ldots ,X_{n}=x_{n}).}$

Because the observations are independent, this can be written as

${displaystyle {e^{-lambda }lambda ^{x_{1}} over x_{1}!}cdot {e^{-lambda }lambda ^{x_{2}} over x_{2}!}cdots {e^{-lambda }lambda ^{x_{n}} over x_{n}!}}$

which may be written as

${displaystyle e^{-nlambda }lambda ^{(x_{1}+x_{2}+cdots +x_{n})}cdot {1 over x_{1}!x_{2}!cdots x_{n}!}}$

which shows that the factorization criterion is satisfied, where h(x) is the reciprocal of the product of the factorials. Note the parameter λ interacts with the data only through its sum T(X).

Normal distribution[edit]

If $X_{1},ldots ,X_{n}$ are independent and normally distributed with expected value theta (a parameter) and known finite variance ${displaystyle sigma ^{2},}$ then

${displaystyle T(X_{1}^{n})={overline {x}}={frac {1}{n}}sum _{i=1}^{n}X_{i}}$

is a sufficient statistic for theta .

To see this, consider the joint probability density function of $X_{1}^{n}=(X_{1},dots ,X_{n})$ . Because the observations are independent, the pdf can be written as a product of individual densities, i.e.

${displaystyle {begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=prod _{i=1}^{n}{frac {1}{sqrt {2pi sigma ^{2}}}}exp left(-{frac {(x_{i}-theta )^{2}}{2sigma ^{2}}}right)\[6pt]&=(2pi sigma ^{2})^{-{frac {n}{2}}}exp left(-sum _{i=1}^{n}{frac {(x_{i}-theta )^{2}}{2sigma ^{2}}}right)\[6pt]&=(2pi sigma ^{2})^{-{frac {n}{2}}}exp left(-sum _{i=1}^{n}{frac {left(left(x_{i}-{overline {x}}right)-left(theta -{overline {x}}right)right)^{2}}{2sigma ^{2}}}right)\[6pt]&=(2pi sigma ^{2})^{-{frac {n}{2}}}exp left(-{1 over 2sigma ^{2}}left(sum _{i=1}^{n}(x_{i}-{overline {x}})^{2}+sum _{i=1}^{n}(theta -{overline {x}})^{2}-2sum _{i=1}^{n}(x_{i}-{overline {x}})(theta -{overline {x}})right)right)\[6pt]&=(2pi sigma ^{2})^{-{frac {n}{2}}}exp left(-{1 over 2sigma ^{2}}left(sum _{i=1}^{n}(x_{i}-{overline {x}})^{2}+n(theta -{overline {x}})^{2}right)right)&&sum _{i=1}^{n}(x_{i}-{overline {x}})(theta -{overline {x}})=0\[6pt]&=(2pi sigma ^{2})^{-{frac {n}{2}}}exp left(-{1 over 2sigma ^{2}}sum _{i=1}^{n}(x_{i}-{overline {x}})^{2}right)exp left(-{frac {n}{2sigma ^{2}}}(theta -{overline {x}})^{2}right)end{aligned}}}$

The joint density of the sample takes the form required by the Fisher–Neyman factorization theorem, by letting

${displaystyle {begin{aligned}h(x_{1}^{n})&=(2pi sigma ^{2})^{-{frac {n}{2}}}exp left(-{1 over 2sigma ^{2}}sum _{i=1}^{n}(x_{i}-{overline {x}})^{2}right)\[6pt]g_{theta }(x_{1}^{n})&=exp left(-{frac {n}{2sigma ^{2}}}(theta -{overline {x}})^{2}right)end{aligned}}}$

Since $h(x_{1}^{n})$ does not depend on the parameter theta and $g_{theta }(x_{1}^{n})$ depends only on $x_{1}^{n}$ through the function

${displaystyle T(X_{1}^{n})={overline {x}}={frac {1}{n}}sum _{i=1}^{n}X_{i},}$

the Fisher–Neyman factorization theorem implies ${displaystyle T(X_{1}^{n})}$ is a sufficient statistic for theta .

If $sigma ^{2}$ is unknown and since ${displaystyle s^{2}={frac {1}{n-1}}sum _{i=1}^{n}left(x_{i}-{overline {x}}right)^{2}}$ , the above likelihood can be rewritten as

${displaystyle {begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2pi sigma ^{2})^{-n/2}exp left(-{frac {n-1}{2sigma ^{2}}}s^{2}right)exp left(-{frac {n}{2sigma ^{2}}}(theta -{overline {x}})^{2}right).end{aligned}}}$

The Fisher–Neyman factorization theorem still holds and implies that ${displaystyle ({overline {x}},s^{2})}$ is a joint sufficient statistic for ${displaystyle (theta ,sigma ^{2})}$ .

Exponential distribution[edit]

If $X_{1},dots ,X_{n}$ are independent and exponentially distributed with expected value θ (an unknown real-valued positive parameter), then $T(X_{1}^{n})=sum _{i=1}^{n}X_{i}$ is a sufficient statistic for θ.

${begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=prod _{i=1}^{n}{1 over theta },e^{{-1 over theta }x_{i}}={1 over theta ^{n}},e^{{-1 over theta }sum _{i=1}^{n}x_{i}}.end{aligned}}$

The joint density of the sample takes the form required by the Fisher–Neyman factorization theorem, by letting

${begin{aligned}h(x_{1}^{n})=1,,,,g_{theta }(x_{1}^{n})={1 over theta ^{n}},e^{{-1 over theta }sum _{i=1}^{n}x_{i}}.end{aligned}}$

Since $h(x_{1}^{n})$ does not depend on the parameter theta and $g_{theta }(x_{1}^{n})$ depends only on $x_{1}^{n}$ through the function $T(X_{1}^{n})=sum _{i=1}^{n}X_{i}$

the Fisher–Neyman factorization theorem implies $T(X_{1}^{n})=sum _{i=1}^{n}X_{i}$ is a sufficient statistic for theta .

Gamma distribution[edit]

If $X_{1},dots ,X_{n}$ are independent and distributed as a , where alpha and beta are unknown parameters of a Gamma distribution, then ${displaystyle T(X_{1}^{n})=left(prod _{i=1}^{n}{X_{i}},sum _{i=1}^{n}X_{i}right)}$ is a two-dimensional sufficient statistic for .

${displaystyle {begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=prod _{i=1}^{n}left({1 over Gamma (alpha )beta ^{alpha }}right)x_{i}^{alpha -1}e^{(-1/beta )x_{i}}\[5pt]&=left({1 over Gamma (alpha )beta ^{alpha }}right)^{n}left(prod _{i=1}^{n}x_{i}right)^{alpha -1}e^{{-1 over beta }sum _{i=1}^{n}x_{i}}.end{aligned}}}$

The joint density of the sample takes the form required by the Fisher–Neyman factorization theorem, by letting

${displaystyle {begin{aligned}h(x_{1}^{n})=1,,,,g_{(alpha ,,,beta )}(x_{1}^{n})=left({1 over Gamma (alpha )beta ^{alpha }}right)^{n}left(prod _{i=1}^{n}x_{i}right)^{alpha -1}e^{{-1 over beta }sum _{i=1}^{n}x_{i}}.end{aligned}}}$

Since $h(x_{1}^{n})$ does not depend on the parameter and $g_{(alpha ,,,beta )}(x_{1}^{n})$ depends only on $x_{1}^{n}$ through the function ${displaystyle T(x_{1}^{n})=left(prod _{i=1}^{n}x_{i},sum _{i=1}^{n}x_{i}right),}$

the Fisher–Neyman factorization theorem implies ${displaystyle T(X_{1}^{n})=left(prod _{i=1}^{n}X_{i},sum _{i=1}^{n}X_{i}right)}$ is a sufficient statistic for

Rao–Blackwell theorem[edit]

Sufficiency finds a useful application in the Rao–Blackwell theorem, which states that if g(X) is any kind of estimator of θ, then typically the conditional expectation of g(X) given sufficient statistic T(X) is a better (in the sense of having lower variance) estimator of θ, and is never worse. Sometimes one can very easily construct a very crude estimator g(X), and then evaluate that conditional expected value to get an estimator that is in various senses optimal.

Exponential family[edit]

According to the Pitman–Koopman–Darmois theorem, among families of probability distributions whose domain does not vary with the parameter being estimated, only in exponential families is there a sufficient statistic whose dimension remains bounded as sample size increases. Intuitively, this states that nonexponential families of distributions on the real line require nonparametric statistics to fully capture the information in the data.

Less tersely, suppose $X_{n},n=1,2,3,dots$ are independent identically distributed real random variables whose distribution is known to be in some family of probability distributions, parametrized by theta , satisfying certain technical regularity conditions, then that family is an exponential family if and only if there is a $mathbb{R} ^{m}$ -valued sufficient statistic $T(X_{1},dots ,X_{n})$ whose number of scalar components does not increase as the sample size n increases.^[14]

This theorem shows that the existence of a finite-dimensional, real-vector-valued sufficient statistics sharply restricts the possible forms of a family of distributions on the real line.

When the parameters or the random variables are no longer real-valued, the situation is more complex.^[15]

Other types of sufficiency[edit]

Bayesian sufficiency[edit]

An alternative formulation of the condition that a statistic be sufficient, set in a Bayesian context, involves the posterior distributions obtained by using the full data-set and by using only a statistic. Thus the requirement is that, for almost every x,

{displaystyle Pr(theta mid X=x)=Pr(theta mid T(X)=t(x)).}

More generally, without assuming a parametric model, we can say that the statistics T is predictive sufficient if

{displaystyle Pr(X'=x'mid X=x)=Pr(X'=x'mid T(X)=t(x)).}

It turns out that this “Bayesian sufficiency” is a consequence of the formulation above,^[16] however they are not directly equivalent in the infinite-dimensional case.^[17] A range of theoretical results for sufficiency in a Bayesian context is available.^[18]

Linear sufficiency[edit]

A concept called “linear sufficiency” can be formulated in a Bayesian context,^[19] and more generally.^[20] First define the best linear predictor of a vector Y based on X as . Then a linear statistic T(x) is linear sufficient^[21] if

{displaystyle {hat {E}}[theta mid X]={hat {E}}[theta mid T(X)].}

Notes[edit]

^ Fisher, R.A. (1922). “On the mathematical foundations of theoretical statistics”. Philosophical Transactions of the Royal Society A. 222 (594–604): 309–368. Bibcode:1922RSPTA.222..309F. doi:10.1098/rsta.1922.0009. JFM 48.1280.02. JSTOR 91208.
^ Dodge, Y. (2003) — entry for linear sufficiency
^ Stigler, Stephen (December 1973). “Studies in the History of Probability and Statistics. XXXII: Laplace, Fisher and the Discovery of the Concept of Sufficiency”. Biometrika. 60 (3): 439–445. doi:10.1093/biomet/60.3.439. JSTOR 2334992. MR 0326872.
^ Casella, George; Berger, Roger L. (2002). Statistical Inference, 2nd ed. Duxbury Press.
^ Cover, Thomas M. (2006). Elements of Information Theory. Joy A. Thomas (2nd ed.). Hoboken, N.J.: Wiley-Interscience. p. 36. ISBN 0-471-24195-4. OCLC 59879802.
^ Halmos, P. R.; Savage, L. J. (1949). “Application of the Radon-Nikodym Theorem to the Theory of Sufficient Statistics”. The Annals of Mathematical Statistics. 20 (2): 225–241. doi:10.1214/aoms/1177730032. ISSN 0003-4851.
^ “Factorization theorem – Encyclopedia of Mathematics”. encyclopediaofmath.org. Retrieved 2022-09-07.
^ Taraldsen, G. (2022). “The Factorization Theorem for Sufficiency”. Preprint. doi:10.13140/RG.2.2.15068.87687.
^ Hogg, Robert V.; Craig, Allen T. (1995). Introduction to Mathematical Statistics. Prentice Hall. ISBN 978-0-02-355722-4.
^ “The Fisher–Neyman Factorization Theorem”.. Webpage at Connexions (cnx.org)
^ Dodge (2003) — entry for minimal sufficient statistics
^ Lehmann and Casella (1998), Theory of Point Estimation, 2nd Edition, Springer, p 37
^ Lehmann and Casella (1998), Theory of Point Estimation, 2nd Edition, Springer, page 42
^ Tikochinsky, Y.; Tishby, N. Z.; Levine, R. D. (1984-11-01). “Alternative approach to maximum-entropy inference”. Physical Review A. 30 (5): 2638–2644. Bibcode:1984PhRvA..30.2638T. doi:10.1103/physreva.30.2638. ISSN 0556-2791.
^ Andersen, Erling Bernhard (September 1970). “Sufficiency and Exponential Families for Discrete Sample Spaces”. Journal of the American Statistical Association. 65 (331): 1248–1255. doi:10.1080/01621459.1970.10481160. ISSN 0162-1459.
^ Bernardo, J.M.; Smith, A.F.M. (1994). “Section 5.1.4”. Bayesian Theory. Wiley. ISBN 0-471-92416-4.
^ Blackwell, D.; Ramamoorthi, R. V. (1982). “A Bayes but not classically sufficient statistic”. Annals of Statistics. 10 (3): 1025–1026. doi:10.1214/aos/1176345895. MR 0663456. Zbl 0485.62004.
^ Nogales, A.G.; Oyola, J.A.; Perez, P. (2000). “On conditional independence and the relationship between sufficiency and invariance under the Bayesian point of view”. Statistics & Probability Letters. 46 (1): 75–84. doi:10.1016/S0167-7152(99)00089-9. MR 1731351. Zbl 0964.62003.
^ Goldstein, M.; O’Hagan, A. (1996). “Bayes Linear Sufficiency and Systems of Expert Posterior Assessments”. Journal of the Royal Statistical Society. Series B. 58 (2): 301–316. JSTOR 2345978.
^ Godambe, V. P. (1966). “A New Approach to Sampling from Finite Populations. II Distribution-Free Sufficiency”. Journal of the Royal Statistical Society. Series B. 28 (2): 320–328. JSTOR 2984375.
^ Witting, T. (1987). “The linear Markov property in credibility theory”. ASTIN Bulletin. 17 (1): 71–84. doi:10.2143/ast.17.1.2014984.

References[edit]

Kholevo, A.S. (2001) [1994], “Sufficient statistic”, Encyclopedia of Mathematics, EMS Press
Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
Dodge, Y. (2003) The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9

Источник

Материал из MachineLearning.

Перейти к: навигация, поиск

Статистика назвается достаточной для параметра theta , если условное распределение выборки при условии того, что T_n=a , не зависит от параметра theta для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением. Если T_n — достаточная статистика, а — несмещенная оценка параметра theta , тогда условное математическое ожидание $mathbb{E}(widehattheta_n|T_n)$ является также несмещенной оценкой параметра theta , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание $mathbb{E}(widehattheta_n|T_n)$ есть случайная величина, являющаяся функцией от T_n . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке X^n .

Содержание

1 Критерий факторизации
2 Примеры
- 2.1 Вероятность успеха в последовательности испытаний Бернулли
- 2.2 Распределение Пуассона

Критерий факторизации

Пусть $p_{theta}(x)$ — плотность распределения выборки в абсолютно непрерывном случае. Тогда статистика T_n(x) является достаточной для параметра theta тогда и только тогда, когда может быть представлена в виде произведения двух сомножителей:

$p_{theta}(x)=g_{theta}left(T_nleft(xright)right)cdot hleft(xright),$

первый из которых зависит от выборки только через значение статистики T_n, а второй не зависит от параметра theta.

В случае дискретного распределения случайной величины верно аналогичное утверждение для вероятности $P_{theta}(x)=Pleft{X_n=xright}$ и равенства

$P_{theta}(x)=g_{theta}left(T_nleft(xright)right)cdot hleft(xright).$

Примеры

Вероятность успеха в последовательности испытаний Бернулли

Пусть мы имеем дело с последовательностью испытаний Бернулли: испытания проводятся с неизвестной постоянной вероятностью успеха X_i=1 означает успех, X_i=1 — неудачу.

Выборка содержит информацию о количестве успехов в серии испытаний и порядке их появления. С точки зрения задачи оценивания параметра порядок появления не даёт нам никакой информации. Если известно, что число успехов в последовательности испытаний sum X_i равно , то все перестановок успехов равновероятны вне зависимости от

Зная только лишь sum X_i и не имея никакой другой информации о X_i и можно, используя таблицу случайных чисел, сконструировать множество случайных величин совместное распределение которых будет таким же, как совместное распределение Таким образом, с точки зрения задачи оценивания параметра информация, содержащаяся в X_i , эквивалентна совокупности информации, имеющейся в sum X_i и в таблице случайных чисел.

Распределение Пуассона

Пусть — совокупность независимых одинаково распределённых величин, имеющих распределение Пуассона с параметром lambda. Тогда

$P_{lambda}left(x_1,x_2,ldots,x_nright) = frac{lambda^{sum x_i} e^{-nlambda}}{prod_{j=1}^n x_j!}.$

Из вида данного распределения по критерию факторизации можно заключить, что является достаточной статистикой для оценивания lambda:

$h(x) = frac{1}{prod_{j=1}^n x_j!}$

— не зависит от lambda,

$g_{lambda}left(T_nleft(xright) right) = lambda^{T_nleft(xright)} e^{-nlambda}$

— зависит от выборки только через значение статистики

Источник

Определение
3.11.

Статистика
называетсядостаточной
для параметра
,
если условная плотность вероятности
(или условная вероятность в дискретном
случае)
случайного векторапри условиине зависит от параметра.

Теорема
3.12.
(критерий факторизации)

Пусть
– наблюдение и– функция правдоподобия вектора.
Статистикаявляется достаточной для параметратогда и только тогда, когда функция
правдоподобияимеет вид:

где
инекоторые функции.

Доказательство:

Рассмотрим
доказательство для только для случая,
когда все случайные величины
()
дискретны.

1)
Пусть статистика
является достаточной для параметра,
покажем, что:

Функция
правдоподобия
равна вероятности события:

Рассмотрим
событие
.
Легко видеть, что если при некоторомвыполняются равенства,
…,,
то при этом жевыполняется равенство,
поэтому, очевидно:

откуда
следует, что совместное наступление
событий
иесть событие:

то
есть,

Отсюда
следует равенство для вероятностей
событий:

Вероятность
справа представим по формуле умножения
как произведение условной и безусловной
вероятностей:

Условная
вероятность, есть условное распределение
вектора
при условии:

Поскольку
статистика
является достаточной для параметра,
то функцияне зависит от параметраи может зависеть только от,
…,:

Безусловная
вероятность
очевидно зависит от величиныи, возможно, от параметра:

Таким
образом, для функции правдоподобия
получим:

2)
Пусть имеет место разложение
,
покажем, что в этом случае статистикадостаточна для параметра,
то есть условная вероятностьне зависит от параметра.
По определению условной вероятности:

Если
,
то вероятность, стоящая в числителе
равна нулю независимо от значения
параметра.
В точке:

Таким
образом,

Выражение,
стоящее справа, очевидно, не зависит от
параметра
,
поэтому условная вероятностьне зависит от параметра,
и следовательно статистикадостаточна для параметра.

Теорема
доказана.

Следствие

Пусть
выполнены условия теоремы 3.4 и
– эффективная оценка, тогда– статистика достаточная для параметра.

Действительно,
при выполнении условий теоремы 3.4
согласно утверждению 3.10 имеет место
следующая факторизация функции
правдоподобия:

Положим,
и,
тогда:

и
по теореме 3.12 статистика
является достаточной для параметра.

Таким
образом, при выполнении некоторых
условий эффективная оценка является
достаточной статистикой. К сожалению,
обратное не всегда верно: достаточная
статистика не обязательно является
эффективной оценкой.

Следствие

Пусть
– статистика, достаточная для параметраи– статистика, через которую можно
выразить статистику,
то есть,

тогда
статистика
тоже достаточна для параметра.

Действительно,
если
– статистика, достаточная для параметра,
то по теореме 3.12 для функции правдоподобия
получим факторизацию:

подставляя
сюда выражение статистики
,
через статистику,

получим
факторизацию:

откуда
по теореме 3.12 (в обратную сторону)
статистика
является достаточной для параметра.

Теорема
3.13
(Блекуэлл)

Пусть
– несмещенная оценка,– статистика, достаточная для параметраи случайная величинаявляется условным математическим
ожиданием величиныпри условии:

тогда

1)
случайная величина
является статистикой;

2)
;

3)
.

Доказательство:

1)
Заметим, что условная случайная величина:

(3.6)

где
условное распределение случайного
векторапри условии.
Посколькуявляется статистикой достаточной для
параметра,
то по определению, условная плотностьот параметране зависит. Таким образом, справа в (3.6)
под интегралом расположены функции,
которые от параметране зависят, и следовательно интеграл
является функцией только,
поэтому случайная величина,
является статистикой, поскольку зависит
только от наблюдения:

2)
Вычислим математическое ожидание
,
воспользовавшись свойством условного
математического ожидания:

поскольку
является несмещенной оценкой.

3)
Представим дисперсию
с помощью условного математического
ожидания и условной дисперсии:

Во
втором слагаемом справа
,
поэтому:

поскольку
условная дисперсия неотрицательна
случайная величина,
,
то и математическое ожидание от
неотрицательной величины условной
дисперсии неотрицательно,:

Теорема
доказана.

Утверждение
3.14.

Пусть
– оптимальная оценка в классе несмещенных
оценок(то есть– эффективная оценка)
и– статистика достаточная для параметра,
тогда статистикаявляется функцией:

где
некоторая функция.

Доказательство:

Определим
статистику
следующим образом:

тогда
по теореме 3.13 оценка
является несмещенной:

и
кроме того,

Оценка
является оптимальной в классе несмещенных
оценок,
и следовательно среди всех несмещенных
оценок имеет наименьшую дисперсию,
поэтому для всякой несмещенной оценки,
в том числе и для:

Из
двух неравенств следует, что

Таким
образом, статистика
также является оптимальной оценкой в
классе несмещенных оценок,
но несмещенная оптимальная оценка
единственна (утверждение1.12),
отсюда статистики
исовпадают:

Статистика
является условным математическим
ожиданием, и следовательно является
функцией,
поэтому:

Утверждение
доказано.

Достаточные
статистики кроме ранее отмеченных
свойств имеют одно примечательное
свойство, следующее непосредственно
из определения. Поскольку условная
плотность вероятности (или вероятность
в дискретном случае)
случайного векторапри известном значении достаточной
статистикине зависит от параметра,
то «количество информации» о параметре,
содержащееся в наблюдении,
равно «количеству информации» о параметре,
содержащейся в достаточной статистике.
Указанное свойство позволяет не хранить
реализацию наблюдения,
а вычислять значение достаточной
статистикии хранить вычисленное значение. В случае,
когда размерность достаточной статистикименьше количества случайных величин
наблюдения,
указанный подход позволяет «сжимать
данные» без потери информации о параметре
в статистическом смысле.

Более
того, для каждой статистической процедуры
,
основанной на использовании наблюдения,
может быть построена «эквивалентная»
процедура,
основанная на достаточной статистике.
Действительно, пусть в результате
некоторого эксперимента случайный
векторприобрел конкретное числовое значение.
Вычислим значение достаточной статистикии векторотбросим (он более не требуется). Далее,
поскольку условная плотность вероятностислучайного векторане зависит от неизвестного параметра,
то может быть построен генератор
случайного вектора,
на вход которого подается значение
достаточной статистики.
На выходе генератора будет получен
числовой вектор,
вообще говоря, отличный от исходного
вектора.
Однако вектортакже будет реализацией вектора,
поэтому можно считать вектор«равноценным» вектору.
Затем, статистическая процедураприменяется уже к вектору.