Дельта-метод (статистика) (:yl,mg-bymk; (vmgmnvmntg))

Дельта-метод (в статистике) — вероятностное распределение функции от асимптотически нормальной статистической оценки при известной асимптотической дисперсии этой оценки.

Одномерный дельта-метод

Хотя дельта-метод легко обобщается до многомерного случая, аккуратное обоснование этой техники проще продемонстрировать в одномерной постановке задачи. Грубо говоря, если существует последовательность случайных величин X_n , удовлетворяющая:

${{\sqrt {n}}[X_{n}-\theta ]\,{\xrightarrow {D}}\,{\mathcal {N}}(0,\sigma ^{2})}$

где θ и σ² - конечные константы, а ${\xrightarrow {D}}$ обозначает сходимость по распределению, то верно:

${{\sqrt {n}}[g(X_{n})-g(\theta )]\,{\xrightarrow {D}}\,{\mathcal {N}}(0,\sigma ^{2}[g'(\theta )]^{2})}$

для любой функции g, такой, что  g′(θ) существует, принимает ненулевые значения, и полиномиально ограничена случайной величиной.

Доказательство в одномерном случае

Демонстрация этого результата довольно очевидна в предположении, что g′(θ) непрерывна. 

По формуле Лагранжа: $g(X_{n})=g(\theta )+g'({\tilde {\theta }})(X_{n}-\theta ),$

где ${\tilde {\theta }}$ лежит между X_n и θ.

Поскольку  $X_{n}\,{\xrightarrow {P}}\,\theta$ и$X_{n}<{\tilde {\theta }}<\theta$, то ${\tilde {\theta }}\,{\xrightarrow {P}}\,\theta$ , и поскольку g′(θ) непрерывна, применение теоремы о непрерывном отображении даёт:

$g'({\tilde {\theta }})\,{\xrightarrow {P}}\,g'(\theta ),$

где ${\xrightarrow {P}}$ обозначает сходимость по вероятности.

Перестановка слагаемых и умножение на  ${\sqrt {n}}$ даёт ${\sqrt {n}}[g(X_{n})-g(\theta )]=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ].$

Так как ${{\sqrt {n}}[X_{n}-\theta ]{\xrightarrow {D}}{\mathcal {N}}(0,\sigma ^{2})}$ по предположению, то применение теоремы Слуцкого даёт ${{\sqrt {n}}[g(X_{n})-g(\theta )]{\xrightarrow {D}}{\mathcal {N}}(0,\sigma ^{2}[g'(\theta )]^{2})}.$

Это завершает доказательство.

Доказательство с явным порядком приближения

Как вариант, можно добавить ещё один шаг в конце, чтобы выразить степень приближения.

${\begin{aligned}{\sqrt {n}}[g(X_{n})-g(\theta )]&=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ]={\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})+g'(\theta )-g'(\theta )\right]\\&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+{\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})-g'(\theta )\right]\\&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+O_{p}(1)\cdot o_{p}(1)\\&={\sqrt {n}}[X_{n}-\theta ]\left[g'(\theta )\right]+o_{p}(1)\end{aligned}}$

Это говорит о том, что ошибка аппроксимации сходится к 0 по вероятности.

Многомерный дельта-метод

По определению, состоятельная оценка B сходится по вероятности к своему истинному значению β, и зачастую можно применить центральную предельную теорему, чтобы получить асимптотически нормальную оценку:

${\sqrt {n}}\left(B-\beta \right)\,{\xrightarrow {D}}\,N\left(0,\Sigma \right),$

где n -- число наблюдений и Σ -- (симметричная, положительно определённая) ковариационная матрица. Предположим, мы хотим оценить дисперсию скалярной функции h от оценки B. Возьмём первых два члена ряда Тейлора и используя векторную нотацию градиента, мы можем оценить h(B) как

$h(B)\approx h(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )$

что означает, что дисперсия h(B) примерно

${\begin{aligned}\operatorname {Var} \left(h(B)\right)&\approx \operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )\right)\\&=\operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot B-\nabla h(\beta )^{T}\cdot \beta \right)\\&=\operatorname {Var} \left(\nabla h(\beta )^{T}\cdot B\right)\\&=\nabla h(\beta )^{T}\cdot \operatorname {Cov} (B)\cdot \nabla h(\beta )\\&=\nabla h(\beta )^{T}\cdot {\frac {\Sigma }{n}}\cdot \nabla h(\beta )\end{aligned}}$

Можно использовать формулу конечных приращений (для действительнозначных функций нескольких переменных), чтобы увидеть, что это не влияет на приближения в первом порядке^{[[{{{1}}}|?]]}.

Дельта метод утверждает, что

${\sqrt {n}}\left(h(B)-h(\beta )\right)\,{\xrightarrow {D}}\,N\left(0,\nabla h(\beta )^{T}\cdot \Sigma \cdot \nabla h(\beta )\right)$

или в одномерном случае:

${\sqrt {n}}\left(h(B)-h(\beta )\right)\,{\xrightarrow {D}}\,N\left(0,\sigma ^{2}\cdot \left(h^{\prime }(\beta )\right)^{2}\right).$