Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.
Рассмотрим задачу о нахождении распределения параметра
(рассматриваемого как случайная величина) по имеющемуся наблюдению
. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности
и функции правдоподобия
по формуле:
![{\displaystyle \displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{range}}\;\theta }p(x|\theta )\,p(\theta )\,d\theta }}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/af93d0eec9afb3cd16c92d85e78163f0d44542f9)
Если апостериорное распределение
принадлежит тому же семейству вероятностных распределений, что и априорное распределение
(т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия
. При этом распределение
называется сопряжённым априорным распределением к семейству функций правдоподобия
.
Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.
Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром
(вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:
![{\displaystyle p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f3821a27440d226a5a9015cfc350d71678d22ed4)
где
и
выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор
= 1 and
= 1 даст равномерное распределение), а Β(
,
) — бета-функция, служащая здесь для нормализации вероятности.
Параметры
и
часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).
Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:
![{\displaystyle P(s,f|q=x)={s+f \choose s}x^{s}(1-x)^{f},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/02788e5c8e9d01eefece1455a308313538a78660)
![{\displaystyle p(q=x|s,f)={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1020ab21ea0737439c45cbf320dc81dc019fc08b)
Это апостериорное распределение также оказывается распределённым по закону бета-распределения.
В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений
. Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.
Функция правдоподобия |
Параметр |
Сопряжённое семейство распределений |
Гиперпараметры априорного распределения |
Гиперпараметры апостериорного распределения
|
Бернулли |
p |
Бета |
![{\displaystyle \alpha ,\,\beta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cbd20102c2aca648ea5ce1bad71f6ea02d65ac9) |
|
Биномиальное |
p |
Бета |
![{\displaystyle \alpha ,\,\beta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cbd20102c2aca648ea5ce1bad71f6ea02d65ac9) |
|
Отрицательное биномиальное |
p |
Бета |
![{\displaystyle \alpha ,\,\beta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cbd20102c2aca648ea5ce1bad71f6ea02d65ac9) |
|
Пуассона |
λ |
Гамма |
![{\displaystyle k,\,\theta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/8017bcba94bb1a0b30623974b93beb7246ae3984) |
|
Пуассона |
λ |
Гамма |
[1] |
|
Мультиномиальное |
p (вектор вероятностей) |
Дирихле |
![{\displaystyle {\vec {\alpha }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/74b66e3c1118363d17c9e55e1858c8e402b25c70) |
|
Геометрическое |
p0 (вероятность) |
Бета |
![{\displaystyle \alpha ,\,\beta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cbd20102c2aca648ea5ce1bad71f6ea02d65ac9) |
|
Функция правдоподобия |
Параметр |
Сопряжённое семейство распределений |
Гиперпараметры априорного распределения |
Гиперпараметры апостериорного распределения
|
Равномерное |
![{\displaystyle U(0,\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/60084618851d12575528c274a93e6ebd3e0495aa) |
Парето |
![{\displaystyle x_{m},\,k}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cca4b965dcf6b908ab6288f3b77797e8d954eca9) |
|
Экспоненциальное |
λ |
Гамма |
[2] |
|
Нормальное с известной дисперсией σ2 |
μ |
Нормальное |
![{\displaystyle \mu _{0},\,\sigma _{0}^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/55122e2110d80032f569fc9857cf849e17cc7df8) |
|
Нормальное с известным τ = 1/σ2
|
μ |
Нормальное |
![{\displaystyle \mu _{0},\,\tau _{0}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/125302624f57bac81824eb2bc8f5756ffcb11659) |
|
Нормальное с известным средним μ |
σ2 |
Scaled inverse chi-square |
![{\displaystyle \nu ,\,\sigma _{0}^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/284baaae0465df620056d7d3482485f95337f1eb) |
|
Нормальное с известным средним μ |
τ (= 1/σ2) |
Гамма |
[2] |
|
Нормальное с известным средним μ |
σ2 |
Обратное гамма-распределение |
![{\displaystyle \mathbf {\alpha ,\,\beta } }](https://wikimedia.org/api/rest_v1/media/math/render/svg/a16df8ef2c0bedf5622c156c4888c614c9db5bfc) |
|
Парето |
k |
Гамма |
![{\displaystyle \alpha ,\,\beta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cbd20102c2aca648ea5ce1bad71f6ea02d65ac9) |
|
Парето |
xm |
Парето |
![{\displaystyle x_{0},\,k_{0}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7600fce5f4b3cf2e4b49a3ef5635b5269d12ef5b) |
при условии .
|
Гамма с известной α[1] |
β (inverse scale) |
Гамма |
![{\displaystyle \alpha _{0},\,\beta _{0}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7b1e954e34716d54423ae509db171d69a59e73d0) |
|
- DeGroot, Morris H. Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published in 1970.) ISBN 0-471-68029-X.