Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.
Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.
Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.
В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)
- Пусть , — два случайных вектора размерности и соответственно. Пусть также случайные величины имеют конечный второй момент (дисперсию), то есть . Тогда матрицей ковариации векторов называется
то есть
- ,
где
- ,
- — математическое ожидание.
- Если , то называется матрицей ковариации вектора и обозначается .[1] Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).
- Сокращённая формула для вычисления матрицы ковариации:
- .
- .
В самом деле, из свойства 5 следует, что при линейном преобразовании случайной величины с ковариационной матрицей линейным оператором так что , матрица ковариации преобразуется по закону
- .
Поскольку матрица симметрична, то она диагонализуема линейным ортогональным преобразованием, т.е. найдётся такая ортогональная матрица (при этом ), что
и — собственные числа . Но это означает, что такая матрица является ковариационной для величины , и на диагонали стоят дисперсии элементов . Поскольку же дисперсия всегда неотрицательна, то для любого . Но сказанное и означает, что матрица неотрицательно определена.
- .
- Если случайные векторы и нескоррелированы (), то
- .
- ,
где — произвольная матрица размера , а .
- Матрица ковариации аддитивна по каждому аргументу:
- ,
- .
- Если и независимы, то
- .
Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.
Пусть случайные векторы и имеют совместное нормальное распределение с математическими ожиданиями , ковариационными матрицами и матрицей ковариаций . Это означает, что объединенный случайный вектор
подчиняется многомерному нормальному распределению с вектором математического ожидания
и ковариационной матрицей которую можно представить в виде следующей блочной матрицы
где
Тогда случайный вектор при заданном значении случайного вектора имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей
Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора от заданного значения x случайного вектора ), причем матрица - матрица коэффициентов регрессии.
Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора на вектор .
В случае если - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии на вектор )
- ↑ 1 2 А. Н. Ширяев. Глава 2, §6. Случайные величины II // Вероятность. — 3-е изд. — Cambridge, New York,...: МЦНМО, 2004. — Т. 1. — С. 301. — 520 с.