Канонический корреляционный анализ (Tgukuncyvtnw tkjjylxenkuudw gugln[)

Канонический корреляционный анализ (ККА, англ. Canonical Correlation Analysis, CCA) — это способ получения информации из матриц взаимной корреляции. Если у нас есть два вектора $X=(X_{1},\dots ,X_{n})$ и $Y=(Y_{1},\dots ,Y_{m})$ случайных величин, и имеются корреляции среди этих переменных, тогда канонический корреляционный анализ найдёт линейную комбинацию X и Y, которая имеет максимум корреляции. Т. Р. Кнапп заметил, что «практически все общеупотребительные параметрические тесты значимости могут трактоваться как специальный случай канонического корреляционного анализа, который является общей процедурой для исследования связей между двумя наборами переменных». Первым метод представил Гарольд Хотеллинг в 1936.

Определение

Если даны два вектор-столбца $X=(x_{1},\dots ,x_{n})'$ и $Y=(y_{1},\dots ,y_{m})'$ случайных величин с конечными вторыми моментами, можно определить взаимную корреляцию $\Sigma _{XY}=\operatorname {cov} (X,Y)$ как $n\times m$ матрицу, элементы $(i,j)$ которой являются ковариациями $\operatorname {cov} (x_{i},y_{j})$. На практике мы оцениваем ковариационную матрицу, основываясь на выборочных данных из $X$ и $Y$ (т.е. из пары матриц данных).

Канонический корреляционный анализ ищет вектора $a$ ($a$$\in \mathbb {R} ^{n}$ ) и $b$ ($b\in \mathbb {R} ^{m}$), такие что случайные величины $a'^{T}X$ и $b'^{T}Y$ максимизируют корреляцию $\rho =\operatorname {corr} (a'^{T}X,b'^{T}Y)$. Случайные величины $U=a'^{T}X$ и $V=b'^{T}Y$ являются первой парой канонических переменных. Затем ищутся вектора, максимизирующие ту же корреляцию с ограничением, что они не коррелируют с первой парой канонических переменных, это даёт вторую пару канонических переменных. Эта процедура может продолжаться до $\min\{m,n\}$ раз.

$$(a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)$$

Вычисление

Вывод

Пусть $\Sigma _{XX}=\operatorname {cov} (X,X)$ и $\Sigma _{YY}=\operatorname {cov} (Y,Y)$. Максимизируемый параметр

$\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T}\Sigma _{YY}b}}}}.$

На первом шаге осуществляем замену базиса и определяем

$c=\Sigma _{XX}^{1/2}a,$

$d=\Sigma _{YY}^{1/2}b.$

Тогда мы имеем

$\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.$

По неравенству Коши — Буняковского мы получим

$\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2},$

$\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}}.$

Неравенство превращается в равенство, если вектора $d$ и $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ коллинеарны. В дополнение, максимум корреляции достигается, когда $c$ является собственным вектором с максимальным собственным значением для матрицы $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$ (см. Отношение Рэлея). Следующая пара находится при использовании следующего по величине собственного значения. Ортогональность гарантируется симметрией корреляционных матриц.

Решение

Решение:

• $c$ является собственным вектором $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$
• $d$ пропорционально $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Соответственно, также

• $d$ является собственным вектором $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}$
• $c$ пропорционально $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

При обратном изменении координат получаем

• $a$ является собственным вектором $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$,
• $b$ пропорционально $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
• $b$ является собственным вектором $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
• $a$ пропорционально $\Sigma _{XX}^{-1}\Sigma _{XY}b$.

Канонические переменные определяются равенствами:

$U=c'\Sigma _{XX}^{-1/2}X=a'X$

$V=d'\Sigma _{YY}^{-1/2}Y=b'Y$

Имплементация

ККА может быть вычислен с помощью сингулярного разложения корреляционной матрицы. Каноническая корреляция доступна как функция в следующих системах.

• MATLAB — функция canoncorr (а также в Octave).
• R — стандартная функция cancor и некоторые другие пакеты. CCP для статистической проверки гипотез в каноническом корреляционном анализе.
• SAS — процедура cancorr.
• scikit-learn, Python — пакет Cross decomposition.
• SPSS — макро CanCorr, поставляемый с главным пакетом.

Проверка гипотез

Каждая строка проверяется на значимость с помощью следующего метода. Поскольку корреляции отсортированы, из утверждения, что строка $i$ нулевая, вытекает, что все дальнейшие корреляции также равны нулю. Если мы имеем $p$ независимых наблюдений в выборке и ${\widehat {\rho }}_{i}$ является расчётной корреляцией для $i=1,\dots ,\min\{m,n\}$, для $i$-ой строки критерием значимости будет:

$\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),$

которое асимптотически распределено как хи-квадрат с $(m-i+1)(n-i+1)$ степенями свободы для больших $p$. Поскольку все корреляции от $\min\{m,n\}$ до $p$ равны нулю, произведение членов после этой точки не имеют значения.

Практическое использование

Типичное использование канонической корреляции в экспериментальном контексте заключается в рассмотрении двух наборов переменных и изучении, что общего в этих двух наборах . Например, в психологических исследованиях можно взять два установившихся многофакторных личностных теста, таких как Миннесотский многоаспектный личностный опросник (MMPI-2) и NEO. Рассматривая, как факторы MMPI-2 относятся к факторам NEO, можно обнаружить, какие характеристики оказались общими для двух тестов и насколько переменные являются общими. Например, можно обнаружить, что такие характеристики, как экстраверсия или невротизм, составляют существенную часть общих переменных для двух тестов.

Можно также использовать канонический корреляционный анализ для получения равенства, которое связывает два набора переменных, например, набора измерений производительности и набора объясняющих переменных, или набора выхода и набора входа. На такую модель могут быть наложены ограничивающие условия для обеспечения теоретических или интуитивно очевидных требований. Этот тип модели известен как модель максимальной корреляции.

Визуализация результатов канонической корреляции осуществляется обычно через столбцовый график коэффициентов двух наборов переменных для пар канонических переменных, показывающий значимую корреляцию. Некоторые авторы предлагают, что лучше визуализировать результаты на гелиографе, который представляет собой круговой график с лучами в виде столбцов, половина из которых представляет один набор переменных, а другая половина — второй набор.

Примеры

Пусть $X=x_{1}$ с нулевым математическим ожиданием, т.е. $\operatorname {E} (X)=0$. Если $Y=X$, т.е. $X$ и $Y$ полностью коррелированны, тогда, к примеру, $a=1$ и $b=1$, так что первая (только для этого примера) пара канонических переменных равна $U=X$ и $V=Y=X$. Если $Y=-X$, т.е. $X$ и $Y$ полностью антикоррелированны, то $a=1$ и $b=-1$, так что первая (только для этого примера) пара канонических переменных равна $U=X$ и $V=-Y=X$. Заметим, что в обоих случаях $U=V$, что показывает, что канонический корреляционный анализ работает с коррелированными переменными точно так же, как и с антикоррелированными.

Связь с главными углами

Предположим, что $X=(x_{1},\dots ,x_{n})'$ и $Y=(y_{1},\dots ,y_{m})'$ имеют нулевые математические ожидания, т.е. $\operatorname {E} (X)=\operatorname {E} (Y)=0$. Их ковариационные матрицы $\Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']$ и $\Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']$ можно рассматривать как матрицы Грама со скалярным произведением для $X$ и $Y$ соответственно. В такой интерпретации случайные величины, элементы $x_{i}$ вектора $X$ и элементы $y_{j}$ вектора $Y$, трактуются как элементы векторного пространства со скалярным произведением, задаваемым ковариацией $\operatorname {cov} (x_{i},y_{j})$.

Определение канонических переменных $U$ и $V$ тогда эквивалентно определению корневых векторов для пар подпространств, натянутых на $X$ и $Y$, с учётом этого скалярного произведения. Каноническая корреляция $\operatorname {corr} (U,V)$ равна косинусу угла между подпространствами.

Отбеливание и вероятностный канонический корреляционный анализ

ККА можно также рассматривать как специальное отбеливающее преобразование, где случайные вектора $X$ и $Y$ одновременно преобразуются таким образом, что матрица взаимной корреляции между отбеленными векторами $X^{CCA}$ и $Y^{CCA}$ является диагональной.

Канонические корреляции тогда интерпретируется как коэффициенты регрессии, связывающие $X^{CCA}$, и $Y^{CCA}$ и они могут быть отрицательными. Взгляд на ККА как на регрессию даёт способ построения латентной переменной порождающей вероятностной модели для ККА с некоррелируемыми скрытыми переменными, представляющими общую и частную дисперсию.

См. также

• Обобщённая каноническая корреляция
• Полилинейное обучение подпространств
• Коэффициент RV
• Углы между гиперплоскостями
• Метод главных компонент
• Линейный дискриминантный анализ
• Сингулярное разложение
• Регрессия частных наименьших квадратов

Ссылки

• Discriminant Correlation Analysis (DCA)
  • Haghighat M., Abdel-Mottaleb M., Alhalabi W. Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition. IEEE Transactions on Information Forensics and Security]. — 2016. — Т. 11(9). (MATLAB)
• Hardoon D., Szedmak S., Shawe-Taylor J. Canonical Correlation Analysis: An Overview with Application to Learning Methods // Neural Computation. — 2004. — Т. 16, вып. 12. — P. 2639–2664. — doi:10.1162/0899766042321814. — PMID 15516276.
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores (Приведена программа на языке FORTRAN)- Journal of Quantitative Economics 7(2), 2009, pp. 173–199
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Приведена программа на языке FORTRAN)- Journal of Applied Economic Sciences 4(1), 2009, стр. 115–124