WikiSort.ru - Не сортированное

ПОИСК ПО САЙТУ | о проекте

Канонический корреляционный анализ (ККА, англ. Canonical Correlation Analysis, CCA) — это способ получения информации из матриц взаимной корреляции^[en]. Если у нас есть два вектора $X=(X_{1},\dots ,X_{n})$ и $Y=(Y_{1},\dots ,Y_{m})$ случайных величин, и имеются корреляции среди этих переменных, тогда канонический корреляционный анализ найдёт линейную комбинацию X и Y, которая имеет максимум корреляции^[1]. Т. Р. Кнапп заметил, что «практически все общеупотребительные параметрические тесты^[en] значимости могут трактоваться как специальный случай канонического корреляционного анализа, который является общей процедурой для исследования связей между двумя наборами переменных»^[2]. Первым метод представил Гарольд Хотеллинг в 1936^[3].

Определение

Если даны два вектор-столбца^[en] $X=(x_{1},\dots ,x_{n})'$ и $Y=(y_{1},\dots ,y_{m})'$ случайных величин с конечными вторыми моментами, можно определить взаимную корреляцию^[en] $\Sigma _{XY}=\operatorname {cov} (X,Y)$ как $n\times m$ матрицу, элементы $(i,j)$ которой являются ковариациями $\operatorname {cov} (x_{i},y_{j})$ . На практике мы оцениваем ковариационную матрицу, основываясь на выборочных данных из $X$ и $Y$ (т.е. из пары матриц данных).

Канонический корреляционный анализ ищет вектора $a$ ( $a$ $\in \mathbb {R} ^{n}$ ) и $b$ ( $b\in \mathbb {R} ^{m}$ ), такие что случайные величины $a'^{T}X$ и $b'^{T}Y$ максимизируют корреляцию $\rho =\operatorname {corr} (a'^{T}X,b'^{T}Y)$ . Случайные величины $U=a'^{T}X$ и $V=b'^{T}Y$ являются первой парой канонических переменных. Затем ищутся вектора, максимизирующие ту же корреляцию с ограничением, что они не коррелируют с первой парой канонических переменных, это даёт вторую пару канонических переменных. Эта процедура может продолжаться до $\min\{m,n\}$ раз.

(a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)

Вычисление

Вывод

Пусть $\Sigma _{XX}=\operatorname {cov} (X,X)$ и $\Sigma _{YY}=\operatorname {cov} (Y,Y)$ . Максимизируемый параметр

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T}\Sigma _{YY}b}}}}.

На первом шаге осуществляем замену базиса^[en] и определяем

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Тогда мы имеем

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

По неравенству Коши — Буняковского мы получим

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2},

\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}}.

Неравенство превращается в равенство, если вектора $d$ и $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ коллинеарны. В дополнение, максимум корреляции достигается, когда $c$ является собственным вектором с максимальным собственным значением для матрицы $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$ (см. Отношение Рэлея). Следующая пара находится при использовании следующего по величине собственного значения. Ортогональность гарантируется симметрией корреляционных матриц.

Решение

Решение:

$c$ является собственным вектором $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$
$d$ пропорционально $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Соответственно, также

$d$ является собственным вектором $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}$
$c$ пропорционально $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

При обратном изменении координат получаем

$a$ является собственным вектором $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$ ,
$b$ пропорционально $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ является собственным вектором $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$a$ пропорционально $\Sigma _{XX}^{-1}\Sigma _{XY}b$ .

Канонические переменные определяются равенствами:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Имплементация

ККА может быть вычислен с помощью сингулярного разложения корреляционной матрицы^[4]. Каноническая корреляция доступна как функция в следующих системах^[5].

MATLAB — функция canoncorr (а также в Octave).
R — стандартная функция cancor и некоторые другие пакеты. CCP для статистической проверки гипотез в каноническом корреляционном анализе.
SAS^[en] — процедура cancorr.
scikit-learn^[en], Python — пакет Cross decomposition.
SPSS — макро CanCorr, поставляемый с главным пакетом.

Проверка гипотез

Каждая строка проверяется на значимость с помощью следующего метода. Поскольку корреляции отсортированы, из утверждения, что строка $i$ нулевая, вытекает, что все дальнейшие корреляции также равны нулю. Если мы имеем $p$ независимых наблюдений в выборке и ${\widehat {\rho }}_{i}$ является расчётной корреляцией для $i=1,\dots ,\min\{m,n\}$ , для $i$ -ой строки критерием значимости будет:

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

которое асимптотически распределено как хи-квадрат с $(m-i+1)(n-i+1)$ степенями свободы для больших $p$ ^[6]. Поскольку все корреляции от $\min\{m,n\}$ до $p$ равны нулю, произведение членов после этой точки не имеют значения.

Практическое использование

Типичное использование канонической корреляции в экспериментальном контексте заключается в рассмотрении двух наборов переменных и изучении, что общего в этих двух наборах ^[7]. Например, в психологических исследованиях можно взять два установившихся многофакторных личностных теста^[en], таких как Миннесотский многоаспектный личностный опросник (MMPI-2) и NEO. Рассматривая, как факторы MMPI-2 относятся к факторам NEO, можно обнаружить, какие характеристики оказались общими для двух тестов и насколько переменные являются общими. Например, можно обнаружить, что такие характеристики, как экстраверсия или невротизм, составляют существенную часть общих переменных для двух тестов.

Можно также использовать канонический корреляционный анализ для получения равенства, которое связывает два набора переменных, например, набора измерений производительности и набора объясняющих переменных, или набора выхода и набора входа. На такую модель могут быть наложены ограничивающие условия для обеспечения теоретических или интуитивно очевидных требований. Этот тип модели известен как модель максимальной корреляции^[8].

Визуализация результатов канонической корреляции осуществляется обычно через столбцовый график коэффициентов двух наборов переменных для пар канонических переменных, показывающий значимую корреляцию. Некоторые авторы предлагают, что лучше визуализировать результаты на гелиографе, который представляет собой круговой график с лучами в виде столбцов, половина из которых представляет один набор переменных, а другая половина — второй набор^[9].

Примеры

Пусть $X=x_{1}$ с нулевым математическим ожиданием, т.е. $\operatorname {E} (X)=0$ . Если $Y=X$ , т.е. $X$ и $Y$ полностью коррелированны, тогда, к примеру, $a=1$ и $b=1$ , так что первая (только для этого примера) пара канонических переменных равна $U=X$ и $V=Y=X$ . Если $Y=-X$ , т.е. $X$ и $Y$ полностью антикоррелированны, то $a=1$ и $b=-1$ , так что первая (только для этого примера) пара канонических переменных равна $U=X$ и $V=-Y=X$ . Заметим, что в обоих случаях $U=V$ , что показывает, что канонический корреляционный анализ работает с коррелированными переменными точно так же, как и с антикоррелированными.

Связь с главными углами

Предположим, что $X=(x_{1},\dots ,x_{n})'$ и $Y=(y_{1},\dots ,y_{m})'$ имеют нулевые математические ожидания, т.е. $\operatorname {E} (X)=\operatorname {E} (Y)=0$ . Их ковариационные матрицы $\Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']$ и $\Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']$ можно рассматривать как матрицы Грама со скалярным произведением для $X$ и $Y$ соответственно. В такой интерпретации случайные величины, элементы $x_{i}$ вектора $X$ и элементы $y_{j}$ вектора $Y$ , трактуются как элементы векторного пространства со скалярным произведением, задаваемым ковариацией $\operatorname {cov} (x_{i},y_{j})$ .

Определение канонических переменных $U$ и $V$ тогда эквивалентно определению корневых векторов для пар подпространств, натянутых на $X$ и $Y$ , с учётом этого скалярного произведения. Каноническая корреляция $\operatorname {corr} (U,V)$ равна косинусу угла между подпространствами.

Отбеливание и вероятностный канонический корреляционный анализ

ККА можно также рассматривать как специальное отбеливающее преобразование^[en]^[10], где случайные вектора $X$ и $Y$ одновременно преобразуются таким образом, что матрица взаимной корреляции между отбеленными векторами $X^{CCA}$ и $Y^{CCA}$ является диагональной^[11].

Канонические корреляции тогда интерпретируется как коэффициенты регрессии, связывающие $X^{CCA}$ , и $Y^{CCA}$ и они могут быть отрицательнымиe. Взгляд на ККА как на регрессию даёт способ построения латентной переменной порождающей вероятностной модели для ККА с некоррелируемыми скрытыми переменными, представляющими общую и частную дисперсию.

См. также

Обобщённая каноническая корреляция^[en]
Полилинейное обучение подпространств^[en]
Коэффициент RV^[en]
Углы между гиперплоскостями^[en]
Метод главных компонент
Линейный дискриминантный анализ
Сингулярное разложение
Регрессия частных наименьших квадратов^[en]

Примечания

↑ Härdle, Simar, 2007, с. 321–330.
↑ Knapp, 1978, с. 410–416.
↑ Hotelling, 1936, с. 321–377.
↑ Hsu, Kakade, Zhang, 2012, с. 1460.
↑ Huang, Lee, Hsiao, 2009, с. 2162.
↑ Mardia, Kent, Bibby, 1979.
↑ Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018.
↑ Tofallis, 1999, с. 371–378.
↑ Degani, Shafto, Olson, 2006, с. 93.
↑ Отбеливающе преобразование преобразует вектор случайных величин с помощью линейного преобразования в белый шум
↑ Jendoubi, Strimmer, 2018.

Литература

Wolfgang Härdle, Léopold Simar. Canonical Correlation Analysis // Applied Multivariate Statistical Analysis. — 2007. — ISBN 978-3-540-72243-4. — DOI:10.1007/978-3-540-72244-1_14.
Knapp T. R. Canonical correlation analysis: A general parametric significance-testing system // Psychological Bulletin. — 1978. — Т. 85, вып. 2. — DOI:10.1037/0033-2909.85.2.410.
Kanti V. Mardia, J. T. Kent, J. M. Bibby. Multivariate Analysis. — Academic Press, 1979.
Hotelling H. Relations Between Two Sets of Variates // Biometrika. — 1936. — Т. 28, вып. 3–4. — DOI:10.1093/biomet/28.3-4.321.
Hsu D., Kakade S. M., Zhang T. A spectral algorithm for learning Hidden Markov Models // Journal of Computer and System Sciences. — 2012. — Т. 78, вып. 5. — DOI:10.1016/j.jcss.2011.12.025. — arXiv:0811.4413.
Huang S. Y., Lee M. H., Hsiao C. K. Nonlinear measures of association with kernel canonical correlation analysis and applications // Journal of Statistical Planning and Inference. — 2009. — Т. 139, вып. 7. — DOI:10.1016/j.jspi.2008.10.011.
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Audiovisual Synchrony Detection with Optimized Audio Features // IEEE 3rd Int. Conference on Signal and Image Processing (ICSIP 2018). — 2018. — Июль.
Tofallis C. Model Building with Multiple Dependent Variables and Constraints // Journal of the Royal Statistical Society, Series D. — 1999. — Т. 48, вып. 3. — DOI:10.1111/1467-9884.00195. — arXiv:1109.0725.
Degani A., Shafto M., Olson L. Canonical Correlation Analysis: Use of Composite Heliographs for Representing Multiple Patterns // Diagrammatic Representation and Inference. — 2006. — Т. 4045. — (Lecture Notes in Computer Science). — ISBN 978-3-540-35623-3. — DOI:10.1007/11783183_11.
Jendoubi T., Strimmer K. A whitening approach to probabilistic canonical correlation analysis for omics data integration. — 2018.

Ссылки

Discriminant Correlation Analysis (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition. IEEE Transactions on Information Forensics and Security]. — 2016. — Т. 11(9). (MATLAB)
Hardoon D., Szedmak S., Shawe-Taylor J. Canonical Correlation Analysis: An Overview with Application to Learning Methods // Neural Computation. — 2004. — Т. 16, вып. 12. — P. 2639–2664. — DOI:10.1162/0899766042321814. — PMID 15516276.
A note on the ordinal canonical-correlation analysis of two sets of ranking scores (Приведена программа на языке FORTRAN)- Journal of Quantitative Economics 7(2), 2009, pp. 173–199
Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Приведена программа на языке FORTRAN)- Journal of Applied Economic Sciences 4(1), 2009, стр. 115–124

Данная страница на сайте WikiSort.ru содержит текст со страницы сайта "Википедия".

Если Вы хотите её отредактировать, то можете сделать это на странице редактирования в Википедии.

Если сделанные Вами правки не будут кем-нибудь удалены, то через несколько дней они появятся на сайте WikiSort.ru .

Текст в блоке "Читать" взят с сайта "Википедия" и доступен по лицензии Creative Commons Attribution-ShareAlike; в отдельных случаях могут действовать дополнительные условия.

Другой контент может иметь иную лицензию. Перед использованием материалов сайта WikiSort.ru внимательно изучите правила лицензирования конкретных элементов наполнения сайта.

2019-2024
WikiSort.ru - проект по пересортировке и дополнению контента Википедии

[_11d7c600ae5a4cfb-1] Härdle, Simar, 2007, с. 321–330.

[_9cc92b0e38cbb54d-2] Knapp, 1978, с. 410–416.

[_9cf1529026a8e022-3] Hotelling, 1936, с. 321–377.

[_0fa94bae8f0334f0-4] Hsu, Kakade, Zhang, 2012, с. 1460.

[_32795b9ba17f3de0-5] Huang, Lee, Hsiao, 2009, с. 2162.

[_e4eeccbb65d68c9d-6] Mardia, Kent, Bibby, 1979.

[_ba049951bef4b4e6-7] Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018.

[_ae439cf375ebadc1-8] Tofallis, 1999, с. 371–378.

[_8e775aa3fff9218f-9] Degani, Shafto, Olson, 2006, с. 93.

[10] Отбеливающе преобразование преобразует вектор случайных величин с помощью линейного преобразования в белый шум

[_8b60326d4583d291-11] Jendoubi, Strimmer, 2018.