Метод релевантных векторов (Bymk; jylyfgumud] fytmkjkf)

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации^[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание[править | править код]

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации^[en]:

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

,

где $\varphi$ является ядерной функцией^[en] (обычно, гауссианом), $\alpha _{j}$ являются априорными дисперсиями вектора весов $w\sim N(0,\alpha ^{-1}I)$ , а $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$ являются входными векторами тренировочного набора^[en]^[2].

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации^[en], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США^[en] компанией Microsoft^[3].

См. также[править | править код]

Ядерный метод
Масштабирование Платта^[en]: превращает SVM в вероятностную модель

Примечания[править | править код]

↑ Tipping, 2001, с. 211-244.
↑ Candela, 2004.
↑ Michael E. Tipping, "Relevance vector machine", US 6633857

Литература[править | править код]

Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research. — 2001. — Т. 1.
Joaquin Quiñonero Candela. Sparse Probabilistic Linear Models and the RVM // Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines. — Technical University of Denmark, 2004. — (Ph.D.).

Программное обеспечение[править | править код]

dlib Библиотека на языке C++
Библиотека ядерных машин
rvmbinary: пакет на языке R для двоичной классификации
scikit-rvm
fast-scikit-rvm, Обучающий курс по методу релевантных векторов

Ссылки[править | править код]

[_05645310087fd912-1] Tipping, 2001, с. 211-244.

[_14f7a6c861afc737-2] Candela, 2004.

[3] Michael E. Tipping, "Relevance vector machine", US 6633857

[1]

[2]

[3]

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамблевое обучение Бэггинг Бустинг Random forest Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k-ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG