Глубокая сеть доверия (IlrQktgx vym, ;kfyjnx)

Глубокая сеть доверия (ГСД, англ. deep belief network, DBN) — это порождающая графическая модель, иначе один из типов глубинных нейронных сетей, состоящая из нескольких скрытых слоев, в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя^[1].

При обучении на наборе примеров^[en] спонтанным образом ГСД может обучаться как вероятностно отстраивать свои входы. Слои в этом случае выступают в роли детекторов признаков входов^[1]. По окончании обучения ГСД может быть обучена с учителем для осуществления классификации^[2].

ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ)^[1] или автокодировщики^[3], в которых скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя, в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоев (на видимый слой которой подается тренировочный набор примеров^[en]).

Наблюдение, сделанное англ. Yee-Whye Teh, учеником Джеффри Хинтона^[2], говорит о том, что ГСД может быть обучена способом жадного послойного обучения, что стало одним из первых действенных алгоритмов глубинного обучения^[4]^:6^:6.

Алгоритм обучения[править | править код]

Алгоритм тренировки ГСД работает следующим образом^[2]. Пусть $X$ будет матрицей входов, что рассматривается как набор признаков.

Представить два нижних слоя (входной и первый скрытый) как ограниченную машину Больцмана (ОМБ). Обучить её на входных данных $X$ и получить матрицу её весовых коэффициентов $W$ , которая будет описывать связи между двумя нижними слоями сети.
Пропустить через обученную машину Больцмана входные данные $X$ и получить данные скрытого слоя $X'$ на выходе после активации узлов первого скрытого слоя.
Повторять эту процедуру с $X\leftarrow X'$ для каждой следующей пары слоёв, пока не будут обучены два самых верхних слоя сети.
Осуществить тонкую настройку всех параметров этой глубокой сети с сохранением логарифмического правдоподобия ГСД или с использованием обучения с учителем (после добавления дополнительных механизмов обучения для выполнения обученной сетью работы, например, линейно-сепарабельного классификатора).

См. также[править | править код]

Примечания[править | править код]

↑ ¹ ² ³ Deep belief networks (неопр.) // Scholarpedia. — 2009. — Т. 4, № 5. — С. 5947. — doi:10.4249/scholarpedia.5947. Архивировано 4 декабря 2015 года.
↑ ¹ ² ³ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006).
↑ Greedy Layer-Wise Training of Deep Networks (PDF). NIPS. 2007. Архивировано из оригинала (PDF) 20 октября 2019. Дата обращения: 10 октября 2016.
↑ Learning Deep Architectures for AI (неопр.) // Foundations and Trends in Machine Learning. — 2009. — Т. 2. — doi:10.1561/2200000006. Архивировано 23 декабря 2015 года.

Ссылка[править | править код]

LISA Lab. Глубокая сеть доверия (неопр.). Дата обращения: 10 октября 2016. Архивировано из оригинала 19 ноября 2016 года. (англ.)
Пример: Глубокая сеть доверия (неопр.). Дата обращения: 10 октября 2016. Архивировано из оригинала 3 октября 2016 года. (англ.)

[scholar-1] ¹ ² ³ Deep belief networks (неопр.) // Scholarpedia. — 2009. — Т. 4, № 5. — С. 5947. — doi:10.4249/scholarpedia.5947. Архивировано 4 декабря 2015 года.

[hinton06-2] ¹ ² ³ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006).

[3] Greedy Layer-Wise Training of Deep Networks (PDF). NIPS. 2007. Архивировано из оригинала (PDF) 20 октября 2019. Дата обращения: 10 октября 2016.

[4] Learning Deep Architectures for AI (неопр.) // Foundations and Trends in Machine Learning. — 2009. — Т. 2. — doi:10.1561/2200000006. Архивировано 23 декабря 2015 года.

[1]

[2]

[3]

[4]

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамблевое обучение Бэггинг Бустинг Random forest Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k-ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG