Дельта-правило (:yl,mg-hjgfnlk)

Де́льта-пра́вило — метод обучения перцептрона по принципу градиентного спуска по поверхности ошибки. Его дальнейшее развитие привело к созданию метода обратного распространения ошибки.

Дельта-правило

Собственно дельта-правилом называют математическую форму записи. Пусть вектор $\mathbf {X} ={x_{1},x_{2},...x_{r},...x_{m}}$ — вектор входных сигналов, а вектор $\mathbf {D} ={d_{1},d_{2},...d_{k},...d_{n}}$ — вектор сигналов, которые должны быть получены от перцептрона под воздействием входного вектора. Здесь $n$ — число нейронов, составляющих перцептрон. Входные сигналы, поступив на входы перцептрона, были взвешены и просуммированы, в результате чего получен вектор $\mathbf {Y} ={y_{1},y_{2},...y_{k},...y_{n}}$ выходных значений перцептрона. Тогда можно определить вектор ошибки $\mathbf {\mathrm {E} } ={e_{1},e_{2},...e_{k},...e_{n}}$, размерность которого совпадает с размерностью вектора выходных сигналов. Компоненты вектора ошибок определяются как разность между ожидаемым и реальным значением выходного сигнала перцептронного нейрона:

$\mathbf {\mathrm {E} =D-Y}$

При таких обозначениях формулу для корректировки j-го веса i-го нейрона можно записать следующим образом:

$w_{j}(t+1)=w_{j}(t)+e_{i}x_{j}$

Номер сигнала $j$ изменяется в пределах от единицы до размерности входного вектора $m$. Номер нейрона $i$ изменяется в пределах от единицы до количества нейронов $n$. Величина $t$ — номер текущей итерации обучения. Таким образом, вес входного сигнала нейрона изменяется в сторону уменьшения ошибки пропорционально величине суммарной ошибки нейрона. Часто вводят коэффициент пропорциональности $\eta$, на который умножается величина ошибки. Этот коэффициент называют скоростью или нормой обучения. Таким образом, итоговая формула для корректировки весов:

$w_{j}(t+1)=w_{j}(t)+\eta e_{i}x_{j}$

Обобщенное дельта-правило

С целью расширения круга задач, решаемых перцептроном, Уидроу и Хоффом была предложена сигмоидальная функция активации для нейронов. Это позволило перцептрону оперировать с непрерывными сигналами, но потребовало модификации алгоритма обучения. Модифицированный алгоритм направлен на минимизацию функции среднеквадратичной ошибки:

$\epsilon ={\frac {1}{2}}\sum _{i=1}^{n}{(d_{i}-y_{i})^{2}}$

Эта функция определяется матрицей весовых коэффициентов $w_{ij}$. Здесь $i$ — номер нейрона, а $j$ — номер входа. Поверхность, описываемая этой функцией имеет форму псевдопараболоида. Задачей обучения является нахождение глобального минимума этой поверхности. Одним из способов нахождения минимума является метод градиентного спуска. Корректировка весов производится в направлении антиградиента поверхности:

$\Delta w_{ij}=-\eta {\frac {\partial \epsilon }{\partial w_{ij}}}$

Здесь $\eta$ — коэффициент скорости обучения.

Функция ошибки является сложной и зависит в первую очередь от выходных сигналов перцептрона. В соответствии с правилами дифференцирования сложных функций:

${\frac {\partial \epsilon }{\partial w_{ij}}}={\frac {\partial \epsilon }{\partial y_{i}}}{\frac {\partial y_{i}}{\partial w_{ij}}}$ (*)

Выходной сигнал $y_{i}$ каждого нейрона определяется по формуле:

$y_{i}=\operatorname {f} (S_{i}),S_{i}=\sum _{j=1}^{m}{w_{ij}x_{j}}$

Здесь $m$ — число входов перцептрона, $x_{j}$ — сигнал на j-ом входе, а $\operatorname {f} (S)$ — функция активации. Тогда получим:

${\frac {\partial y_{i}}{\partial w_{ij}}}=({\frac {\partial \operatorname {f} (S)}{\partial S}})\mid _{S=S_{i}}{\frac {\partial S_{i}}{\partial w_{ij}}}=f^{\prime }(S_{i})x_{j}$ (**)

Продифференцировав функцию ошибки по значению выходного сигнала получим:

${\frac {\partial \epsilon }{\partial y_{i}}}=-(d_{i}-y_{i})$ (***)

Подставив формулы (**) и (***) в выражение (*) получим выражение для корректировки веса j-го входа у i-го нейрона при любой активационной функции:

$\Delta w_{ij}=\eta (d_{i}-y_{i})f^{\prime }(S_{i})x_{j}$

Из этой формулы видно, что в качестве активационной функции при использовании обобщенного дельта-правила функция активации нейронов должна быть непрерывно дифференцируемой на всей оси абсцисс. Преимущество имеют функции активации с простой производной (например — логистическая кривая или гиперболический тангенс).

На основе дельта-правила Уидроу и Хопфом был создан один из первых аппаратных нейрокомпьютеров Адалин (1960).

См. также

• Искусственная нейронная сеть
• Перцептрон
• Метод обратного распространения ошибки

Литература

• Rosenblatt F. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Washington, DC: Spartan Books (1962).
• Russell, Ingrid. "The Delta Rule". University of Hartford. Archived from the original on 4 March 2016. Retrieved 5 November 2012.
• Головко, В. А. Нейронные сети: обучение, организация и применение: Кн.4 : Учебное пособие для вузов по направлению "Прикладные математика и физика" / В. А. Головко ; Общ. ред. А. И. Галушкин . – М. : ИПРЖР, 2001 . – 256 с. – (Нейрокомпьютеры и их применение) : 5-93108-05-8 .
• Осовский С. Нейронные сети для обработки информации (2002)
• Hebb, D. O. The organization of behavior: a neuropsychological theory. New York (2002) (Оригинальное издание — 1949)
• Hebb, D. O. Conditioned and unconditioned reflexes and inhibition. Unpublished MA Thesis, McGill University, Montreal, Quebec, (1932)
• Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. — CRC Press, CRC Press LLC, 1998