Метод наискорейшего спуска онлайн калькулятор. Метод наискорейшего градиентного спуска. Применение в искусственных нейронных сетях
Постановка задачи
Пусть дана функция f (х) R n
Требуется f (х) X = R n
Стратегия поиска
x k
} , k = 0,1,...,
таких, что 
, k = 0,1,...
. Точки последовательности {x k
} вычисляются по правилу
где точка х 0 задается пользователем; величина шага t k определяется для каждого значения k из условия
Решение задачи (3) может осуществляться с использованием необходимого условия минимума с последующей проверкой достаточного условия минимума . Такой путь может быть использован либо при достаточно простой минимизируемой функции , либо при предварительной аппроксимации достаточно сложной функции 
полиномом P(t k)
(как правило, второй или третьей степени), и тогда условие замещается условием , а условие условием 
Построение последовательности { x k }
заканчивается в точке x k
, для которой , где ε
- заданное малое положительное число, или k ≥ M
, где М
- предельное число итераций, или при двукратном одновременном выполнении двух неравенств 
, 
где ε 2
- малое положительное число. Вопрос о том, может ли точка x k
рассматриваться как найденное приближение искомой точки локального минимума x *
, решается путем дополнительного исследования.
Геометрическая интерпретация метода для n=2 на рис. 4.
Метод покоординатного спуска
Постановка задачи
Пусть дана функция f (х) , ограниченная снизу на множестве R n и имеющая непрерывные частные производные во всех его точках.
f (х) на множестве допустимых решений X = R n , т.е. найти такую точку , что
Стратегия поиска
Стратегия решения задачи состоит в построении последовательности точек {x k
} , k = 0,1,...,
таких, что , k = 0,1,...
. Точки последовательности {x k
} вычисляются по циклам в соответствии с правилом
(4)
где j - номер цикла вычислений; j = 0,1,2,...; k - номер итерации внутри цикла, k = 0,1,... ,n - 1; е k +1 , k = 0,l,...,n - 1 -единичный вектор, (k +1) -я проекция которого равна 1; точка х 00 задается пользователем, величина шага t k выбирается из условия
или 
.
Если выбранное условие при текущем t k
не выполняется, шаг уменьшается вдвое и точка 
вычисляется заново. Легко видеть, что при фиксированном j за одну итерацию с номером k
изменяется только одна проекция точки х jk
, имеющая номер k + 1
, а в течение всего цикла с номером j
, т.е. начиная с k = 0
и кончая k = n -1
, изменяются все п проекций точки х j0
. После этого точке х j n
присваивается номер х j + 1,0
, и она берется за начальную точку для вычислений в j + 1
цикле. Расчет заканчивается в точке х jk
при выполнении по крайней мере одного из трех критериев окончания счета: 
, или , или двукратного выполнения неравенств .
Полученные в результате вычислений точки могут быть записаны как элементы последовательности {х l }, где l=n*j+k - порядковый номер точки,
Геометрическая интерпретация метода для п = 2 приведена на рис. 5.
4. Метод Франка-Вулфа .
Пусть требуется найти максимальное значение вогнутой функции
При условиях
Характерной особенностью этой задачи является то, что ее система ограничений содержит только линейные неравенства. Эта особенность является основой для замены в окрестности исследуемой точки нелинейной целевой функции линейной, благодаря чему решение исходной задачи сводится к последовательному решению задач линейного программирования.
Процесс нахождения решения задачи начинают с определения точки, принадлежащей области допустимых решений за-
270
дачи. Пусть это точка X (k)
тогда в этой точке вычисляют градиент функции (57)
И строят линейную функцию
Затем находят максимальное значение этой функции при ограничениях (58) и (59). Пусть решение данной задачи определяется точкой Z (k)
. Тогда за новое допустимое решение исходной задачи принимают координаты точки X (k +1)
:
Где λ k - некоторое число, называемое шагом вычислений и заключенное между нулем и единицей (0< λ k < 1). Это число λ k берут произвольно или определяют
таким образом, чтобы значение функции в точке X (k +1) f(X (k +1)) , зависящее от λ k , было максимальным. Для этого необходимо найти решение уравнения и выбрать его наименьший корень. Если его значение больше единицы, то следует положить λ k =1 . После определения числа λ k находят координаты точки X (k +1) вычисляют значение целевой функции в ней и выясняют необходимость перехода к новой точке X (k +2) . Если такая необходимость имеется, то вычисляют в точке X (k +1) градиент целевой функции, переходят к соответствующей задаче линейного программирования и находят ее решение. Определяют координаты точки и X (k +2) и исследуют необходимость проведения дальнейших вычислений. После конечного числа шагов получают с необходимой точностью решение исходной задачи.
Итак, процесс нахождения решения задачи (57) - (59) методом Франка-Вулфа включает следующие этапы :
1. Определяют исходное допустимое решение задачи.
2. Находят градиент функции (57) в точке допустимого решения.
3. Строят функцию (60) и находят ее максимальное значение при условиях (58) и (59).
4. Определяют шаг вычислений.
5. По формулам (61) находят компоненты нового допустимого решения.
6. Проверяют необходимость перехода к последующему допустимому решению. В случае необходимости переходят к этапу 2, в противном случае найдено приемлемое решение исходной задачи.
Метод штрафных функций.
Рассмотрим задачу определения максимального значения вогнутой функции
f (х 1 , х 2 , .... х n) при условиях g i (х 1 , х 2 , .... х n) ≤ b i (i=l, m) , х j ≥ 0 (j=1, n) , где g i (х 1 , х 2 , .... х n) - выпуклые функции.
Вместо того чтобы непосредственно решать эту задачу, находят максимальное значение функции F(х 1 , х 2 , ...., х n)= f(х 1 , х 2 , ...., х n) +H(х 1 , х 2 , ...., х n) являющейся суммой целевой функции задачи, и некоторой функции
H(х 1 , х 2 , ...., х n) , определяемой системой ограничений и называемой штрафной функцией . Штрафную функцию можно построить различными способами. Однако наиболее часто она имеет вид
А a i > 0
- некоторые постоянные числа, представляющие собой весовые коэффициенты.
Используя штрафную функцию, последовательно переходят от одной точки к другой до тех пор, пока не получат приемлемое решение. При этом координаты последующей точки находят по формуле
Из последнего соотношения следует, что если предыдущая точка находится в области допустимых решений исходной задачи, то второе слагаемое в квадратных скобках равно нулю и переход к последующей точке определяется только градиентом целевой функции. Если же указанная точка не принадлежит области допустимых решений, то за счет данного слагаемого на последующих итерациях достигается возвращение в область допустимых
решений. При этом, чем меньше a i
, тем быстрее находится приемлемое решение, однако точность определения его снижается. Поэтому итерационный процесс обычно начинают при сравнительно малых значениях a i
и, продолжая его, эти значения постепенно увеличивают.
Итак, процесс нахождения решения задачи выпуклого программирования методом штрафных функций включает следующие этапы:
1. Определяют исходное допустимое решение.
2. Выбирают шаг вычислений.
3. Находят по всем переменным частные производные от целевой функции и функций, определяющих область допустимых решений задачи.
4. По формуле (72) находят координаты точки, определяющей возможное новое решение задачи.
5. Проверяют, удовлетворяют ли координаты найденной точки системе ограничений задачи. Если нет, то переходят к следующему этапу. Если координаты найденной точки определяют допустимое решение задачи, то исследуют необходимость перехода к последующему допустимому решению. В случае такой необходимости переходят к этапу 2, в противном случае найдено приемлемое решение исходной задачи.
6. Устанавливают значения весовых коэффициентов и переходят к этапу 4.
Метод Эрроу - Гурвица.
При нахождении решения задач нелинейного программирования методом штрафных функций мы выбирали значения a i , произвольно, что приводило к значительным колебаниям удаленности определяемых точек от области допустимых решений. Этот недостаток устраняется при решении задачи методом Эрроу - Гурвица, согласно которому на очередном шаге числа a i (k) вычисляют по формуле
В качестве начальных значений a i (0) берут произвольные неотрицательные числа.
ПРИМЕР РЕШЕНИЯ
Пример 1 .
Найти локальный минимум функции
Определение точки х k
1.Зададим .
2. Положим к = 0 .
3 0 . Вычислим
4 0 . Вычислим 
. Переходим к шагу 5.
5 0 . Проверим условие 
. Переходим к шагу 6.
6 0 . Зададим t 0 = 0,5 .
7 0 . Вычислим
8 0 . Сравним 
. Имеем 
. Вывод: условие для k = 0
не выполняется. Зададим t 0 = 0,25
, переходим к повторению шагов 7, 8.
7 01 . Вычислим .
8 01 . Сравним f (х 1) и f (х 0) . Вывод: f (x 1) < f (x 0) . Переходим к шагу 9.
9 0 . Вычислим
Вывод: полагаем k =1 и переходим к шагу 3.
3 1 . Вычислим
4 1 . Вычислим 
. Переходим к шагу 5.
5 1 . Проверим условие k ≥ M: k = 1 < 10 = M . Переходим к шагу 6.
6 1 . Зададим t 1 = 0,25.
7 1 . Вычислим
8 1 . Сравним f (х 2) с f (х 1) . Вывод: f (х 2) < f (х 1). Переходим к шагу 9.
9 1 . Вычислим
Вывод: полагаем k = 2 и переходим к шагу 3.
3 2 . Вычислим
4 2 . Вычислим . Переходим к шагу 5.
5 2 . Проверим условие k ≥ M : k = 2 < 10 = М , переходим к шагу 6.
6 2 . Зададим t 2 =0,25 .
7 2 . Вычислим
8 2 . Сравним f (х 3) и f (х 2) . Вывод: f (х 3) < f (х 2) .Переходим к шагу 9.
9 2 . Вычислим 
Вывод: полагаем k = 3 и переходим к шагу 3.
3 3 . Вычислим
4 3 . Вычислим . Переходим к шагу 5.
5 3 . Проверим условие k ≥ M : k = 3<10 = М , переходим к шагу 6.
6 3 . Зададим t 3 = 0,25.
7 3 . Вычислим
8 3 . Сравним f (х 4) и f (х 3) : f (х 4) < f (х 3) .
9 3 . Вычислим 
Условия выполнены при k = 2,3 . Расчет
окончен. Найдена точка
На рис. 3 полученные точки соединены пунктирной линией.
II. Анализ точки х 4 .
Функция 
является дважды дифференцируемой, поэтому проведем проверку достаточных условий минимума в точке х 4
. Для этого проанализируем матрицу Гессе .
Матрица постоянна и является положительно определенной (т.е. H > 0
) , так как оба ее угловых минора и положительны. Следовательно, точка 
есть найденное приближение точки локального минимума , а значение 
есть найденное приближение значения f (x *) =0
. Заметим, что условие H > 0
, есть одновременно условие строгой выпуклости функции 
. Следовательно, есть найденные приближения точки глобального минимума f (x)
и ее наименьшего значения на R 2
. ■
Пример 2
Найти локальный минимум функции
I. Определение точки х k , в которой выполнен по крайней мере один из критериев окончания расчетов.
1.Зададим .
Найдем градиент функции в произвольной точке
2. Положим к = 0 .
3 0 . Вычислим
4 0 . Вычислим . Переходим к шагу 5.
5 0 . Проверим условие 
. Переходим к шагу 6.
6° . Следующая точка находится по формуле
Подставим полученные выражения для координат в
Найдем минимум функции f(t 0) по t 0 с помощью необходимых условий безусловного экстремума:
Отсюда t 0 =0.24
. Так как 
, найденное значение шага обеспечивает минимум функции f(t 0)
по t 0
.
Определим 
7 0 . Найдем
8°. Вычислим
Вывод: полагаем k = 1 и переходим к шагу 3.
3 1 . Вычислим
4 1 . Вычислим 
5 1 . Проверим условие k ≥ 1: k = 1 < 10 = М.
6 1 . Определим
7 1 . Найдем 
:
8 1 . Вычислим
Полагаем k = 2 и переходим к шагу 3.
3 2 . Вычислим
4 2 . Вычислим
5 2 . Проверим условие k ≥ M: k = 2 < 10 = M .
6 2 . Определим
7 2 . Найдем 
8 2 . Вычислим
Полагаем k =3 и переходим к шагу 3.
3 3 . Вычислим
4 3 . Вычислим .
Расчет окончен. Найдена точка
II. Анализ точки х 3 .
В примере 1.1 (гл.2 §1) было показано, что функция f (x) является строго выпуклой и, следовательно, точках3 является найденным приближением точки глобального минимума х* .
Пример 3.
Найти локальный минимум функции
I. Определение точки x jk , в которой выполнен по крайней мере один из критериев окончания расчетов.
1. Зададим
Найдем градиент функции в произвольной точке 
2. Зададим j = 0.
3 0 . Проверим выполнение условия
4 0 . Зададим k = 0.
5 0 . Проверим выполнение условия
6 0 . Вычислим
7 0 . Проверим условие 
8 0 . Зададим
9 0 . Вычислим 
, где
10 0 . Проверим условие
Вывод: полагаем и переходим к шагу 9.
9 01 . Вычислим х 01 с шагом
10 01 . Проверим условие 
11 0 . Проверим условия
Полагаем k =1 и переходим к шагу 5.
5 1 . Проверим условие
6 1 . Вычислим
7 1 . Проверим условие
8 1 . Зададим
9 1 . Вычислим
10 1 . Проверим условие 
:
11 1 . Проверим условия
Полагаем k = 2 , переходим к шагу 5.
5 2 . Проверим условие . Зададим , переходим к шагу 3.
3 1 . Проверим условие
4 1 . Зададим k = 0.
5 2 . Проверим условие
6 2 . Вычислим
7 2 . Проверим условие
8 2 . Зададим
9 2 . Вычислим
10 2 . Проверим условие 
11 2 . Проверим условия
Полагаем k =1 и переходим к шагу 5.
5 3 . Проверим условие
6 3 . Вычислим
7 3 . Проверим условия
8 3 . Зададим
9 3 . Вычислим
10 3 . Проверим условие 
11 3 . Проверим условия
Зададим k = 2 и переходим к шагу 5.
5 4 . Проверим условие 
Полагаем j = 2, х 20 = х 12 и переходим к шагу 3.
3 2 . Проверим условие
4 2 . Зададим k =0 .
5 4 . Проверим условие
6 4 . Вычислим
7 4 . Проверим условие
8 4 . Зададим
9 4 . Вычислим
10 4 . Проверим условие , перейдем к шагу 11.
11 4 . Проверим условия
Условия выполнены в двух последовательных циклах с номерами j = 2 и j -1= 1 . Расчет окончен, найдена точка
На рис. 6 полученные точки соединены пунктирной линией.
В методе покоординатного спуска мы спускаемся по ломаной, состоящей из отрезков прямых, параллельных координатным осям.
II. Анализ точки х21 .
В примере 1.1 было показано, что функция f (х)
строго выпукла, имеет единственный минимум и, следовательно, точка 
является найденным приближением точки глобального минимума.
Во всех рассмотренных выше градиентных методах последовательность точек { x k } сходится к стационарной точке функции f (x) при достаточно общих предложениях относительно свойств этой функции. В частности, справедлива теорема:
Теорема. Если функция f (x) ограничена снизу, ее градиент удовлетворяет условию Липшица () и выбор значения t n производится одним из описанных выше способов, то, какова бы ни была начальная точка х 0 :
при .
При практической реализации схемы
k =1, 2, … n .
итерации прекращаются, если для всех i , i = 1, 2, ..., n , выполнены условия типа
,
где - некоторое заданное число, характеризующее точность нахождения минимума.
В условиях теоремы градиентный метод обеспечивает сходимость по функции либо к точной нижней грани (если функция f (х) не имеет минимума; рис. 7), либо к значению функции в некоторой стационарной точке, являющейся пределом последовательности {х к }. Нетрудно придумать примеры, когда в этой точке реализуется седло, а не минимум. На практике методы градиентного спуска уверенно обходят седловые точки и находят минимумы целевой функции (в общем случае - локальные).
ЗАКЛЮЧЕНИЕ
Выше были рассмотрены примеры градиентных методов безусловной оптимизации. В результате проделанной работы можно сделать следующие выводы:
1. Более или менее сложные задачи отыскания экстремума при наличии ограничений требуют специальных подходов, методов.
2. Многие алгоритмы решения задач с ограничениями включают минимизацию без ограничений как некоторый этап.
3. Различные методы спуска отличаются друг от друга способами выбора направления спуска и длины шага вдоль этого направления.
4. Нет пока такой теории, которая учла бы любые особенности функций, описывающих постановку задачи. Следует отдавать предпочтение таким методам, которыми проще управлять в процессе решения задачи.
Реальные прикладные задачи оптимизации очень сложны. Современные методы оптимизации далеко не всегда справляются с решением реальных задач без помощи человека.
СПИСОК ЛИТЕРАТУРЫ
1. Косоруков О.А. Исследование операций: учебник. 2003
2. Пантлеев А.В. Методы оптимизации в примерах и задачах: учеб. Пособие. 2005
3. Шишкин Е.В. Исследование операций: учеб. 2006
4. Акулич И.Л. Математическое программирование в примерах и задачах. 1986
5. Вентцель Е.С. Исследование операций. 1980
6. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения. 1988
©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-07-02
В этом варианте градиентного метода минимизирующая последовательность {X k } также строится по правилу (2.22). Однако величина шага a k находится в результате решения вспомогательной задачи одномерной минимизации
min{j k (a) | a>0 }, (2.27)
где j k (a)=f(X k - a· (X k)). Таким образом, на каждой итерации в направлении антиградиента 
выполняется исчерпывающий спуск. Для решения задачи (2.27) можно воспользоваться одним из методов одномерного поиска, изложенных в разделе 1, например, методом поразрядного поиска или методом золотого сечения.
Опишем алгоритм метода наискорейшего спуска.
Шаг 0. Задать параметр точности e>0, выбрать X 0 ÎE n , положить k=0.
Шаг 1. Найти (X k) и проверить условие достижения заданной точности || (x k) ||£ e. Если оно выполняется, то перейти к шагу 3, иначе - к шагу 2.
Шаг 2. Решить задачу (2.27), т.е. найти a k . Найти очередную точку , положить k=k+1 и перейти к шагу 1.
Шаг 3 Завершить вычисления, положив X * = X k , f * = f(X k).
Минимизировать функцию
f(x)=x 1 2 +4x 2 2 -6x 1 -8x 2 +13; (2.28)
Вначале решим задачу классическим методом. Запишем систему уравнений, представляющих собой необходимые условия безусловного экстремума
Решив ее, получим стационарную точку X*=(3;1). Далее проверим выполнение достаточного условия, для чего найдем матрицу вторых производных
Так как, согласно критерию Сильвестра, эта матрица положительно определена при " , то найденная точка X* является точкой минимума функции f(X). Минимальное значение f *=f(X*)=0. Таково точное решение задачи (11).
Выполним одну итерацию метода градиентого спуска для (2.28). Выберем начальную точку X 0 =(1;0), зададим начальный шаг a=1 и параметр l=0,5. Вычислим f(X 0)=8.
Найдем градиент функции f(X) в точке X 0
(X 0)= = (2.29)
Определим новую точку X=X 0 -a· (X 0), вычислив ее координаты
x 1 = 
x 2 = 
(2.30)
Вычислим f(X)= f(X 0 -a· (X 0))=200. Так как f(X)>f(X 0), то выполняем дробление шага, полагая a=a·l=1·0,5=0,5. Снова вычисляем по формулам (2.30) x 1 =1+4a=3; x 2 =8a=4 и находим значение f(X)=39. Так как опять f(X)>f(X 0), то еще уменьшаем величину шага, полагая a=a·l=0,5·0,5=0,25. Вычисляем новую точку с координатами x 1 =1+4·0,25=2; x 2 =8·0,25=2 и значение функции в этой точке f(X)=5. Поскольку условие убывания f(X) Выполним одну итерацию по методу наискорейшего спуска
для (2.28) с той же начальной точкой X 0 =(1;0). Используя уже найденный градиент (2.29), находим X= X 0 -a· (X 0) и строим функцию j 0 (a)=f(X 0 -a· (X 0))=(4a-2) 2 +4(8a-1) 2 . Минимизируя ее с помощью необходимого условия j 0 ¢(a)=8·(4a - 2)+64·(8a - 1)=0 находим оптимальное значение величины шага a 0 =5/34. Определяем точку минимизирующей последовательности X 1 = X 0 -a 0 · (X 0) Также можно искать не наилучшую точку в направлении градиента, а какую-либо лучше текущей. Наиболее простой в реализации из всех методов локальной оптимизации. Имеет довольно слабые условия сходимости, но при этом скорость сходимости достаточно мала (линейна). Шаг градиентного метода часто используется как часть других методов оптимизации, например, метод Флетчера - Ривса .
Метод градиентного спуска оказывается очень медленным при движении по оврагу, причём при увеличении числа переменных целевой функции такое поведение метода становится типичным. Для борьбы с этим явлением используется, суть которого очень проста. Сделав два шага градиентного спуска и получив три точки, третий шаг следует сделать в направлении вектора, соединяющего первую и третью точку, вдоль дна оврага. Для функций, близких к квадратичным, эффективным является метод сопряжённых градиентов . Метод градиентного спуска с некоторой модификацией широко применяется для обучения перцептрона и в теории искусственных нейронных сетей известен как метод обратного распространения ошибки . При обучении нейросети типа «персептрон» требуется изменять весовые коэффициенты сети так, чтобы минимизировать среднюю ошибку на выходе нейронной сети при подаче на вход последовательности обучающих входных данных. Формально, чтобы сделать всего один шаг по методу градиентного спуска (сделать всего одно изменение параметров сети), необходимо подать на вход сети последовательно абсолютно весь набор обучающих данных, для каждого объекта обучающих данных вычислить ошибку и рассчитать необходимую коррекцию коэффициентов сети (но не делать эту коррекцию), и уже после подачи всех данных рассчитать сумму в корректировке каждого коэффициента сети (сумма градиентов) и произвести коррекцию коэффициентов «на один шаг». Очевидно, что при большом наборе обучающих данных алгоритм будет работать крайне медленно, поэтому на практике часто производят корректировку коэффициентов сети после каждого элемента обучения, где значение градиента аппроксимируются градиентом функции стоимости, вычисленном только на одном элементе обучения. Такой метод называют стохастическим градиентным спуском
или оперативным градиентным спуском
. Стохастический градиентный спуск является одной из форм стохастического приближения. Теория стохастических приближений даёт условия сходимости метода стохастического градиентного спуска. Метод наискорейшего спуска (в англ. литературе «method of steepest descent») - это итерационный численный метод (первого порядка) решения оптимизационных задач, который позволяет определить экстремум (минимум или максимум) целевой функции: В соответствии с рассматриваемым методом экстремум (максимум или минимум) целевой функции определяют в направлении наиболее быстрого возрастания (убывания) функции, т.е. в направлении градиента (антиградиента) функции. Градиентом функции в точке где i, j,…, n - единичные векторы, параллельные координатным осям. Градиент в базовой точке Метод наискорейшего спуска является дальнейшим развитием метода градиентного спуска. В общем случае процесс нахождения экстремума функции является итерационной процедурой, которая записывается следующим образом: где знак «+» используется для поиска максимума функции, а знак «-» используется для поиска минимума функции; Единичный вектор направления, который определяется по формуле: Константа, определяющая размеры шага и одинаковая для всех i-х направлений. Величина шага выбирается из условия минимума целевой функции f(х) в направлении движения, т. е. в результате решения задачи одномерной оптимизации в направлении градиента или антиградиента: Другими словами, величину шага определяют при решении данного уравнения: Таким образом, шаг расчета выбирается такой величины, что движение выполняется до тех пор, пока происходит улучшение функции, достигая, таким образом, экстремума в некоторой точке. В этой точке вновь определяют направление поиска (с помощью градиента) и ищут новую точку оптимума целевой функции и т.д. Таким образом, в данном методе поиск происходит более крупными шагами, и градиент функции вычисляется в меньшем числе точек. В случае функции двух переменных данный метод имеет следующую геометрическую интерпретацию: направление движения из точки касается линии уровня в точке . Траектория спуска зигзагообразная, причем соседние звенья зигзага ортогональны друг другу. Условие ортогональности векторов направлений спуска в соседних точках записывается следующим выражением: Траектория движения к точке экстремума при использовании метода наискорейшего спуска, изображенная на графике линии равного уровня функции f(x) Поиск оптимального решения завершается в случае, когда на итерационном шаге расчета (несколько критериев): Траектория поиска остается в малой окрестности текущей точки поиска: Приращение целевой функции не меняется: Градиент целевой функции в точке локального минимума обращается в нуль: Следует отметить, что метод градиентного спуска оказывается очень медленным при движении по оврагу, причём при увеличении числа переменных целевой функции такое поведение метода становится типичным. Овраг представляет собой впадину, линии уровня которой приближенно имеют форму эллипсов с различающимися во много раз полуосями. При наличии оврага траектория спуска имеет вид зигзагообразной линии с малым шагом, вследствие чего результирующая скорость спуска к минимуму сильно замедляется. Это объясняется тем, что направление антиградиента этих функций существенно отклоняется от направления в точку минимума, что приводит к дополнительной задержке в расчете. В результате алгоритм теряет вычислительную эффективность. Овражная функция Метод градиента вместе с его многочисленными модификациями является распространенным и эффективным методом поиска оптимума исследуемых объектов. Недостатком градиентного поиска (так же и рассмотренных выше методов) является то, что при его использовании можно обнаружить только локальный экстремум функции. Для отыскания других локальных экстремумов необходимо производить поиск из других начальных точек. Так же скорость сходимости градиентных методов существенно зависит также от точности вычислений градиента. Потеря точности, а это обычно происходит в окрестности точек минимума или в овражной ситуации, может вообще нарушить сходимость процесса градиентного спуска. Методика расчета
1 шаг:
Определение аналитические выражения (в символьном виде) для вычисления градиента функции 2 шаг
: Задаем начальное приближение 3 шаг:
Определяется необходимость рестарта алгоритмической процедуры для обнуления последнего направления поиска. В результате рестарта поиск осуществляется заново в направлении скорейшего спуска.
.Описание
[
|
]
Усовершенствования
[
|
]
Применение в искусственных нейронных сетях
[
|
]
Ссылки
[
|
]
Литература
[
|
]
- это значения аргумента функции (управляемые параметры) на вещественной области. называется вектор, проекциями которого на координатные оси являются частные производные функции по координатам:
строго ортогонален к поверхности, а его направление показывает направление наискорейшего возрастания функции, а противоположное направление (антиградиент), соответственно, показывает направление наискорейшего убывания функции.
- модуль градиента определяет скорость возрастания или убывания функции в направлении градиента или антиградиента:
