А.Г.Трифонов. Постановка задачи оптимизации и численные методы ее решения
Опубликовано: 13.10.2017
В оглавление книги \ К следующему разделу \ К предыдущему разделу
2.3. Численные методы безусловной оптимизации второго порядка
Особенности методов второго порядка
Методы безусловной оптимизации второго порядка используют вторые частные производные минимизируемой функции f(х). Суть этих методов состоит в следующем.
Необходимым условием экстремума функции многих переменных f(x) в точке х* является равенство нулю ее градиента в этой точке:
f’(х*) 0.
Разложение f’(х) в окрестности точки х [k ] в ряд Тейлора с точностью до членов первого порядка позволяет переписать предыдущее уравнение в виде
f'(x) f’(x[ k] ) + f"(x [k ]) (х - х [k]) 0 .
Здесь f"(x [k] ) Н(х [k]) - матрица вторых производных (матрица Гессе) минимизируемой функции. Следовательно, итерационный процесс для построения последовательных приближений к решению задачи минимизации функции f(x) описывается выражением
x[ k+ l] x [k ] - H- 1(x [k ]) f’(x [k ]) ,
где H-1 (x [k ]) - обратная матрица для матрицы Гессе, а H-1 (x [k ])f’(x [k ]) р [k ] - направление спуска.
Полученный метод минимизации называют методом Ньютона. Очевидно, что в данном методе величина шага вдоль направления р [k ] полагается равной единице. Последовательность точек { х [k ]}, получаемая в результате применения итерационного процесса, при определенных предположениях сходится к некоторой стационарной точке х* функции f(x). Если матрица Гессе Н(х*) положительно определена, точка х* будет точкой строгого локального минимума функции f(x). Последовательность x [k ] сходится к точке х* только в том случае, когда матрица Гессе целевой функции положительно определена на каждой итерации.