А.Г.Трифонов. Постановка задачи оптимизации и численные методы ее решения

Опубликовано: 13.10.2017

В оглавление книги \ К следующему разделу \ К предыдущему разделу

2.3. Численные методы безусловной оптимизации второго порядка

Особенности методов второго порядка

Методы безусловной оптимизации второго порядка используют вторые частные производные минимизируемой функции f(х). Суть этих методов состоит в следующем.

Необходимым условием экстремума функции многих переменных f(x) в точке х* является равенство нулю ее градиента в этой точке:

f’(х*) 0.

Разложение f’(х) в окрестности точки х [k ] в ряд Тейлора с точностью до членов первого порядка позволяет переписать предыдущее уравнение в виде

f'(x) f’(x[ k] ) + f"(x [k ]) (х - х [k]) 0 .

Здесь f"(x [k] ) Н(х [k]) - матрица вторых производных (матрица Гессе) минимизируемой функции. Следовательно, итерационный процесс для построения последовательных приближений к решению задачи минимизации функции f(x) описывается выражением

x[ k+ l] x [k ] - H- 1(x [k ]) f’(x [k ]) ,

где H-1 (x [k ]) - обратная матрица для матрицы Гессе, а H-1 (x [k ])f’(x [k ]) р [k ] - направление спуска.

Полученный метод минимизации называют методом Ньютона. Очевидно, что в данном методе величина шага вдоль направления р [k ] полагается равной единице. Последовательность точек { х [k ]}, получаемая в результате применения итерационного процесса, при определенных предположениях сходится к некоторой стационарной точке х* функции f(x). Если матрица Гессе Н(х*) положительно определена, точка х* будет точкой строгого локального минимума функции f(x). Последовательность x [k ] сходится к точке х* только в том случае, когда матрица Гессе целевой функции положительно определена на каждой итерации.

rss