Методы многомерной оптимизации

Смысл всех методов нахождения безусловного экстремума функции нескольких переменных заключается в том, что по определенному правилу выбирается последовательность значений {uй} вектора u такая, что Q (ul+1)? (?) Q (ul). Так как целевая функция предполагается ограниченной, то такая последовательность ее значений стремится к пределу.

В зависимости от принятого алгоритма и выбора начальной точки этим пределом может быть локальный или глобальный экстремум функции Q (u).

Метод Гаусса-Зайделя

Метод заключается в последовательном определении экстремума функции одной переменной с точностью до е вдоль каждой координаты, т. е. фиксируются все координаты, кроме одной, по которой и осуществляется поиск экстремума Q. Потом та же процедура осуществляется при фиксации следующей координаты.

После рассмотрения всех n координат выполняется возврат к первой и вновь производится поиск локального экстремума вдоль каждой из n координат до тех пор, пока экстремум не будет локализован с заданной точностью.

Метод градиента

В этом методе используется градиент целевой функции, шаги совершаются по направлению наибыстрейшего уменьшения целевой функции, что, естественно, ускоряет процесс поиска оптимума.

Идея метода заключается в том, что находятся значения частных производных по всем независимым переменным — ?Q / ?uй, й = 1, n, которые определяют направление градиента в рассматриваемой точке и осуществляется шаг в направлении обратном направлению градиента, т. е. в направлении наибыстрейшего убывания целевой функции (если ищется минимум).

Алгоритм метода градиента при непосредственном его применении включает в себя следующие этапы.

• 1. Задается начальное значение вектора независимых переменных (u₁ ⁰, u₂⁰, …, u_n⁰), определяющего точку, из которой начинается движение к минимуму.
• 2. Рассчитывается значение целевой функции в начальной точке Q₀(u₁ ⁰, u₂⁰, …, u_n⁰).
• 3. Определяется направление градиента в начальной точке.
• 4. Делается шаг в направлении антиградиента при поиске минимума, в результате чего попадают в точку u₁.
• 5. Процесс поиска продолжается, повторяя все этапы с п. 2, т. е. вычисляется Q₁(u₁ ⁰, u₂⁰, …, u_n⁰)4, определяется направление градиента в точке u₁, делается шаг и т. д.

Важной задачей в этом методе является выбор шага. Если размер шага слишком мал, то движение к оптимуму будет долгим из-за необходимости расчета целевой функции и ее частных производных в очень многих точках. Если же шаг будет выбран слишком большим, то в районе оптимума может возникнуть «рыскание», которое либо затухает слишком медленно, либо совсем не затухает. На практике сначала шаг выбирается произвольно. Если окажется, что направление градиента в точке u₁ существенно отличается от направления в точке u₂, то шаг уменьшают, если отличие векторов по направлению мало, то шаг увеличивают. Изменение направления градиента можно определять по углу поворота градиента рассчитываемого на каждом шаге по соответствующим выражениям.

Итерационный процесс поиска обычно прекращается, если выполняются неравенства u_k ?u_k ?1? е, Q (u_k)?Q (u_k ?1) / Q (u_k ?1)? д, ?Q (u_k)/ ?u? г, где е, д, г — заданные числа.

Недостатком градиентного метода является то, что при его использовании можно обнаружить только локальный минимум целевой функции. Для нахождения других локальных минимумов поиск необходимо производить из других начальных точек.