Градиентный метод с дроблением шага и метод наискорейшего спуска

  • Просмотров 2584
  • Скачиваний 491
  • Размер файла 11
    Кб

Семинарская работа Градиентный метод с дроблением шага и метод наискорейшего спуска Выполнил Студент группы МОС-22 Кравченко Александр Градиентный метод с дроблением шага. В этом варианте градиентного метода величина шага αn на каждой итерации выбирается из условия выполнения неравенства an = argminaÎ[0, ¥)f(xn - af ¢(xn)). Рис. 1 Другими словами, an выбирается так, чтобы следующая итерация была точкой минимума функции f на луче

L (см. рис.1 ). Такой вариант градиентного метода называется методом наискорейшего спуска. Заметим, что в этом методе направления соседних шагов ортогональны. В самом деле, поскольку функция j: a ® f(xn - af ¢(xn)) достигает минимума при a = an, точка an является стационарной точкой функции j: = (f ¢(xn - anf ¢(xn)), -f ¢(xn)) = -(f ¢(xn+1), f ¢(xn)). Метод наискорейшего спуска требует решения на каждом шаге задачи одномерной

оптимизации. Практика показывает, что этот метод часто требует меньшего числа операций, чем градиентный метод с постоянным шагом. В общей ситуации, тем не менее, теоретическая скорость сходимости метода наискорейшего спуска не выше скорости сходимости градиентного метода с постоянным (оптимальным) шагом.