В пособии рассматривается классический градиентный спуск. Однако изложение ведется на продвинутом уровне.

Пособие отличается довольно полным обзором современного состояния методов типа градиентного спуска.

В книге делается акцент не на изложение методов, а на способы получения из старых методов новых с помощью небольшого числа общих приемов.

Пособие используется для преподавания численных методов оптимизации студентам 3 курса школы ПМИ МФТИ и 3 курса ФКН ВШЭ. Это и многое другое вы найдете в книге Современные численные методы оптимизации. Метод универсального градиентного спуска: учебное пособие (А. В. Гасников)