Optimisers.jl

Страница в процессе перевода.

Установка: OptimizationOptimisers.jl

Чтобы использовать этот пакет, установите пакет OptimizationOptimisers:

import Pkg;
Pkg.add("OptimizationOptimisers");

В дополнение к алгоритмам оптимизации, предоставляемым пакетом Optimisers.jl, этот подпакет также предоставляет алгоритм оптимизации Sophia.

Список оптимизаторов

Optimisers.Descent: классический оптимизатор градиентного спуска со скоростью обучения
- solve(problem, Descent(η))
- η — это скорость обучения.
- Значения по умолчанию:
  - η = 0.1
Optimisers.Momentum: классический оптимизатор градиентного спуска со скоростью обучения и импульсом
- solve(problem, Momentum(η, ρ))
- η — это скорость обучения.
- ρ — это импульс.
- Значения по умолчанию:
  - η = 0.01
  - ρ = 0.9
Optimisers.Nesterov: оптимизатор градиентного спуска со скоростью обучения и импульсом Нестерова
- solve(problem, Nesterov(η, ρ))
- η — это скорость обучения.
- ρ — это импульс Нестерова.
- Значения по умолчанию:
  - η = 0.01
  - ρ = 0.9
Optimisers.RMSProp: оптимизатор RMSProp
- solve(problem, RMSProp(η, ρ))
- η — это скорость обучения.
- ρ — это импульс.
- Значения по умолчанию:
  - η = 0.001
  - ρ = 0.9
Optimisers.Adam: оптимизатор Adam
- solve(problem, Adam(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)
Optimisers.RAdam: оптимизатор Rectified Adam
- solve(problem, RAdam(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)
Optimisers.OAdam: оптимизатор Optimistic Adam
- solve(problem, OAdam(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.5, 0.999)
Optimisers.AdaMax: оптимизатор AdaMax
- solve(problem, AdaMax(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)
Optimisers.ADAGrad: оптимизатор ADAGrad
- solve(problem, ADAGrad(η))
- η — это скорость обучения.
- Значения по умолчанию:
  - η = 0.1
Optimisers.ADADelta: оптимизатор ADADelta
- solve(problem, ADADelta(ρ))
- ρ — это коэффициент спада градиента.
- Значения по умолчанию:
  - ρ = 0.9
Optimisers.AMSGrad: оптимизатор AMSGrad
- solve(problem, AMSGrad(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)
Optimisers.NAdam: вариант Нестерова оптимизатора Adam
- solve(problem, NAdam(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)
Optimisers.AdamW: оптимизатор AdamW
- solve(problem, AdamW(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- decay — это спад весов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)
  - decay = 0
Optimisers.ADABelief: вариант ADABelief оптимизатора Adam
- solve(problem, ADABelief(η, β::Tuple))
- η — это скорость обучения.
- β::Tuple — это спад импульсов.
- Значения по умолчанию:
  - η = 0.001
  - β::Tuple = (0.9, 0.999)