优化器。jl

要使用此包，请安装OptimizationOptimisers包:

除了优化器提供的优化算法。jl包这个子包还提供了索菲亚优化算法.

脧锚脧赂`优化器。下降,下降`：*具有学习率的经典梯度下降优化器 解决（问题，下降（η）） η 是学习率 默认值: * η = 0.1 脧锚脧赂`优化器。动量`:*经典梯度下降优化与学习率和动量 求解（问题，动量（η，ρ）） η 是学习率 ρ 是动量 默认值: * η = 0.01 * ρ = 0.9 脧锚脧赂`优化器。内斯特罗夫`：*梯度下降优化与学习率和Nesterov动量 解决（问题，Nesterov（η，ρ）） η 是学习率 ρ 是涅斯捷罗夫势头 默认值: * η = 0.01 * ρ = 0.9 脧锚脧赂`优化器。RMSProp`:*RMSProp优化器 solve(问题，RMSProp(η，ρ)) η 是学习率 ρ 是动量 默认值: * η = 0.001 * ρ = 0.9 脧锚脧赂`优化器。亚当`:*亚当优化器 解决（问题，Adam（η，β::Tuple）） η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.9,0.999) 脧锚脧赂`优化器。拉达姆`:*修正亚当优化器 solve(problem,RAdam(η,β::Tuple)) η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.9,0.999) 脧锚脧赂`优化器。奥达姆`:*乐观亚当优化器 solve(problem,OAdam(η,β::Tuple)) η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.5,0.999) 脧锚脧赂`优化器。亚当克斯`:*AdaMax优化器 解决（问题，AdaMax（η，β::Tuple）） η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.9,0.999) 脧锚脧赂`优化器。阿达格拉德`:*ADAGrad优化器 解决（问题，ADAGrad（η）） η 是学习率 默认值: * η = 0.1 脧锚脧赂`优化器。阿德尔塔`:*ADADelta优化器 解决（问题，ADADelta（ρ）） ρ 是梯度衰减因子 默认值: * ρ = 0.9 脧锚脧赂`优化器。医疗辅助队`:*AMSGrad优化器 solve(problem,AMSGrad(η,β::Tuple)) η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.9,0.999) 脧锚脧赂`优化器。纳达姆`:*亚当优化器的Nesterov变体 solve(problem,NAdam(η,β::Tuple)) η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.9,0.999) 脧锚脧赂`优化器。亚当`:*AdamW优化器 solve(problem,AdamW(η,β::Tuple)) η 是学习率 Β::元组 是矩的衰变吗？ 衰变 是衰变到权重 默认值: * η = 0.001 * β::元组=(0.9,0.999) * 衰变=0 脧锚脧赂`优化器。鹿ADABelief`:*亚当的ADABelief变体 solve(problem,ADABelief(η,β::Tuple)) η 是学习率 Β::元组 是矩的衰变吗？ 默认值: * η = 0.001 * β::元组=(0.9,0.999)