优化器。jl

要使用此包，请安装OptimizationOptimisers包:

除了优化器提供的优化算法。jl包这个子包还提供了索菲亚优化算法.

*脧锚脧赂`优化器。下降,下降`：*具有学习率的经典梯度下降优化器* ** 解决（问题，下降（η）） ** η 是学习率 **默认值: *** η = 0.1 *脧锚脧赂`优化器。动量`:*经典梯度下降优化与学习率和动量* ** 求解（问题，动量（η，ρ）） ** η 是学习率 ** ρ 是动量 **默认值: *** η = 0.01 *** ρ = 0.9 *脧锚脧赂`优化器。内斯特罗夫`：*梯度下降优化与学习率和Nesterov动量* ** 解决（问题，Nesterov（η，ρ）） ** η 是学习率 ** ρ 是涅斯捷罗夫势头 **默认值: *** η = 0.01 *** ρ = 0.9 *脧锚脧赂`优化器。RMSProp`:*RMSProp优化器* ** solve(问题，RMSProp(η，ρ)) ** η 是学习率 ** ρ 是动量 **默认值: *** η = 0.001 *** ρ = 0.9 *脧锚脧赂`优化器。亚当`:*亚当优化器* ** 解决（问题，Adam（η，β::Tuple）） ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.9,0.999) *脧锚脧赂`优化器。拉达姆`:*修正亚当优化器* ** solve(problem,RAdam(η,β::Tuple)) ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.9,0.999) *脧锚脧赂`优化器。奥达姆`:*乐观亚当优化器* ** solve(problem,OAdam(η,β::Tuple)) ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.5,0.999) *脧锚脧赂`优化器。亚当克斯`:*AdaMax优化器* ** 解决（问题，AdaMax（η，β::Tuple）） ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.9,0.999) *脧锚脧赂`优化器。阿达格拉德`:*ADAGrad优化器* ** 解决（问题，ADAGrad（η）） ** η 是学习率 **默认值: *** η = 0.1 *脧锚脧赂`优化器。阿德尔塔`:*ADADelta优化器* ** 解决（问题，ADADelta（ρ）） ** ρ 是梯度衰减因子 **默认值: *** ρ = 0.9 *脧锚脧赂`优化器。医疗辅助队`:*AMSGrad优化器* ** solve(problem,AMSGrad(η,β::Tuple)) ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.9,0.999) *脧锚脧赂`优化器。纳达姆`:*亚当优化器的Nesterov变体* ** solve(problem,NAdam(η,β::Tuple)) ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.9,0.999) *脧锚脧赂`优化器。亚当`:*AdamW优化器* ** solve(problem,AdamW(η,β::Tuple)) ** η 是学习率 ** Β::元组 是矩的衰变吗？ ** 衰变 是衰变到权重 **默认值: *** η = 0.001 *** β::元组=(0.9,0.999) *** 衰变=0 *脧锚脧赂`优化器。鹿ADABelief`:*亚当的ADABelief变体* ** solve(problem,ADABelief(η,β::Tuple)) ** η 是学习率 ** Β::元组 是矩的衰变吗？ **默认值: *** η = 0.001 *** β::元组=(0.9,0.999)