AnyMath 文档

lsqnonlin

页面进行中。

非线性最小二乘问题的求解器。

库::`工程优化`

资料描述

功能 lsqnonlin 求解形式的非线性最小二乘问题:

哪里



在求解优化问题时调用该函数。 优化 或创建优化设置 优化操作.

求解器设置

所有算法

算法

选择其中一种算法: "信任-区域-反思" 或 "levenberg-marquardt" (默认情况下)。

论点 算法 定义解决问题的首选算法。

诊断学

显示关于要最小化或解决的功能的诊断信息。 可用选项: 错误 (默认情况下)或 真的.

[医]差异交换

有限差分梯度(正标量)的变量的最大变化。 默认值 — 什么都没有.

[医]差异交换

有限差分梯度(正标量)变量的最小变化。 默认值 — 什么都没有.

展览及展览 a/输出电平:

* "关" 或 "没有" —没有输出。

* "伊特" (默认情况下)-每次迭代的数据输出和标准完成消息。

* "iter-详细" -每次迭代时的数据输出和技术完成消息。

* "决赛" -仅输出最终数据和标准完成消息。

* "最后-详细" -只输出最终数据和技术完成信息。

N.最小尺寸 有限差分法的A/标量或矢量步长系数。 如果论点是 N.最小尺寸 设置为向量 v,则增量 三角洲 对于单侧有限差异,它们使用公式计算:

[source,Julia] ---- delta = v.*sign′(x).*max(abs(x),TypicalX); ----

哪里 符号'(x)=符号(x),除了案件 符号'(0)=1. 对于中心有限差分:

[source,Julia] ---- delta = v.*max(abs(x),TypicalX); ----

标量值 [计]尺寸 转换为矢量。 默认值 — sqrt(eps) 对于片面的有限差异和 eps^(1/3) 为中心有限差分。

[医]FiniteDifferenceType

用于估计梯度的最终差异可以是 "前进" (默认情况下)或 "中环". 计算方法 "中环" 它需要两倍的调用函数,但提供了更高的准确性。

在评估两种类型的有限差异时,算法严格遵守指定的边界。 例如,代替直接差,可以使用逆来避免在可接受范围之外的点处计算函数。

功能,功能

函数终止算法的值的容差;非负标量。 默认值 — 0.001.

[医]n.n.n.

检查函数值的正确性。 选择时 真的 如果函数返回复杂值,则会显示错误消息。, 资讯 或 南. 默认模式为 错误,其中不显示错误。

最大值,最大值

函数的最大允许计算次数,设置为非负整数。 默认值为 100*可变数量 对于算法 "信任-区域-反思", 200*可变数量 对于算法 "levenberg-marquardt".

最大值,最大值

最大允许迭代次数,设置为非负整数。 默认值为 100 对于算法 "信任-区域-反思" 和 "levenberg-marquardt".

最佳温度/最佳温度

根据一阶最优性准则对停止条件的容差,作为非负标量给出。 默认值 — 0.001.

算法 "levenberg-marquardt" 使用等于的最优性容差(停止准则) 1e-4 乘以论证 功能,功能,并且不使用参数 最佳温度/最佳温度.

输出/输出

指定优化函数将在每次迭代时调用的一个或多个自定义函数。 将指针传递给函数或具有函数指针的数组。 默认情况下,没有函数(什么都没有).

N.绘图,绘图 A/绘制反映算法进度的各种图形;您可以选择现成的图形或创建自己的图形。 参数传递一个名称、一个指向函数的指针或一个包含指向函数的名称或指针的数组。 对于自定义图表函数,应传递指向函数的指针。 默认情况下,图表被禁用(值 什么都没有).

自定义图表函数使用与输出函数相同的语法。

具体的,具体的

如果值设置为 错误 求解器使用有限差分法近似雅可比。 如果值设置为 真的 (默认情况下),求解器使用用户指定的雅可比(在函数中 ),或有关雅可比的信息(使用时 雅各布穆特)为目标函数。

[医]继父

可变容差 ,设置为非负标量,来终止算法。 默认值为 0.001 对于算法 "信任-区域-反思" 和 "levenberg-marquardt".

典型的,典型的

典型值 . 项目数目 典型的,典型的 等于元素的数量 (起点)。 默认值 — 一(numberofvariables,1). 求解器使用 典型的,典型的 以在估计梯度时缩放有限差异。

[医]分离 A/使用并行计算估计梯度的选项,设置为以下值之一:

* 真的 -梯度的评估是并行进行的。 如果并行进程池未打开,则求解器使用默认群集配置文件启动它。

* 错误 (默认值)-渐变按顺序计算。

2+/算法 "信任-区域-反思"

[医]倍增器 A/将函数乘以雅可比矩阵,指定为指向函数的指针。 对于具有特殊结构的大规模问题,此函数计算产品 J*Y, J'Y 或 J'(J*Y),而不形成基质本身 J 明确地说。 为 lsqnonlin 该功能具有的形式:

[source,Julia] ---- W = jmfun(Jinfo, Y, flag) ----

哪里 金佛 包含计算所需的数据 J*Y (或 J'Y 或 J'(J*Y)).

功能 lsqnonlin 传输数据 金佛, Y, 旗帜, 和你的功能 jmfun 根据下面给出的规则计算结果。 Y -这是一个矩阵,其大小取决于值 旗帜. 让 -目标函数的分量数 乐趣,而 -向量中任务变量的数量 x. 雅可比矩阵具有大小 上 (如中所述 ). 功能 jmfun 返回以下结果之一:

如果 标志==0 然后 W=J'(J*Y) 和矩阵 Y 尺寸为 上 .

*如果 旗帜>0 然后 W=J*Y 和矩阵 Y 尺寸为 上 .

*如果 标志<0 然后 W=J'*Y 和矩阵 Y 尺寸为 上 .

在所有情况下,矩阵 J 它没有明确形成。 求解器使用 金佛 来执行乘法运算。

[NOTE] 为了使求解器传输 金佛 从功能 乐趣 到功能 jmfun,论点 具体的,具体的 必须设置为 真的.

[医]雅各布模式

有限差分法的雅可比稀疏模式。 安装/安装 JacobPattern(i,j)=1 如果 乐趣(i) 取决于 x(j);否则,安装 JacobPattern(i,j)=0. 换句话说, JacobPattern(i,j)=1 如果偏导数 <乐趣(i)/<x(j) 它可能是非零。

使用方法 [医]雅各布模式 在雅可比矩阵的计算的情况下 J 函数内部 乐趣 这是困难的,但可以确定(例如,通过分析)是否取决于 乐趣(i) 从 x(j). 如果可用 [医]雅各布模式 求解器可以近似 J 采用稀疏有限差分法。

如果矩阵结构未知,请不要指定 [医]雅各布模式. 默认情况下,使用对应于由单元组成的密集矩阵的行为;在这种情况下,在每次迭代中,求解器都会计算一个完整的有限差分近似值。 对于高维任务,这可以是资源密集型过程,因此通常优选确定稀疏性结构。

子问题

定义计算迭代步骤的方法。 使用默认选项时("因式分解" 步计算得更慢,但比方法中更准确 "cg".

2+/算法 "levenberg-marquardt"

启动/启动

Levenberg-Marquardt参数的初始值是正标量。 默认值 — 0.01.

[医]鳞状组织

求解器输出的信息

# resnorm — 差异范数的平方

+ 非负实数

Details

差范数的平方,作为非负实数返回。 [医]雷斯诺姆 —这是点差异的第二范数的平方 : .

# 剩余 — 解点的目标函数的值

+ 阵列

Details

解点的目标函数的值,作为数组返回。 在一般情况下: .

# exitflag — 停止求解器的原因

+ 一个整数

Details

停止求解器的原因,作为整数返回。

意义/理由

1

功能已经收敛到一个解决方案 .

2

改变 小于指定的公差,或点上的雅可比 没有定义。

3

差异变化小于指定的容差。

4

搜索方向的相对量值小于公差一步。

0

迭代次数超过该值 最大值,最大值,或函数的计算次数超过该值 最大值,最大值.

−1

绘图函数或输出函数已停止求解器。

−2

未找到有效点。 边界 和 是矛盾的,或者求解器在无效点停止。

# 输出 — 有关优化过程的信息

+ 结构

Details

作为具有字段的结构返回的有关优化过程的信息:

字段名称/内容

第一个,第一个

一阶最优性的度量。

迭代

执行的迭代次数。

n.职能,职能

函数的计算次数。

cgiterations

共轭梯度法(PCG)的迭代总数(用于算法 "信任-区域-反思").

步骤大小

最后的偏移量在 x.

算法

用的优化算法。

信息

退出消息。

# lambda — 解点的拉格朗日乘数

+ 结构

Details

拉格朗日乘数在解点,返回作为一个结构与字段:

字段名称/内容

较低

下界对应于 .

上,上

上限对应于 .

# 雅可比 — 决策点上的雅各布人

+ 实矩阵

Details

解点的雅可比,返回为实矩阵。 元素 雅可比(i,j) 它是函数的偏导数 按变量 在决策点 .

对于在解点存在主动约束的问题,雅可比不适用于估计置信区间。

此外

本地及全球最低限额

Details

函数的局部最小值是函数值小于相邻点的点,但可能大于任何远程点的点。

全局最小值是函数值小于所有其他可接受点的点。

lsqnonlin 1 cn

求解器算法试图找到一个局部最小值。 结果可能是全局最小值。

一阶最优性的度量

Details

对于无条件优化问题,一阶最优性的度量是梯度向量的分量的最大绝对值(也称为无限梯度范数)。 在最小值点,该值应为零。

对于有约束的问题,一阶最优性的度量是索引中的最大值。 价值 . 这里 — -我是梯度的一个组成部分, -当前点,和

еслиотрицательныйградиентнаправленкграницевдругомслучае

如果 如果它位于边界上,则 它等于零。 如果 如果它不在边界上,那么在最小点梯度 必须等于零。 因此,在最小值点,第一阶最优性的度量应该为零。

公差

Details

通常,公差是一个阈值,在该阈值处求解器的迭代过程停止。

  • 最佳温度/最佳温度 -定义第一阶最优性度量的可接受偏差。 当一阶最优性度量的值小于 最佳温度/最佳温度.

  • 功能,功能 -确定目标函数值的最后变化量。

lsqnonlin 2 cn

梯度的大小

Details

梯度向量是平方和的梯度。 对于无条件优化问题,梯度值被认为是梯度向量的分量的最大绝对值(也称为无限梯度范数)。 在最小值点,该值应为零。

对于约束问题,梯度值由索引定义为最大值 价值 . 这里 — -我是梯度的一个组成部分, -当前点,和

еслиотрицательныйградиентнаправленкграницевдругомслучае

如果 如果它位于边界上,则 它等于零。 如果 如果它不位于边界上,则在最小点梯度 必须等于零。 因此,梯度值应该在最小值点为零。

当前步长

Details

当前步长的大小为上一次迭代中当前点位置的变化量。

局部奇点

Details

Levenberg-Marquardt正则化参数与置信区域半径的倒数相关。 当函数值的平方和与二次模型有显着差异时,它会产生较大的值。

当计算雅可比是不可能的

Details

该算法利用有限差分法对目标矢量函数的雅可比进行了评价. 如果在计算最终差值的过程中,计算出的点已经超出了目标函数被正确定义的区域,那么这可能导致 资讯, 南 或复数。

算法

Levenberg-Marquardt方法和具有反射的置信区域基于非线性最小二乘法的算法。

*默认镜像信任区域算法是[1]和[2]中描述的基于牛顿法的子空间置信区域方法。 每次迭代都包括使用预置共轭梯度(PCG)方法的大型线性系统的近似解。 *Levenberg-Marquardt方法在[4],[5]和[6]中有描述。

文学作品

  1. Coleman,T.F.and Y.Li._an Interior,Trust Region Approach for Nonlinear Minimization Subject to Bounds._暹罗优化杂志,卷. 6,1996,第418-445页。

  2. Coleman,T.F.and Y.Li._On The Convergence Of Reflective Newton Methods for Large-Scale Nonlinear Minimization Subject to Bounds._数学编程,卷. 67,编号2,1994,第189-224页。

  3. 丹尼斯,J.E.Jr._Nonlinear最小二乘。_数值分析的最新进展,ed. D.Jacobs,学术出版社,第269-312页。

  4. Levenberg,K. _a在最小二乘中解决某些问题的方法。_季刊应用数学2,1944,第164-168页。

  5. Marquardt,D. _an算法,用于非线性参数的最小二乘估计。_SIAM Journal Applied Mathematics,Vol. 11,1963,第431-441页。

  6. Moré,J.J. _The Levenberg-Marquardt算法:实现与理论。_数值分析,ed。 G.A.Watson,Lecture Notes in Mathematics630,Springer Verlag,1977,第105-116页。

  7. Moré,J.J.,B.S.Garbow和K.E.Hillstrom。 MINPACK1的用户指南。 阿贡国家实验室,Rept。 ANL–80–74,1980年。

  8. Powell,M.J.D. _a Fortran用于求解非线性代数方程组的子程序。_Numerical Methods for Nonlinear Algebraic Equations,P.Rabinowitz,ed.,Ch.7, 1970.