线性约束的最优化问题和非线性方程组的无导数立方正则技术的理论及其方法

总结：

本论文研究了非线性方程组的线性约束优化问题和无导数三次正则技术的理论和方法。在实际问题中，经常会遇到函数的值和导数信息不完整或函数和导数的表达式非常复杂的优化问题和非线性系统。使用衍生信息很昂贵，因此没有必要。无导数优化方法可以有效避免函数和导数信息的使用。无导数优化方法主要是在局部范围内构造一个合适的模型来逼近目标函数，通过现有的优化方法得到最优值，在得到下一个迭代点后重复这个过程直到满足终止条件。目前的无导数优化方法主要有模式搜索法、基于插值或近似逼近的方法、共轭方向法等。现有的无导数优化方法不如基于导数的优化理论和方法成熟，其研究成果主要处理无约束优化问题或简单约束优化问题。三次正则法是一种比较新颖的基于导数的方法，可以保证无约束优化问题的整体收敛。一般立方正则法的中子子问题的正则性参数与一般信任域法子问题中的信任域半径具有相似的作用，两者在数值关系上具有一定的互惠关系。目前，该方法仍处于研究阶段。数值比较结果的理论研究和分析，三次正则法值得研究和发展。本文研究了三次正则法在无导数优化中的应用，以求解线性约束优化问题和非线性方程组。

本文分为六章。第一章介绍了优化理论与方法的初步知识，简要介绍了立方正则法的发展历程及其一般形式，以及无导数优化法的基本结论。第二章研究非线性方程的无导数三次正则法。根据非线性方程组的特殊结构，可以将其转化为非线性最小二乘问题进行近似解。通过对方程组中向量值函数的每个分量函数构建一个线性化或二次多项式插值模型直线搜索方法,无约束优化方法,约束优化方法，最小二乘问题是一个次数小于4的多项式优化问题。然后，非线性方程的三次正则算法利用一般立方正则算法的框架构建系统，可以证明该算法在适当假设下具有全局收敛性和超线性收敛性。数值实验结果表明该算法是有效可行的。第三章研究变量有界约束的优化问题。而李[19]在用信任域法求解这类问题时，利用仿射技术构造了一个椭圆体约束的信任域子问题，利用对角仿射矩阵等价转化为一般信任域子问题。问题的近似解。在算法构建中，要求子问题同时满足严格的可行性，因此需要多次重复子问题的计算。受这种通过仿射技术处理有界约束并使用仿射矩阵等价[19]将其转换为一般信任区域子问题来构造椭球约束信任区域子问题的想法和方法的启发，我们应用了相同的仿射技术处理有界约束，构造一个仿射三次规范子问题，应用相同的仿射矩阵将仿射子问题等价变换为一般无约束三次规范子问题进行近似解，并结合线搜索技术[72]确保由子问题回到可行域，避免多次求解子问题，降低计算难度和计算量，构造有界约束优化问题的仿射内点无导数三次正则算法。这里，使用多项式插值法对目标进行局部逼近。功能。

在合适的假设下，可以证明该算法具有全局收敛性和超线性收敛性。数值实验结果表明该算法是有效的、可行的、具有潜力的。第 4 章研究了同样的问题直线搜索方法,无约束优化方法,约束优化方法，但提出了一种有限差分三次正则方法。该方法构造了相同的仿射三次正则模型，可以等价地转化为一般三次正则模型。与前人工作不同的是，目标函数的近似梯度及其近似Hesse矩阵是通过有限差分法得到的。其次，该算法在寻找方向的子问题时要求仿射三次正则模型是全局最小值，而之前的内点仿射无导数三次正则算法的子问题只需要步。最后，线搜索中使用的drop量也不同。在适当的假设下，可以证明算法的全局和局部收敛特性，并给出数值实验结果。第五章研究线性不等式约束优化问题的无导数三次正则方法。受Li[20]利用仿射技术处理线性不等式约束的技术的启发，本章构造了目标函数上具有线性不等式约束信息的仿射三次典型子问题，可以等价转化为具有线性不等式约束的子问题采用带公式约束的增广三次正则子问题逼近解，结合线搜索技术可以保证目标函数减小，子问题产生的搜索方向可以返回到可行域。一般的无约束三次正则方法需要在算法构建中反复求解三次正则子问题。求解的方向并不总是使三次模型满足一定的拟合条件，所以方向并不总是可以接受的，增加了计算和计算的难度。这里提出的算法每次迭代只需求解三次正则子问题。结合线搜索技术，每个子问题得到的方向都能被接受，证明了该算法具有良好的收敛性。

数值实验结果表明该算法是有效可行的。第六章研究了求解具有线性不等式约束的非线性方程组的无导数三次正则法。研究思路是充分利用非线性方程组的结构，将问题转化为具有线性不等式约束的最小二乘问题来求解，利用仿射技术去除线性不等式约束并保存信息，构造三次方正则与线性不等式约束信息。采用线搜索技术求解子问题，避免三次正则子问题的重复求解，保证算法的整体收敛性和局部超线性收敛性。最后对所做的工作进行了总结，并指出了进一步研究的方向。

展开