无约束优化问题的对角稀疏拟牛顿法

doi:10.12341/jssms08720

系统科学与数学 ›› 2006, Vol. 26 ›› Issue (1): 101-112.DOI: 10.12341/jssms08720

无约束优化问题的对角稀疏拟牛顿法

时贞军(1)(2), 孙国(1)

(1)曲阜师范大学运筹与管理学院, 山东日照 276826 (2)中国科学院数学与系统科学研究院计算数学与科学工程计算研究所, 北京 100080

收稿日期:2003-04-14 修回日期:2004-11-15 出版日期:2006-02-25 发布日期:2006-02-25

PDF ( 572 ) 引用被引次数 ( 60 | 17 )

时贞军;孙国. 无约束优化问题的对角稀疏拟牛顿法[J]. 系统科学与数学, 2006, 26(1): 101-112.

Shi Zhenjun;Sun Guo. A Diagonal-Sparse Quasi-Newton Method for Unconstrained Optimization Problem[J]. Journal of Systems Science and Mathematical Sciences, 2006, 26(1): 101-112.

A Diagonal-Sparse Quasi-Newton Method for Unconstrained Optimization Problem

Shi Zhenjun(1)(2), Sun Guo(1)

(1)School of Operations Research and Management Science, Qufu Normal University, Rizhao, Shandong276826 (2)

Received:2003-04-14 Revised:2004-11-15 Online:2006-02-25 Published:2006-02-25

对无约束优化问题提出了对角稀疏拟牛顿法,该算法采用了
Armijo非精确线性搜索,并在每次迭代中利用对角矩阵近似拟牛顿法中的校正矩阵,使计算搜索
方向的存贮量和工作量明显减少,为大型无约束优化问题的求解提供了新的思路. 在通常的
假设条件下,证明了算法的全局收敛性,线性收敛速度并分析了超线性收敛特征。数值实验表明算
法比共轭梯度法有效,适于求解大型无约束优化问题.

关键词： 对角稀疏拟牛顿法, 非精确搜索, 全局收敛性, 收敛速度.

In this paper, we present a diagonal-sparse quasi-Newton method for
unconstrained optimization problems. The method is similar to
quasi-Newton method, but restricts the quasi-Newton matrix to a sparse matrix, and uses
approximate quasi-Newton condition to determine a search direction and uses Armijo's
line search rule to define a step-size at each iteration.
It avoids the storage and computation of
some matrices in its iteration, so that it is suitable for solving large scale optimization problems.
Under some mild assumptions, we prove
the global convergence and linear convergence
rate, and futher analyze the superlinear convergence property of this method.
Numerical experiments show that the diagonal-sparse
quasi-Newton method is suitable to solve large scale problems, especially the problems
in which the Hesse matrix of objective functions is sparse. Numerical results also show that
the new method is more efficient than other similar methods, such as Cauchy method, conjugate
gradient method, etc.

Key words:

分享此文:

[1]	王淑华，王英杰，陈振龙，盛宝怀. 基于拟凸损失的核正则化成对学习算法的收敛速度[J]. 系统科学与数学, 2020, 40(3): 389-409.
[2]	于静，韩鲁青. 一种改进的求解支持向量机模型的坐标梯度下降算法[J]. 系统科学与数学, 2018, 38(5): 583-590.
[3]	张劲松. 带误差项的FR共轭梯度法及其收敛性[J]. 系统科学与数学, 2013, 33(10): 1135-1143.
[4]	彭家龙，赵彦晖，袁莹. Burr Type XII分布参数的经验Bayes检验问题[J]. 系统科学与数学, 2013, 33(10): 1199-1209.
[5]	芮绍平，张杰. 种具有全局收敛性的求解二阶锥规划的非精确光滑算法[J]. 系统科学与数学, 2012, 32(3): 257-264.
[6]	李乃医. 随机删失下伽玛分布族参数的经验Bayes双边检验[J]. 系统科学与数学, 2011, 31(4): 458-465.
[7]	刘强. 缺失数据下非线性半参数EV模型的估计[J]. 系统科学与数学, 2010, 30(9): 1236-1250.
[8]	陈玲;韦来生. 连续型单参数指数族参数的经验Bayes检验函数的收敛速度[J]. 系统科学与数学, 2009, 29(8): 1142-1152.
[9]	陈家清;刘次华. 线性指数分布参数的经验Bayes检验问题[J]. 系统科学与数学, 2008, 28(5): 616-626.
[10]	田萍;薛留根. 纵向数据下半参数回归模型的统计分析[J]. 系统科学与数学, 2007, 27(6): 847-857.
[11]	薛文娟;沈春根. 一种修改的非单调线搜索SQP算法[J]. 系统科学与数学, 2007, 27(6): 923-934.
[12]	韦增欣;谢品杰;顾能柱. 修改Broyden非凸族在一般Wolfe搜索下的收敛性[J]. 系统科学与数学, 2007, 27(2): 194-207.
[13]	张菊亮;章祥荪. 一个解凸二次规划的预测-校正光滑化方法[J]. 系统科学与数学, 2003, 23(3): 353-366.
[14]	张菊亮;章祥荪. 不等式约束最优化的非光滑精确罚函数的一个光滑近似[J]. 系统科学与数学, 2000, 20(4): 499-505.
[15]	刘光辉;韩继业. 结合一种新搜索的Broyden算法类的全局收敛性[J]. 系统科学与数学, 1998, 18(1): 27-033.

阅读次数

全文

摘要