作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

计算机工程 ›› 2011, Vol. 37 ›› Issue (12): 161-163. doi: 10.3969/j.issn.1000-3428.2011.12.054

• 人工智能及识别技术 • 上一篇    下一篇

Powell算法在线性支持向量机中的应用

刘叶青 1,2,刘三阳 2,谷明涛 3   

  1. (1. 河南科技大学数学与统计学院,河南 洛阳 471003;2. 西安电子科技大学数学科学系,西安 710071; 3. 解放军96251部队,河南 洛阳 471003)
  • 收稿日期:2010-11-04 出版日期:2011-06-20 发布日期:2011-06-20
  • 作者简介:刘叶青(1979-),女,博士研究生,主研方向:模式识别,机器学习,最优化理论;刘三阳,教授、博士、博士生导师;谷明涛,工程师
  • 基金资助:
    河南科技大学博士科研启动基金资助项目(09001476); 河南科技大学青年基金资助项目(2008QN025);河南科技大学实验 技术开发基金资助项目(SY1011046)

Application of Powell Algorithm in Linear Support Vector Machine

LIU Ye-qing 1,2, LIU San-yang 2, GU Ming-tao 3   

  1. (1. School of Mathematics and Statistics, Henan University of Science & Technology, Luoyang 471003, China; 2. Department of Mathematical Sciences, Xidian University, Xi’an 710071, China; 3. PLA Unit 96251, Luoyang 471003, China)
  • Received:2010-11-04 Online:2011-06-20 Published:2011-06-20

摘要: 并行下降方法应用于线性支持向量机时效率较低。针对该问题,提出将Powell算法应用于线性支持向量机,并采用一个全局牛顿算法来求解单变量子问题。在内循环过程中,通过解一个单变量子问题更新w的一个分量,同时固定其他的分量不变;在外循环过程中,根据判断条件,决定是否沿加速方向搜索,以及是否用加速方向替代之前的某一个搜索方向。UCI数据集上的实验结果表明,算法能很快收敛,且分类精度优于并行下降算法和光滑支持向量机。

关键词: 支持向量机, 模式识别, Powell算法, 全局牛顿算法

Abstract: To improve the efficiency of coordinate descent method when it is applied to linear Support Vector Machine(SVM), Powell algorithm is applied to linear SVM. The one-variable sub-problems produced in searching process are solved by a global Newton algorithm. In inter iterations, it updates one component of w by solving a one-variable sub-problem while fixing other components. In outer iterations, it is judged, according to the judgment conditions, whether the procedure searches along accelerated direction or not and whether the accelerated direction can substitute one of anterior search directions or not. Experimental results on UCI dataset show Powell algorithm converges fast and its accuracy is higher than that of coordinate descent method and smooth SVM .

Key words: Support Vector Machine(SVM), pattern recognition, Powell algorithm, global Newton algorithm

中图分类号: