双支持向量回归的牛顿算法

doi:10.3969/j.issn.1000-3428.2013.01.041

计算机工程 ›› 2013, Vol. 39 ›› Issue (1): 191-194.doi: 10.3969/j.issn.1000-3428.2013.01.041

双支持向量回归的牛顿算法

郑逢德，张鸿宾

(北京工业大学计算机学院，北京 100124)

收稿日期:2011-10-14 修回日期:2011-12-20 出版日期:2013-01-15 发布日期:2013-01-13
作者简介:郑逢德(1980－)，男，博士研究生，主研方向：核方法，机器学习；张鸿宾，教授、博士生导师
基金项目:
国家自然科学基金资助项目(60775011)

Newton Algorithm of Twin Support Vector Regression

ZHENG Feng-de, ZHANG Hong-bin

(College of Computer Science, Beijing University of Technology, Beijing 100124, China)

Received:2011-10-14 Revised:2011-12-20 Online:2013-01-15 Published:2013-01-13

摘要/Abstract

摘要： 为提高支持向量回归的运算速度，提出一种双支持向量回归的牛顿算法。求解2个只带一组约束的支持向量问题，以减少运算量，将2个约束优化问题转化为无约束最优化问题，并采用牛顿迭代算法求解。实验结果表明，在保证与支持向量回归和双支持向量回归拟合能力相当的同时，该算法能减少训练时间。

关键词: 机器学习, 模式识别, 支持向量回归, 双支持向量回归, 无约束优化, 牛顿算法

Abstract: For improving the learning speed of Support Vector Regression(SVR), this paper proposes a Newton algorithm for Twin Support Vector Regression(TSVR) that tries to find a pair of nonparallel planes by solving two related SVR-type problems and converts the classical Quadratic Programming Problem(QPP) to two small unconstrained optimization problems. Each of the unconstrained optimization problems is solved by Newton algorithm. Experimental results show that the proposed algorithm has good fitting ability as SVR and TSVR, and can reduce the training time.

Key words: machine learning, pattern recognition, Support Vector Regression(SVR), Twin Support Vector Regression(TSVR), unconstrained optimization, Newton algorithm

中图分类号:

TP301.6

郑逢德, 张鸿宾. 双支持向量回归的牛顿算法[J]. 计算机工程, 2013, 39(1): 191-194.

ZHENG Feng-De, ZHANG Hong-Bin. Newton Algorithm of Twin Support Vector Regression[J]. Computer Engineering, 2013, 39(1): 191-194.

参考文献

[1] Cristianini N, Taylor J S. Kernel Methods for Pattern Analysis[M]. Cambridge, UK: Cambridge University Press, 2004.
[2] Burges C J C. A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining Knowledge Discovery, 1998, 2(2): 121-167.
[3] Schokopf B, Smola A J. Learning with Kernels[M].
Cambridge, USA: MIT Press, 2002.
[4] Vapnik V. The Nature of Statistical Learning Theory[M]. New York, USA: Springer, 1995.
[5] Vapnik V. An Overview of Statistical Learning Theory[J]. IEEE Transactions on Neural Networks, 1999, 10(5): 988-999.
[6] Cortes C, Vapnik V. Support Vector Networks[J]. Machine Learning, 1995, 20(3): 273-297.
[7] Cristianini N, Taylor J S. An Introduction to Support Vector Machines[M]. Cambridge, UK: Cambridge University Press, 2000.
[8] 周金柱, 黄进. 集成先验知识的多核线性规划支持向量回归[J]. 自动化学报, 2011, 37(3): 360-370.
[9] Peng Xinjun. TSVR: An Efficient Twin Support Vector Machine for Regression[J]. Neural Networks, 2010, 23(3): 342-365.
[10] Khemchandani R, Chandra S. Twin Support Vector Machines for Pattern Classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(5): 905-910.
[11] Khemchandani R, Chandra S. On Finite Newton Method for Support Vector Regression[J]. Neural Computing and Applications, 2010, 19(7): 967-977.
[12] Mangasarian O L, Musicant D R. Lagrangian Support Vector Machine[J]. Journal of Machine Learning Research, 2001, 1: 161-177.
[13] Balasundaram S K. On Lagrangian Support Vector Regression[J]. Expert Systems with Applications, 2010, 37(12): 8784-8793.
[14] Mangasarian O L, Musicant D R. Finite Newton Method for Lagrangian Support Vector Machine[J]. Neuro- computing, 2003, 55(1-2): 39-55.
[15] Gunn S R. SVM Matlab Toolbox[EB/OL]. (2010-11-21). http://www.isis.ecs.soton.ac.uk/resources/svminfo.
[16] StatLib. Datasets Archive[EB/OL]. (2010-10-21). http://lib. stat.cmu.edu/datasets/.
[17] LIACC. Regression DataSets[EB/OL]. (2010-08-21). http:// www.liaad.up.pt/~ltorgo/Regression/DataSets.html.
[18] Blake C I, Merz C J. UCI Repository for Machine Learning Databases[EB/OL]. (2009-08-21). http://www.ics.uci. edu/_mlearn/MLRepository.html.

双支持向量回归的牛顿算法

Newton Algorithm of Twin Support Vector Regression

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10

[1]	唐绍恩, 李骞, 胡磊, 马强, 顾大权. 一种基于迁移学习的能见度检测方法[J]. 计算机工程, 2019, 45(9): 242-247.
[2]	刘志昊, 孙晓山, 张阳. 基于改进PCFG的语言解释器模糊测试[J]. 计算机工程, 2019, 45(8): 22-24,30.
[3]	刘文杰, 江贺. 基于特征选择的软件缺陷报告严重性评估[J]. 计算机工程, 2019, 45(8): 80-85.
[4]	张景莲, 彭艳兵. 基于特征融合的恶意代码分类研究[J]. 计算机工程, 2019, 45(8): 281-286,295.
[5]	闫玉娟,李化,赵菊敏,李灯熬,刘佳. 基于CRFID和模式识别的跌倒检测系统[J]. 计算机工程, 2019, 45(6): 297-302,309.
[6]	刘一宁,申彦明. 基于终身机器学习的主题挖掘与评分预测联合模型[J]. 计算机工程, 2019, 45(6): 237-241,248.
[7]	郭良敏,高俊杰,胡桂银. 一种基于机器学习的虚拟机放置方法[J]. 计算机工程, 2019, 45(5): 135-142.
[8]	段晓毅, 陈东, 高献伟, 范晓红, 周玉坤. 功耗分析攻击中机器学习模型选择研究[J]. 计算机工程, 2019, 45(11): 144-151,158.
[9]	张璐. 虚假商品评论识别的研究与进展[J]. 计算机工程, 2019, 45(10): 293-300.
[10]	戴仙波, 王娜, 刘颖. 基于改进高斯核函数的BGP异常检测方法[J]. 计算机工程, 2019, 45(10): 122-129.
[11]	刘冶,刘荻,王砚文,傅自豪,印鉴. 基于多源融合特征提取的在线广告预测模型[J]. 计算机工程, 2019, 45(1): 178-185,191.
[12]	朱秋煜,黄家虎,朱鸣. 面向嵌入式应用的性别与年龄识别检测系统[J]. 计算机工程, 2018, 44(7): 188-192.
[13]	殷亚博,杨文忠,杨慧婷,许超英. 基于卷积神经网络和KNN的短文本分类算法研究[J]. 计算机工程, 2018, 44(7): 193-198.
[14]	刘玉环,唐庭龙,陈胜勇. 基于词袋特征算法的药品分层缺陷检测[J]. 计算机工程, 2018, 44(6): 249-252,258.
[15]	薛敏,方勇,黄诚,刘亮. 源代码中的API密钥自动识别方法[J]. 计算机工程, 2018, 44(6): 117-121,129.