基于朴素贝叶斯与ID3算法的决策树分类

doi:10.3969/j.issn.1000-3428.2012.14.012

计算机工程 ›› 2012, Vol. 38 ›› Issue (14): 41-43.doi: 10.3969/j.issn.1000-3428.2012.14.012

基于朴素贝叶斯与ID3算法的决策树分类

黄宇达 ^1,2，王迤冉 ³

(1. 西南科技大学计算机科学与技术学院，四川绵阳 621010；2. 周口职业技术学院信息工程系，河南周口 466000；3. 周口师范学院计算机科学与技术学院，河南周口 466000)

收稿日期:2011-09-24 出版日期:2012-07-20 发布日期:2012-07-20
作者简介:黄宇达(1975－)，男，讲师、硕士研究生，主研方向：数据挖掘，信息安全，分布式系统；王迤冉，副教授、硕士
基金项目:
河南省教育厅自然科学研究计划基金资助项目(2008B520 047)；河南省科技厅基础与前沿技术研究计划基金资助项目(112300 410307)

Decision Tree Classification Based on Naive Bayesian and ID3 Algorithm

HUANG Yu-da ^1,2, WANG Yi-ran ³

(1. College of Computer Science and Technology, Southwest University of Science and Technology, Mianyang 621010, China; 2. Department of Information Engineering, Zhoukou Vocational and Technical College, Zhoukou 466000, China; 3. College of Computer Science and Technology, Zhoukou Normal University, Zhoukou 466000, China)

Received:2011-09-24 Online:2012-07-20 Published:2012-07-20

摘要/Abstract

摘要： v在朴素贝叶斯算法和ID3算法的基础上，提出一种改进的决策树分类算法。引入客观属性重要度参数，给出弱化的朴素贝叶斯条件独立性假设，并采用加权独立信息熵作为分类属性的选取标准。理论分析和实验结果表明，改进算法能在一定程度上克服ID3算法的多值偏向问题，并且具有较高的执行效率和分类准确度。

关键词: 朴素贝叶斯算法, ID3算法, 信息增益, 客观属性重要度, 条件独立性假设, 加权独立信息熵

Abstract: This paper proposes an improved decision tree classification algorithm based on naive Bayes algorithm and ID3 algorithm. It introduces objective attribute importance parameter, gives a kind of conditional independence assumption that is weaker than naive Bayesian algorithm, and uses the weighted independent information entropy as splitting attribute’s selection criteria. Theoretical analysis and experimental results show that the improved algorithm, to a certain extent well overcomes ID3 algorithm’s shortcoming of multi-value tendency, and improves algorithm’s implementation efficiency and classification accuracy.

Key words: naive Bayesian algorithm, ID3 algorithm, information gain, objective attribute importance, conditional independence assumption, weighted independent information entropy

中图分类号:

TP301

黄宇达, 王迤冉. 基于朴素贝叶斯与ID3算法的决策树分类[J]. 计算机工程, 2012, 38(14): 41-43.

HUANG Yu-Da, WANG Tuo-Dan. Decision Tree Classification Based on Naive Bayesian and ID3 Algorithm[J]. Computer Engineering, 2012, 38(14): 41-43.

参考文献

[1] Quinlan J R. Induction of Decision Tree[J]. Machine Learning, 1986, 1(1): 81-106.
[2] 王苗, 柴瑞敏. 一种改进的决策树分类属性选取方法[J]. 计算机工程与应用, 2010, 46(8): 127-129.
[3] 黄爱辉, 陈湘涛. 决策树ID3算法的改进[J]. 计算机工程与科学, 2009, 31(6): 109-l11.
[4] 韩松来, 张辉, 周华平. 基于关联度函数的决策树分类算法[J]. 计算机应用, 2005, 25(11): 2655-2657.
[5] 叶明权, 胡学钢. 一种基于灰色关联度的决策树改进算法[J]. 计算机工程与应用, 2007, 43(32): 171-173.
[6] 谢邦昌. 商务智能与数据挖掘Microsoft SQL Server应用[M]. 北京: 机械工业出版社, 2008.
[7] 魏振钢, 周翔. ID3算法的一种改进算法[C]//2010国际信息技术与应用论坛论文集. 成都: [出版者不详], 2010.
[8] Mehta M, Agrawal R, Rissanen J. SLIQ: A Fast Scalable Classifier for Data Mining[C]//Proceedings of the 5th International Conference on Extending Database Technology. [S. l.]: ACM Press, 1996: 18-32.
[9] Shafer J C, Agrawal R, Mehta M. SPRINT: A Scalable Parallel Classifier for Data Mining[C]//Proceedings of the 22nd International Conference on Very Large Databases. [S. l.]: Morgan Kaufmann, 1996: 544-555.
[10] Gehrke J E, Ramakrishnan R, Ganti V. Rainforest——A Framework for Fast Decision Tree Construction of Large Datasets[C]//Proceedings of the 24th International Conference on Very Large Data Bases. [S. l.]: ACM Press, 1998: 127-162.
[11] 王璐, 邱桃荣, 何妞, 等. 基于粗糙集和蚁群优化算法的特征选择方法[J]. 南京大学学报: 自然科学版, 2010, 46(5): 487-493.
[12] 陶荣, 张永胜, 杜宏保. 基于粗集论中属性依赖度的ID3改进算法[J]. 河南科技大学学报: 自然科学版, 2010, 31(1): 42-45.
[13] Cercone N. Data Mining via Generalization, Discrimination and Rough Set Feature Selection[J]. International Journal of Knowledge and Information Systems, 1999, 1(1): 21-27.

[1]	赵博文, 王灵矫, 郭华. 基于泊松分布的加权朴素贝叶斯文本分类算法[J]. 计算机工程, 2020, 46(4): 91-96.
[2]	刘洁, 王铮, 王辉. 基于IMI-WNB算法的垃圾邮件过滤技术研究[J]. 计算机工程, 2020, 46(12): 299-304,312.
[3]	朱文峰, 于舒娟, 何伟. 基于IG_CDmRMR的二阶段特征选择方法[J]. 计算机工程, 2019, 45(9): 183-187,193.
[4]	张旭, 周新志, 赵成萍, 邵伦. 基于犹豫模糊决策树的非均衡数据分类[J]. 计算机工程, 2019, 45(8): 75-79,91.
[5]	王旭仁,马慧珍,冯安然,许祎娜. 基于信息增益与主成分分析的网络入侵检测方法[J]. 计算机工程, 2019, 45(6): 175-180.
[6]	李建,付小斌,吴媛媛. 基于优化ID3的井漏类型分类算法[J]. 计算机工程, 2019, 45(2): 290-295.
[7]	毕佳佳,张晶. 基于关系选择的多关系朴素贝叶斯分类[J]. 计算机工程, 2016, 42(5): 218-223.
[8]	马慧芳,曾宪桃,李晓红,朱志强. 改进的频繁词集短文本特征扩展方法[J]. 计算机工程, 2016, 42(10): 213-218.
[9]	边根庆,龚培娇,邵必林. 基于K-L散度的恶意代码模型聚类检测方法[J]. 计算机工程, 2014, 40(12): 104-107,113.
[10]	魏德志, 洪联系, 林丽娜, 王奇光. 一种基于HGA和数据挖掘的AMG模型[J]. 计算机工程, 2012, 38(7): 99-101.
[11]	李学明, 李海瑞, 薛亮, 何光军. 基于信息增益与信息熵的TFIDF算法[J]. 计算机工程, 2012, 38(08): 37-40.
[12]	张琳, 陈燕, 李桃迎, 牟向伟. 决策树分类算法研究[J]. 计算机工程, 2011, 37(13): 66-67,70.
[13]	朱颢东;钟勇;. 基于改进的ID3信息增益的特征选择方法[J]. 计算机工程, 2010, 36(8): 37-39.
[14]	张小康;帅建梅;史林. 基于加权信息增益的恶意代码检测方法[J]. 计算机工程, 2010, 36(06): 149-151.
[15]	陆秋;程小辉. 基于属性相似度的决策树算法[J]. 计算机工程, 2009, 35(6): 82-84.

基于朴素贝叶斯与ID3算法的决策树分类

Decision Tree Classification Based on Naive Bayesian and ID3 Algorithm

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10