论文首页哲学论文经济论文法学论文教育论文文学论文历史论文理学论文工学论文医学论文管理论文艺术论文 |
摘 要:文本挖掘是信息挖掘的1个研究分支,用于基于文本信息的知识发现。分类是数据挖掘的1项重要内容,研究各种高性能、高速度的分类算法是数据挖掘面临的主要问题之1。分类是机器学习的核心问题,有很多分类器模型提出,它们都可以用于文本分类,事实上也被广泛地应用到文本分类。比较著名的文档分类方法有决策树方法、Bayes方法、神经网络方法、粗糙集方法和遗传算法等。文本分类有非常广泛的应用。文本的类型可以是新闻报道、网页、电子邮件、学术文章。可以是根据应用要求的,比如,“垃圾邮件”、“非垃圾邮件”。电子邮件已经成为人们日常生活中通信、交流的重要手段之1。本文介绍了运用文本分类算法中的简单贝叶斯算法,应用到基于内容的邮件分类中,针对日益严重的垃圾邮件问题做了简单的分类,实现了垃圾邮件的过滤。
关键词:文本分类;Naïve Bayes方法;电子邮件
Abstract:Text Mining is a Data Mining research branch,uses in Content-based text KDD. The classification is an important content of Data Mining.The classification is an important content of Data Mining.The study of the various high-performance, high-speed data classification algorithms is one of the main problems facing the Data Mining. The classification is a key question of the machine learning. a lot of classification device models are proposed, they can all be used in the text classification, in fact is widely applied to the text classification too. More famous algorithms of text classification such as Decision Tree ,Bayes,Neural Network,Rough Set,Genetic Algorithm,etc. then. The text classification has the extremely widespread application. The text type may be the news report, the homepage, the email, the dissertation, the Newsgroup article. May be according to applies the request, for instance, "junk mail", "non- junk mail". The email already became in the people daily life to correspond, one of exchange important methods. This article introduced in utilization text classification algorithm NBayes algorithm, applies based on in the content mail classification, has done the simple classification to the serious junk email problem day by da, realized the junk mail filtering. (科教论文网 Lw.nsEAc.com编辑整理)
Keywords: Text Classification; Naïve Bayes; E-mail
前 言
作为互联网的第1大应用,电子邮件1直受到广大网民的青睐。电子邮件已经成为人们日常生活中通信、交流的重要手段之1。
但是,近些年来,垃圾邮件问题日益严重。2004年1月,中国互联网络信息中心(CNNIC)发布的《第103次中国互联网发展状况统计报告》显示,中国网民平均每周收到13.7封电子邮件,其中垃圾邮件占了7.9封,垃圾邮件数量已经超过了正常邮件数量。垃圾邮件不仅耗费网络带宽和计算机时空开销,而且会对用户的正常工作造成严重干扰。
如何实现垃圾邮件和非垃圾邮件的自动区分呢?从内容上看,可以将这个区分过程视为2值分类问题。
众所周知,数据库技术从20世纪80年代开始,已经得到广泛普及和应用。文本数据挖掘(Text Mining)是指从文本数据中抽取有价值的信息和知识的计算机处理技术。顾名思义,即是从文本中进行数据挖掘(Data Mining)。它包括关联分析、分类、预测、聚类分析和孤立点分析等几个方面。
文本分类作为文本挖掘的主要内容之1,主要是通过分析训练数据样本,产生关于类别的精确描述。这种类别通常由分类规则组成,可以用来对未来的数据进行分类预测,有着广泛的应用前景。对于分类规则的挖掘通常有以下几种方法:决策树方法、贝叶斯分类法、神经网络方法、粗糙集方法和遗传算法,并且不同的算法适用于不同特点的数据。文本类型可以是新闻报道、网页、学术文章以及电子邮件等,使文本分类有非常广泛的应用。
因此,各种文本分类方法都可以应用到邮件的分类过程。本文所研究的电子邮件分类技术与应用,主要是基于文本挖掘的分类思想,使用简单贝叶斯分类算法,将电子邮件进行2值分类,实现非垃圾邮件与垃圾邮件分类存储。
目 录 (转载自http://zw.nseac.coM科教作文网)
前 言 1
第1章 绪 论 2
1.1 分类技术的展望 3
1.2 电子邮件应用的现状 3
第2章 相关知识 5
2.1 数据挖掘 5
2.1.1 文本挖掘 5
2.1.2 中文文本分类技术 5
2.1.3 贝叶斯分类 6
2.2 Microsoft Visual C++ 6.0简介 8
2.2.2 Visual C++的集成开发环境 9
2.2.3 本程序所使用的C++库及其部分函数介绍 10
第3章 需求分析 13
3.1 实现中文文本分类算法 13
3.2 对电子邮件实现简单分类 13
第4章 概要设计 14
4.1 概要设计算法结构图 14
4.2 模块设计 14
4.2.1 邮件预处理 14
4.2.2 训练器 15
4.2.3 过滤器 16
4.2.4 分类存储 17
4.2.5 反馈学习 17
第5章 详细设计 18
5.1 表结构 18
5.2 邮件预处理 19
5.3 训练器 19
5.3.1 邮件集训练 19
5.3.2 建立Probility表 24
5.4 过滤器实现 25
5.5 存储邮件 27
5.6 反馈学习 27
第6章 测 试 29
6.1 测试方法 29
6.2 算法功能测试 29
6.3 比较试验 32
6.3.1 特征值数量对结果的影响 32
6.3.2 阈值对结果的影响 32
6.3.3 预处理层次对结果的影响 32
结 束 语 33
致 谢 34
参考文献 35