评价网 > 科教论文 > 工学毕业论文 > 计算机应用论文 > 正文

网络信息资源的数据挖掘类型与应用研究(1)

2014-03-03 01:14 随着Internet的飞速发展，网络信息资源急剧增长，网络信息过载问题日益突出，人们越来越多地关注如何开发和利用这些资源。然而，目前中英文搜索引擎均存在查准率、查全率不高的现象，这种现状无法适应用户对高质量的网络信息服务的需求；同时，电子商务以及各种网络信息服务迅速兴起，原有的网络信息处理与组织技术无法赶上这样的发展趋势。网络信息挖掘就是在这样的环境下应运而生，并迅速成为网络信息检索、信息服务领域的热点之一。网络信息的数据挖掘不仅包括对网页内容本身的挖掘，也包括其链接模式，以及用户访问、存取、浏览、发布、操作等操作行为、访问行为所产生的信息的挖掘。有效地研究、挖掘、利用网络信息可以增强网站的吸引力，有的放矢地吸引用户群，更有效地利用网络资源。一、 网络信息资源及其特点网络信息资源是指放置在英特网上能满足人们信息需求的信息集合。网络信息资源极其丰富，包罗万象，其内容涉及农业、生物、化学、数学、天文学、航天、气象、地理、计算机、医疗和保险、历史、法律、音乐和电影等几乎所有专业领域，是知识、信息的巨大集合，是人类的资源宝库。网络信息资源是一种新型数字化资源，与传统文献相比有较大的差别。网络信息资源具有一下特点：1、数量大，类型多传播范围广。网络信息类型多样，有文本、数据、图像、图形、声频、视频信息、多媒体信息等；内容既有高质量的信息，也有有害信息和虚假信息，有个人信息也有在政府信息。最为特殊的是各种非正式信息被广泛生产与传播。2、网络信息资源没有统一的管理机制，信息安全缺乏保障。黑客攻击、计算机病毒和色情泛滥成为网络的三大痼疾。为防止有害信息耗费了大量的社会资源。3、网络信息资源分布零乱无序，信息更新快，寿命短，管理相对困难。信息发布自由，来源广泛，内容混杂，质量不一，控制也比较困难。4、以网站为信息活动的单位，以网页为信息发布和收集的单元。5、信息利用水平取决于网站软硬件的技术水平和服务能力，网络信息提供方式是以网站为基点并可在网站间灵活链接的信息服务网。6、网络创造了多层次的信息交流模式，全面反应了社会生活的各个领域，形成了百科全书式的知识网络和传播功能。二、 数据挖掘的语言数据挖掘语言有助于数据挖掘系统平台的标准化，推动数据挖掘应用的发展。数据挖掘语言根据功能和侧重点的不同，可分为三种类型：数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。（一）数据挖掘查询语言DMQL数据挖掘查询语言DMQL由数据挖掘原语组成。数据挖掘原语用来定义一个数据挖掘任务，通过查询的方式实现与数据挖掘系统通信，获得所需信息。数据挖掘查询语言DMQL主要有五种基本的数据挖掘原语定义：任务相关数据原语、被挖掘的知识的种类原语、背景知识原语、兴趣度测量原语、被发现模式的表示和可视化原语。DMQL 是基于这五种数据挖掘原语设计的查询式语言，类似于SQL 语言的语法，因此很容易与SQL 关系查询语言集成，很容易从关系数据库中挖掘知识信息。MSQL 是另一个数据挖掘查询语言，由Imielinski 和Virmani 提出。它使用了类似于SQL 的语法和SQL原语，为了规范规则产生和规则选择，提出了被称作GetRule 和SelctRule 的原语。（二）数据挖掘建模语言PMML数据挖掘建模语言PMML 全称预言模型标记语言（Predictive Model Markup Language），是对数据挖掘模型进行描述和定义的语言，使数据挖掘系统在模型定义和描述方面有法可依，各种数据挖掘系统可以共享模型，又可以在应用程序系统中间嵌套数据挖掘模型，不需要独自开发，就能使数据挖掘达到深度挖掘的目的。预言模型标记语言PMML 是一种基于XML 的数据挖掘建模语言，利用XML 描述和存储数据挖掘模型，使用标准的XML 解析器对PMML 解析，可以得到预计的输入和输出数据类型。PMML2.0 主要由：标题（header）、数据字典（data dictionary）、数据流（data flow）、挖掘模型（mining schema）、数据转换（Derived Values、Statistics、Taxonomy、Normalization）、预言模型（Tree Model、Naive Bayes、General Regression、Regression Model、Sequences、General Structure、Asscocation Rules、Neural Network、Center and Distribution based Clustering）、模型组合定义（ensembles of models）、选择和联合模型和模型组合的规则（rules for selecting and combining models and ensembles of models）、异常处理的规则（rules for exception handling）等九个部分组成。对于复杂的数据挖掘任务，由多个数据源和数据挖掘模块，需要在各个模块之间交换结果，预言模型标记语言PMML 的主要组成部分拥有这种灵活的模型交换能力和数据格式转换能力，并实现模型与数据和工具部分分离。因PMML 是基于XML 的数据挖掘建模语言，适合部分学习、元学习、分布式学习的数据挖掘应用程序。（三）通用数据挖掘语言OLE DB for DM通用数据挖掘语言OLE DB for DM是2000年3月微软公司推出的一个数据挖掘语言，目的是为数据挖掘行业提供一个业界标准。OLE DB for DM综合了数据挖掘查询语言DMQL和数据挖掘建模语言PMML的特点，既能定义模型，又能作为查询语言与数据挖掘系统通信，进行交互的和特殊的数据挖掘，实现了数据与模型真正分离。OLE DB for DM是一种基于SQL预言的协议，扩充了SQL语言语法，可以轻松地与关系型数据库集成，可以将不同的数据挖掘算法嵌入数据挖掘应用程序。OLE DB for DM为了更接近关系型数据库结构，定义了几个重要的概念。数据挖掘模型（Data Mining Model，DMM）：DMM像数据库中的关系表，但是它包含了一些特殊的列，这些列被数据挖掘中的数据训练和预言制定使用。DMM既可以用来创建预言模型，又可以产生预言。标准的关系表用来存储原始数据而DMM存储被数据挖掘算法发现的模式，对于从事WEB挖掘的开发人员，DMM所有的结构和内容都可以用XML字符串表示。预言联接操作（Predication Join Operation）：预言联接操作类似于SQL 语言中的连接操作，在一个训练好的数据挖掘模型和输入数据源之间映射一个连接查询，将能得到符合需求的预言结果。这个预言结果通过OLE DB的行集合或者ADO记录集（recordset）发送到消费者应用程序内。OLE DB for DM模式行集合（Schema Rowsets）：OLE DB for DM模式行集合用于特殊目的模式行集合允许消费者应用发现临界的信息，例如：可利用的挖掘服务、挖掘模型、挖掘列和模型内容等。三、 网络信息挖掘的类型根据挖掘的对象不同，网络信息挖掘一般可分为三类:网络内容挖掘(Web content mining)、网络结构挖掘(Web construct mining)和网络用法挖掘(Web usage mining)。（一）网络内容挖掘网络内容挖掘是指从网络的内容/、掘内容挖掘语言。的关系表用来存储原始数据，据挖掘任务，数据/文档中发现有用信息的过程。网络信息资源类型众多，目前WWW信息资源已经成为网络信息资源的主体，Internet出现之前的Gopher、FTP、U senet资源逐渐隐藏到WWW形式之后，但这些资源仍可以通过Web进行访问。然而除了大量的人们可以直接从网上抓取、建立索引、实现检索服务的资源之外，一些网络信息是“隐藏”着的数据，如由用户的提问而动态生成的结果，或是存放在DBMS(数据库管理系统)中的数据，或是那些私人数据，它们无法被索引，从而无法提供对它们有效的检索方式。以上是从网络信息源的角度探讨，若从资源形式看，网络信息内容是由文本、图像、音频、视频、元数据等等形式的数据组成的，因而我们所说的网络内容挖掘将是一种多媒体数据挖掘形式。（二）网络结构挖掘网络结构挖掘是从WWW的组织结构、Web文档结构及其链接关系中推导知识。主要是针对Web潜在的链接结构，通过网页链接找到隐藏在页面之后的链接结构模型。网络结构挖掘的目的是发现Web和页面的结构及其蕴含在这些结构中的有用模式，对页面及其链接进行分类和聚类，由此获得有关不同网页间相似度及关联度的信息，有助于用户找到相关主题的权威站点，并且可以通过浏览权威网站企业可以了解本行业的最新动态信息，了解一些著名的大型企业的发展动态。还可以发现Web文档自身的结构，这种结构用于用户的浏览，也利于对网页进行比较和系统化。（三）网络用法挖掘通过网络用法挖掘，可以了解用户的网络行为数据所具有的意义。网络内容挖掘、网络结构挖掘的对象是网上的原始数据，而网络用法挖掘则不同于前两者，它面对的是在用户和网络交互的过程中抽取出来的第二手数据。这些数据包括: 网络服务器访问记录、代理服务器日志记录、浏览器日志记录、用户简介、注册信息、用户对话或交易信息、用户提问式等。四、 网络信息的数据挖掘的应用随着Internet的迅速发展和不断的普及应用，网络信息资源越来越丰富，如何分析和利用这些海量的数据是当前比较突出的一个问题。网络信息挖掘在实际工作中具有重要的实践意义和广阔的应用前景。通过网络信息挖掘，可以收集政治、经济、政策、科技、竞争对手、供求、客户等有关的信息，分析和处理这些信息，并根据分析结果找出经营管理过程中出现的各种问题，有利于改善管理的效率和效果。网络信息挖掘可以应用在许多方面，例如：1、科学研究。随着先进的科学数据收集工具的使用，如观测卫星、遥感器、生物信息技术等，所涉及的数据量非常大，传统的数据分析工具无能为力，网络数据挖掘作为一种强大的智能型自动数据分析工具得以广泛应用。2、市场营销。利用网络数据挖掘技术通过对用户数据进行分析，可以得到关于顾客购买取向和兴趣的信息，从而为商业决策提供可靠的依据。3、金融投资。由于金融投资的风险很大，在进行投资决策是，更需要对各种投资方向的数据进行分析。数据挖掘可以通过对已有数据的处理，找到数据对象之间的关系，然后利用学习得到的模式进行合理的预测。4、产品制造。数据挖掘对产品数据的分析，有助于对改进产品质量提出有针对性的建议，或提出信息的更高效的控制模式，从而为制造厂家带来更多的回报。5、教学管理。如远程教育中的网络资源发现，分析教学网站的结构组织是否符合学生学习和教师教学的规律、教学评价等。教学评价的技术水平是衡量一个国家教育发展水平的重要尺度。传统的定性与定量教学评价存在许多问题。将数据与挖掘这种新的数据分析技术应用于教学评价之中，可以提高教些评价技术水平，使之更好地为教学服务。6、Internet或其他通信网络管理等的应用。下面主要介绍网络信息挖掘在电子商务、网络广告和竞争情报中的应用。（一）网络信息挖掘在电子商务中的应用1、网络信息挖掘在电子商务中应用的必要性电子商务是指个人或企业通过国际互联网络，采用数字化方式进行商务数据交换和开展商务业务活动。电子商务过程中产生了大量的数据，数据挖掘是对这些数据进行分析的有效方法。由于Web的易用性、实用性，它很快占据了网络信息主导地位，目前已经成为使用最为广泛、最有前途的信息传播技术。电子商务中产生的数据有其自身的特点，把数据挖掘技术与电子商务进行有机结合，选用适合电子商务数据的挖掘方法，可以提供数据挖掘的效率，让数据挖掘更好地为电子商务服务。电子商务是以网络技术和Web数据库技术为支持的，其中，Web数据库技术是电子商务的核心技术，Web数据库的发展成为新的热点和难题。Web数据库能将数据库技术与Web技术很好地融合在一起，是数据库系统成为Web的重要有机组成部分，能够实现数据库与网络技术的无缝有机结合。客户是数据挖掘研究的对象之一，它能发现客户的共性和个性、必然和偶然、独立和关联、现实和预测等知识。通过这些知识可以对客户的消费行为如客户消费的心理、能力、动机、需求等作出比较客观的统计和准确的分析，为电子商务的管理者提供决策依据。电子商务组织管理者必须通过访问网络最新和最准确的信息，对产品、客户、合作伙伴和进程做出明智的决策，从而赢得竞争优势。近年来，电子商务站在企业商贸领域占据着越来越多的市场份额，网络信息挖掘主要用于商品的市场定位和消费分析，以辅助制定市场策略，还可以用来分析购物模式，预测销售行情等。2、网络信息挖掘在电子商务中的主要应用（1）针对不同客户提供个性化的产品销售商可以获知访问者的个人爱好更加充分地了解客户的需要，根据各个细节市场，甚至是每一个顾客的独特需求提供个性化的产品，有利于提高客户的满意度。为了使网络信息挖掘技术更好地应用，商家必须记录访问者的特征及条款特征。当访问者访问某网站时，有关访问者的数据便会逐渐积累起来。（2）发现潜在客户对一个电子商务网站来说，了解、关注在册客户全体是非常重要的，但从众多的访问者中发现潜在客户群体也同样非常关键。如果发现某些客户为潜在客户群体，就可以对这类客户实施一定的策略，使他们尽快成为在册客户群体。在对客户访问记录的挖掘中，利于分类技术可以在网络上找到潜在客户。先对已经存在的访问者进行分类，一般分为三种：新来访者、偶然来访者和常客。对于新来访者，通过分类发现，识别出这个客户与已经分类的老客户的一些公共属性，从而对这个新客户进行正确的归类。然后根据归类判断，决定是否要把这个新来访者作为潜在的客户来对待。（3）挽留老顾客二八定律表明企业80%的业务收入来自于20%的客户，而向新客户进行推销的花费要6倍于向现有的客户进行推销的花费。通过Web数据挖掘，可发现什么样的顾客群在网站上购买了什么商品，哪些是网站的忠诚客户，以便对其进行个性化营销和人性化关怀。（4）延长客户的驻留时间为了使客户在自己的网站上驻留更长的时间，就应该了解客户的浏览行为，知道客户的兴趣及需求所在，动态地调整Web页面，以满足客户的需要。通过对客户访问信息的挖掘，就能知道客户的浏览行为，从而了解客户的兴趣及需求，并根据需求动态地向客户推荐页面，提供特有的一些商品信息和广告，以使客户能继续保持访问站点的兴趣。（5）改进站点设计站点上页面内容的安排就如超级市场中物品在货架上的摆设一样，把具有一定支持度和信任度的相关联的物品摆放在一起有助于销售，利用关联规则发现可以针对客户动态调整站点的结构，使客户访问的有关联的文件间的链接能够比较直接，让客户更容易访问到想访问的页面。网站如果具有这样的便利性，就能给客户留下较好的印象，增加了下次访问的几率。对Web站点链接结构的优化可从两方面来考虑：一是通过对Web日志的挖掘，发现用户访问页面的相关性，从而在密切联系的网页之间增加链接，方便用户的使用。二是通过对Web日志挖掘，发现用户的期望位置。如果在期望位置的访问频率高于对实际位置的访问频率，可考虑在期望位置和实际位置之间建立链接，从而实现对Web站点的优化。（6）电子商务推荐系统推荐系统就向客户推荐商品或提供信息来引导客户购买什么商品。推荐系统可以根据其他客户的信息或此客户的信息，模拟销售人员帮助客户完成购买过程，为客户提供个性化服务。推荐的形式包括向客户推荐商品，提供个性化的商品信息等。推荐系统具有如下作用：（1）将浏览者转变为购买者。有时人们只是看看网站的内容而没有购买的意思。推荐系统可以帮客户找到他们感兴趣的、愿意买的商品。（2）增加交叉销售。基于用户已经购买的商品，推荐客户购买一些相关的商品。（3）建立忠诚度。客户往往愿意到那些最能满足自己需求的网站购物。3、实例：顾客行为模式分析由于数据挖掘技术一般不是在线创建模型，因此首先要将诸如会员基本信息、会员在线消费文档、会员在线行为文档\服务器认证日志等所有的相关数据从服务器上下载下来，并按照以下步骤处理这些数据。（1）数据聚合与过滤在这一步中，从不同的文档聚集所有数据汇成一组基本数据记录，在聚集的处理过程中，这些信息中有错误和漏掉的部分都需要得到修正。例如在信息提取的过程中，遇到购买为零时会导致空白，因此需填充缺省值来处理空白。然后将与该模式无关紧要的栏消去。例如，消去顾客的ID栏，因为它自始至终对于顾客行为模式没有任何作用。（2）数据整合预处理过的数据才可被挖掘工具进行整合。要注意数据挖掘工具只能处理数字，因此文字数据就要提前处理转化出来。不同的数据挖掘工具可能采用不同的挖掘技术，如有的可利用遗传算法，有的则可采用神经网络技术等等。因此，得出的结论也可能会因为数据整合的方法不同而有差别。以下是两个实例，表4-1是提取和过滤过的会员数据，表4-2是分析的顾客行为模式。表4-1 会员数据NO.性别职业年龄