数据挖掘在企业竞争情报系统中的应用

摘要：本文主要概述了数据挖掘技术的发展历史和研究现状。并将数据挖掘技术在企业竞争情报系统中的应用状况分别从国内和国外两方面作了介绍。同时对数据挖掘技术在企业竞争中的应用的相关经典理论与最新理论作了简要的介绍。

关键词: 数据挖掘；企业竞争情报; 知识发现 中图分类号: TP392

1. 引言

数据挖掘也称知识发现。数据挖掘是一门不断发展的综合交叉学科，兴起于20世纪80年代末，是当前计算机行业最热门的研究领域之一。数据挖掘理论汇聚了数据库、可视化、并行计算等方面的技术，集统计学、人工智能、模式识别、计算机科学、机器学习等多门学科理论知识为一体。数据挖掘技术从本质上来说是一种新的商业信息处理技术。[1]从商业角度看，数据挖掘技术就是按企业的既定的业务目标，对大量的企业数据进行深层次分析以揭示隐藏的，未知的规律并将其模型化，从而支持商业决策活动。[2]

2. 研究历史

2.1 国外历史

从数据库中发现知识（KDD）一词首次出现在1989年举行的第十一届国际联合人工智能学术会议上。到目前为止，由美国人工智能协会主办的KDD国际研讨会已经召开了8次，规模由原来的专题讨论会发展到国际学术大会，研究重点也逐渐从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多种学科之间的相互渗透。1999年，亚太地区在北京召开的第三届PAKDD会议收到158篇论文，空前热烈。IEEE的Knowledge and Data Engineering会刊率先在1993年出版了KDD技术专刊。并行计算、计算机网络和信息工程等其他领域的国际学会、学刊也把数据挖掘和知识发现列为专题和专刊讨论，甚至到了脍炙人口的程度。[3]

2.2 国内历史

与国外相比，国内对DMKD的研究稍晚，没有形成整体力量。1993年国家自然科学基金首次支持我们对该领域的研究项目。[4]目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究，这些单位包括清华大学、中科院计算技术研究所、空军第三研究所、海军装备论证中心等。其中，北京系统工程研究所对模糊方法在知识发现中的

应用进行了较深入的研究，北京大学也在开展对数据立方体代数的研究，华中理工大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等单位开展了对关联规则开采算法的优化和改造；南京大学、四川联合大学和上海交通大学等单位探讨、研究了非结构化数据的知识发现以及Web数据挖掘。[5]

2.3 重要理论

1997年，Mannila对当时流行的数据挖掘理论的理论框架给出了综述。[6]结合最新的研究成果，有下面一些重要的理论。

模式发现架构理论，规则发现架构理论，基于概率与统计理论，微观经济学观点理论，基于数据压缩的理论，基于归纳数据库理论，可视化数据挖掘理论。这些经典的理论直到今天还是研究的热门。而且也不能算是完善的理论。毕竟数据挖掘的概念的提出不过几十年。Piatetsky-Shapiro说数据挖掘技术在被广泛应用之前，仍然有许多“鸿沟”要跨越，即所谓Chasm阶段。[7]

3． 研究现状

3.1国外研究与应用现状

最近，Gartner Group的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。根据最近Gartner的HPC研究表明，“随着数据捕获、传输和存储技术的快速发展，大型系统用户将更多地需要采用新技术来挖掘市场以外的价值，采用更为广阔的并行处理系统来创建新的商业增长点。”[8]

据美国《幸福》杂志统计，全球500强企业的前100名企业和美国95％的公司均拥有自己的竞争情报系统，帮助企业根据竞争环境和竞争对手的各种变化，赢得竞争的主动权。根据美国未来集团对世界500强企业的调查统计，竞争情报对企业效益所作的贡献占企业总效益的比率分别是：微软为17％、摩托罗拉为11％、IBM为9％、宝洁为8％、通用电气为7％、惠普为7％、可口可乐为5％、英特尔为5％。[9]

3.2国内研究与应用现状

我国学者对竞争情报的研究始于20世纪80年代末期。当时，上海科技情报所的研究人员在国外进修期间接触到竞争情报的概念，并将其引入到国内，拉开了我国竞争情报研究的序幕。

1991—1994年，中国兵器工业情报研究所牵头进行了一项课题“情报研究的国内外比较研究\"，提出了把我国情报研究工作的重点转向竞争情报，推进国家、集团和企业的科技进步，增强它们的竞争力和提高产品与服务的市场占有率方面来的重要对策。1992年中期，上海科学技术情报研究所成立了“市场调研部”，开始进行竞争情报实践的探索。由该所负责的“上海轿车工业竞争环境监视系统”是国内竞争情报领域第一个由政府立项的研究课题，于1992年10月立项、1993年底结束。1994年9月，国家计委、国家科委、国防科工委、北京市政府等部门联合召开了“全国竞争情报与企业发展研讨会\"。1 996年，北京市科委将竞争情报软科学纳入“北京市工业振兴计划\"中。作为四个示范工程之一，“北京市竞争情报示范工程”由兵器信息研究所、航天信息研究所具体承担。示范工程以中介组织与企业合作的

方式开展，在电子，电器、医药、化工、纺织和烟草等行业中选择不同盈利状况的企业，共计8个项目，主要研究竞争情报系统(cis)的数据库设计报系统、网络设计等，至1999年10 月己完成了6个并通过验收。1999年年中，北京市科委决定成立“北京市竞争情报咨询服务中心\"，以“北京市竞争情报示范工程”的主要承担单位航天信息研究所为依托单位，“在北京市企业开展竞争情报的推广工作，培养一批竞争情报研究专家，帮助企业开展竞争情报研究，建立符合企业实际的竞争情报组织体系，为企业科学决策提供依据”。进入2l世纪，我国的海尔、康佳、创维等大型企业集团分别在美国、印度、墨西哥设立了其海外工厂，竞争情报的应用为他们开拓海外市场起到事半功倍的作用。在国内已经有一些大中型企业开始接受外部咨询公司的服务，并着手建设自己的竞争情报体系。包括医药行业的：三九医药、哈药三厂、六厂、上海罗氏、西安杨森、同仁堂等；百货行业的：西单商场、武汉中商；金融行业的：深圳发展银行、上海浦发银行、中国民生银行等企业。2000年12月，由中国兵器工业第二一零研究所牵头，北京大学信息管理系、中国科技信息研究所和北京牡丹电子集团参与的一项国家自然科学基金会项目“企业竞争情报系统的模式和运行机制研究”结题，在总结国内外经验的基础上，构造了由三个网络、三个系统、一个中心、六大功能构成的企业竞争情报系统，并给出了竞争情报分析方法及其评价指标，详细介绍了竞争对手跟踪、关键成功因素分析、核心竞争力分析和多点竞争分析方法以及计算机技术在竞争情报分析中的应用。目前，国内市场上已出现了专业的竞争情报系统产品。2002年8月下旬，百度公司正式发布了业界首例企业竞争情报系统，据该公司的宣传材料称，名为e．CIS的百度企业竞争情报系统集情报计划、采集、管理和服务为一体，能够帮助企业对整体竞争环境和竞争对手进行全面监测，同时收集和分析商业竞争中企业商业行为的优势、劣势及潜在的机遇，可以由此使企业建立起·个强大的情报中心。竞争情报系统正在以燎原之势迅速发展。虽然竞争情报工作在我国已有相当程度的发展，企业界对竞争情报的认识正在逐渐深化，但是这项很有意义的工作还并没有大范围的推广普及。据“企业竞争情报系统的模式和运行机制研究”课题的一项以竞争情报分会会员为样本的调查显示，在调查对象中，只有18．75％的企业拥有竞争情报部门，并且已经建立了正规化的工作流程与情报网络。在27．78％的企业中，竞争情报工作只具有图书馆功黥没有建立正式的竞争情报流程或网络。而高达53．47％的企业处于正在建立正式的竞争情报组织与网络的发展过程中。但同时，竞争情报流程己制度化，拥有世界范围网络，并具有相当反应能力的企业数则为零，这说明我国多数企业竞争情报工作尚处于发展中，我国竞争情报事业的发展任重道远引。[10]

3.3目前的研究方向与重要理论

数据挖掘技术与特定商业的平滑问题。商业逻辑有机地嵌入数据挖掘过程等关键问题，将是数据挖掘技术研究和应用的重要方向。数据挖掘技术与特定数据存储类型的适应问题 不同的数据存储方式会影响数据挖掘的具体实现机制，目标定位，技术有效性等。大型数据的选择与规格化问题。数据挖掘技术是面向大型数据集的，而且源数据库中的数据时动态变化的，数据存在噪音，不确定性，信息丢失，信息冗余，数据分布稀疏等问题，因此挖掘前的预处理工作是必须的。数据挖掘技术又是面向特定商业目标的，大量的数据需要选择性的利用，因此针对特定挖掘问题进行数据选择，针对特定挖掘方法进行数据规格化是无法回避的问题。数据挖掘系统的架构与交互式挖掘技术。数据挖掘语言与系统的可视化问题。数据挖掘理论与算法研究。[11]

4．结语

当前商业竞争异常激烈，企业迅速掌握有效的信息非常重要。数据挖掘技术在企业竞争情报系统中的应用使得企业从海量信息中彻底解放出来。当前数据挖掘技术正在快速发展阶段，它对企业方方面面的价值日渐凸显。相关专业人士应该充分关注当前最新的发展理论。

参考文献

[1] 毛国君，段立娟，王实，石云.数据挖掘原理与算法（第二版）[M].北京：清华大学出版社，2007.

[2] 毛国君.数据挖掘的概念﹑系统结构与方法[M].北京：清华大学出版社，2009.

[3] 百度空间：数据挖掘[EB/OL].http://hi.baidu.com/fancy wly/blog/item/64f.html[2011-12-25] [4] 洪家荣.空间数据挖掘和知识发现的理论与方法[M].北京：人民邮电出版社，2001. [5]邵峰晶，于忠清．数据挖掘原理与算法[M]北京：中国水利水电出版社，2003． [6] 陈敏.数据挖掘技术在商业中的应用研究[M].上海：上海科学技术出版社，2005. [7]苏新宁杨建林等．数据仓库和数据挖掘[M]北京：清华大学出版社，2006：60—63． [8] 百度百科：[EB/OL].http://baike.baidu.com/view/7893.htm,[2011-12-25].

[9] 维基百科：http://zhwikipeia/wiki.html[2011-12-25].

[10]刘晓燕，单晓红．数据挖掘在竞争情报系统中的应用[J]．管理学报，2009，2(2)：1 29—1 30

[11] 史忠植.知识发现[M].北京：清华大学出版社，2010.