基于Oracle+Data+Mining+API的数据挖掘实现方法的研究与应用

基于Oracle Data Mining API的数据挖掘实现方法的研究与应

用

姓名：王帆申请学位级别：硕士专业：软件工程指导教师：李青山;严一萌

20070101

摘要随着计算机技术和通信网络技术的迅猛发展，信息化程度快速增长，人们利用信息技术生产和搜集数据的能力大幅度提高。“如何才能不被信息的汪洋大海所淹没，从中及时发现有用的知识，提高信息的利用率＂，已经成为人们迫切需要解决的问题。数据仓库和数据挖掘作为决策支持的新技术，就是在这样的背景下应运而生的。随后在电信、金融和保险等各个领域中蓬勃发展，彼此之间相互促进，相互影响，并越来越显示出其强大的生命力。本文主要论述了在大型数据库Ｏｒａｃｌｅ数据仓库的基础上，构建电信客户资料的数据模型，设计和实现一个基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的大型数据库数据挖掘分析系统。将电信客户的数据应用于此系统，利用Ｏｒａｃｌｅ资料中隐含的微妙模式和关系，从而验证了Ｏｒａｃｌｅ并在此基础上提出了ＯｒａｃｌｅＤａｔａＤａｔａＭｉｎｉｎｇ分析挖掘数据库中的海量数据，并自动提取更多有价值的信息，以此来侦测和发现电信客户ＤａｔａＭｉｎｉｎｇ数据挖掘的可行性。Ｍｉｎｉｎｇ数据挖掘的基本框架，这样可以为各种特定主题的电信应用问题，提供一个有效的数据挖掘解决方案，更能在决策分析上给予电信部门更多的帮助和支持。关键词：大型数据库数据仓库数据挖掘ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩＡｂｓｔｒａｃｔＷｉｔｈｐｅｏｐｌｅｄｅｖｅｌｏｐｍｅｎｔｏｆｃｏｍｐｕｔｅｒａｎｄｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｎｅｔｗｏｒｋｔｅｃｈｎｏｌｏｇｉｅｓ，ｔｈｅａｂｉｌｉｔｙｏｆｕｓｉｎｇｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｔｏｓｕｒｖｉｖｅｉｎｔｈｅｉｎｆｏｒｍａｔｉｏｎｏｃｅａｎｅｎｈａｎｃｅｄｃａｎｃｏｎｓｔｒｕｃｔａｎｄｃｏｌｌｅｃｔｄａｔａ．”Ｈｏｗｂｅｃｏｍｉｎｇａｎａｎｄｆｉｎｄｕｓｅｆｕｌｋｎｏｗｌｅｄｇｅ”ｉｓａｌｅｕｒｇｅｎｔｐｒｏｂｌｅｍ．ＤａｔａＷａｒｅｈｏｕｓｅａｎｄＤａｔａＭｉｎｉｎｇｇｅｎｅｒａｔｅｄｕｎｄｅｒｔｈｉｓｂａｃｋｇｒｏｕｎｄ．Ａｎｄｉｔｉｓｄｅｖｅｌｏｐｅｄｉｎｔｈｅｆｉｅｌｄｏｆｔｅｌｅｃｏｍ，ｆｉｎａｎｃｅ，ｓｅｃｕｒｉｔｙ，ｅｔｃａｎｄｓｈｏｗｅｄｉｔｓｐｏｗｅｒｆｕｌｌｉｆｅ－ｆｏｒｃｅｍｏｒｅａｎｄｍｏｒｅ．ＴｈｉｓｐａｐｅｒｉｓｍａｉｎｌｙｄｉｓｃｕｓｓｅｄｏｆｃｏｎｓｔｒｕｃｔｉｎｇｄａｔａｍｏｄｅｌｏｆｔｅｌｅｃｏｍｃｕｓｔｏｍｅｒｒｅｆｅｒｅｎｃｅａｎｄｄｅｓｉｇｎｉｎｇａｎｄｒｅａｌｉｚｉｎｇｂａｓｅｄｕｓｅｏｎａｌａｒｇｅｄａｔａｂａｓｅｄａｔａｍｉｎｉｎｇａｎａｌｙｓｉｓｓｙｓｔｅｍＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ．Ｔｏａｐｐｌｙｔｅｌｅｃｏｍｃｕｓｔｏｍｅｒｄａｔａｔｏｔｈｉｓｓｙｓｔｅｍ，ｗｅＯｒａｃｌｅＤａｔａＭｉｎｉｎｇｔｏａｎａｌｙｚｅｌａｒｇｅｑｕａｎｔｉｔｉｅｓｏｆｄａｔａｉｎｍｉｎｉｎｇｍｏｄｅｌａｎｄｃｏｌｌｅｃｔｖａｌｕａｂｌｅｉｎｆｏｒｍａｔｉｏｎａｕｔｏｍａｔｉｃａｌｌｙ，ｉｎｏｒｄｅｒｔｏｐｒｏｂｅａｎｄｄｅｔｅｃｔｓｕｂｔｌｅｐａｔｔｅｒｎａｎｄｒｅｌａｔｉｏｎｉｎｔｅｌｅｃｏｍｃｕｓｔｏｍｅｒｄａｔａｒｅｆｅｒｅｎｃｅ，ｗｈｉｃｈｔｅｓｔｉｆｙｆｅａｓｉｂｉｌｉｔｙｏｆＯｒａｃｌｅＤａｔａｔｏｐｒｏｖｉｄｅａＭｉｎｉｎｇ．ＡｎｄｉｔｂｒｉｎｇｓｕｐｆｕｎｄａｍｅｎｔａｌｆｒａｍｅｗｏｒｋｉｎＯｒａｃｌｅＤａｔａＭｉｎｉｎｇｄａｔａｍｉｎｉｎｇｓｏｌｕｔｉｏｎｆｏｒａｌｌｕｎｉｑｕｅｔｅｌｅｃｏｍｕｓａｇｅｐｒｏｂｌｅｍｓ，ｗｈｉｃｈｃａｎｇｉｖｅｍｏｒｅｈｅｌｐａｎｄｓｕｐｐｏｒｔｉｎｄｅｃｉｓｉｏｎａｎａｌｙｓｉｓｆｏｒｔｅｌｅｃｏｍｄｅｐａｒｔｍｅｎｔ．Ｋｅｙｗｏｒｄｓ：ＬａｒｇｅＤａｔａｂａｓｅＤａｔａＷａｒｅｈｏｕｓｅＤａｔａＭｉｎｉｎｇＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ创新性声明本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不包含他人已经发表或撰写的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所作过的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：互帆日期：劬７．岁．兰关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用复印、影印、缩印或其它手段保存论文。本人签名：导师签名：王帆日期：型丕墨竺日期：圭兰之２巨第一章绪论１第一章绪论１．１引论随着社会科技的飞速发展，人们所面对的大量信息和数据也随之爆炸式地增长，与之相适应的大型数据库的技术研究也摆在了科研工作者面前。大型数据库与一般意义上的普通数据库相比，由于自身容量很大，在数据录入和数据查询时实时性较差，很难满足客户对数据查询处理和数据分析的要求。从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识，这就需要找到一种途径和方法得以实现。通过大唐电信大型数据库的预研工作，希望能够在翻阅和查找大量资料的基础上，采用合适的数据仓库和数据挖掘技术，找到一种更为有效的应用解决方案，实现和模拟这一项目，验证所研究的解决方案的可行性，以便于在后续数据库应用开发中都可以在此框架下进行，更是为今后这个大型数据库项目的立项实施提供参照和借鉴。１．２论文研究的背景电信企业一直使用计算机处理各种业务，包括设备维护（网络系统）、业务管理（九七系统、财务系统）和财务管理等，具有丰富的历史数据，因此建立数据仓库有良好的基础ＩｌＪ。数据仓库的目的是要建立一种体系化的数据存贮环境，将分析决策所需的大量数据从传统的操作环境中分离出来，使分散的、不一致的操作数据转换成集成的、统一的信息，企业内不同单位的成员都可以在此单一的环境之下，通过运用其中的数据与信息，采用数据挖掘技术，发现全新的视野和新的问题、新的分析与想法，进而发展出制度化的决策系统，并获取更多经营效益。本论文是以大唐电信的大型数据库预研项引２Ｊ为背景，由于目前特通平台的数据库容量已经超过３０Ｔ，在数据录入和数据查询时实时性较差，已经不能满足相关部门对查询时间的要求。特通平台中的话单分析系统还需要对某些特定的号码进行分析，发掘出这些号码和其它号码之间的联系关系以及他们之间的通话规律，以辅助相关安全部门进行相关领域的安全工作。以上所涉及的大型数据库的处理和查询优化技术、数据仓库与数据挖掘等方面的技术和方法都是今后研究的重点。其研究成果主要应用于特通平台下大量话单的分析和处理。因为特通平台的保密性原则，预研项目的测试数据需要自行解决，我们就选择与之相关的数据进行分析，并在电信客户资料的基础上研究数据挖掘技术的实现方法。２基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用１．３国内外研究的现状随着电信企业经营环境的变化，市场竞争越来越激烈。如何有效地利用工具提高经营决策水平，成为今天每个电信企业必须面对的问题。数据仓库和数据挖掘技术就是提高企业业务分析能力和决策水平的有效工具和方法。业务据调查，在许多引入竞争机制的国家或地区，如美国、英国和日本，他们的电信公司都建立数据仓库系统作为经营决策的工具，提高客户满意度和经营利润。国外专业电信顾问公司研究调查发现，数据仓库和数据挖掘两项独特能力是竞争优势的来源，是当今电信公司成功的重要原因之一【引。目前，在大型数据库应用比较广泛，大都采用在数据仓库的基础上，对海量数据进行处理查询和挖掘分析工作。研究的焦点已经不是仅仅局限于从低层次的末端查询操作，而是提高到了为各级经营决策者提供决策支持。数据挖掘的研究趋势主要集中在以下五个方面：＞专门用于知识发现的数据挖掘语言，也许会像ＳＱＬ语言一样走向形式化和标准化；＞寻求数据挖掘过程中的可视化方法，使得知识发现的过程能够被用户理解，也便于在知识发现过程中的人机交互；开发用于知识发现的挖掘工具和方法，常用的有分类、聚类、模式识别、可视化、决策树、遗传算法、不确定性处理等；研究在网络环境下的数据挖掘技术，特别是在因特网上建立数据挖掘服务器，并且与数据库服务器配合，实现网络化数据挖掘；加强对各种非结构化数据的挖掘，如对文本数据、图形数据、视频图像数据、声音数据乃至综合多媒体数据的挖掘。＞＞＞需求的牵引力与市场的推动力都是永恒的，数据挖掘将首先满足信息时代用户的急需，大量的基于ＤＭＫＤ的决策支持软件产品将会问世。只有从数据中有效地提取有用信息，再从信息中及时地发现知识，才能为人类的思维决策和战略发展服务。也只有到那时，数据才能够真正成为与物质、能源相媲美的资源，信息时代才会真正到来。１．４论文研究的主要内容本论文主要采取理论与实践相结合的方式，借鉴国内外的经验和资料，从这两个方面入手，对大型数据库的数据挖掘技术进行较为系统的分析和研究，并在学习数据仓库和数据挖掘的相关理论知识后，利用ＯｒａｃｌｅＭｉｎｉｎｇ来分析挖掘数据库中的海量数据，以侦测其中的微妙模式和关系，并提取更多有价值的商务Ｄａｔａ第一章绪论３智能信息，有助于为电信部门提供更好的决策支持。主要研究的内容如下：１．重点掌握数据仓库技术的基本理论知识，对数据仓库的组成特点和体系结合电信领域的应用问题，深入研究数据挖掘技术的常用模型和算法，全面了解大型数据库Ｏｒａｃｌｅ９ｉ相关技术资料，着重分析了Ｏｒａｃｌｅ在数据结构有了清晰的认识，并总结了数据仓库一般的设计方法。２．为此后的设计开发提供坚实的理论基础。３．仓库和数据挖掘方面的技术特点和实现方法，并提出了一个有效的应用问题解决方案。４．Ｄａｔａ以电信客户资料主题为模型，构建数据仓库，并设计实现一个基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘分析系统，验证了ＯｒａｃｌｅＭｉｎｉｎｇ数据挖掘功能的可行性。第二章大型数据库关键技术的研究５第二章大型数据库关键技术的研究２．１数据仓库技术２．１．１数据仓库的概述数据仓库技术是以关系数据库、并行处理技术和分布式技术的飞速发展为基础的，它是解决信息技术在发展过程中虽然拥有大量数据却缺乏有用信息的综合方案。数据仓库概念的创始人Ｗ．Ｈ．Ｉｎｍｏｎ将其定义为：“数据仓库是在企业支持管理决策过程中面向主题的、集成的、稳定的、随时间变化的数据集合１４Ｊ＂。与其他数据库应用不同的是，数据仓库更像一种过程，即对分布在企业内部各处的业务数据的整合、加工和分析的过程。数据仓库的提出和发展，一个潜在的因素是大型数据库中海量数据的出现，使得原有的数据存储和分析方法在处理能力等方面有些力不从心。因此人们才开始研究将“仓库’’概念用于数据的存储过程中。传统的“仓库＂就是将物品进行分门别类，形成了很多的层次空间。当要取一件物品时，仓库管理员会根据仓库产品的分类方法，很快地找到所需要的物品。同样，在数据仓库中，就是将所有的数据根据主题等内容，进行分类划分，然后进行存取操作并完成分析功能，这也是数据仓库之所以称为“仓库”的直接原因。２．１．２数据仓库的特点１．面向主题主题是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象，是针对某一决策问题而设置的。面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整的、统一的、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。目前，数据仓库的实现主要是基于关系数据库，每个主题由一组关系表或逻辑视图实现。这些表和视图的内容与原来各个运行系统数据源的数据本质上是一致的，但为了方便支持分析数据处理，对数据结构进行了重组，其中还可能会增加一些数据冗余。２．集成的数据数据仓库中存贮的数据是从原来分散的各个子系统中提取出来的，但并不是６基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰｌ的数据挖掘实现方法的研究与应用原有数据的简单拷贝，而是经过统一和综合。其一，数据仓库的数据不能直接从原有数据库系统中得到。原有数据库系统记录的是每一项业务处理的流水帐，这些数据不适合于分析处理，在进入数据仓库之前必须经过综合和计算，抛弃分析处理不需要的数据项，增加一些可能涉及的外部数据。其二，数据仓库每一个主题所对应的源数据，在原分散数据库中有许多重复或不一致的地方，必须将这些数据转换成全局统一的定义，消除不一致和错误的地方，以保证数据的质量【５】ｏ否则，对不准确，甚至不正确的数据分析得出的结果，将不能用于指导企业做出科学的决策。对源数据的集成是数据仓库建设中最关键，也是最复杂的一步。数据不可更新３．从数据的使用方式上看，数据仓库的数据不可更新，这是指当数据被存放到数据仓库中以后，最终用户只能通过分析工具进行查询和分析，而不能修改其中存贮的数据，也就是说，数据仓库的数据对最终用户而言是只读的。由于数据仓库的查询数据量往往很大，所以对数据查询、查询界面的友好和数据的表示提出了很高提出了更高的要求，因为对数据仓库进行查询分析的用户多是企业的高层领导，他们是所在领域的专家，但对计算机却不一定熟悉。从数据的内容上看，数据仓库存贮的是企业当前的和历史的数据，在一定的时间间隔以后，当前的数据需要按一定的方法转换成历史数据，年代久远的、查询率低的数据需要从数据仓库脱离到廉价慢速设备（如磁带）上，对分析处理不再有用的数据需要从数据仓库中删除。但这些工作是由系统管理员来做，或由系统自动完成。因此，也可以说数据仓库在一定时间间隔内是稳定的。４．数据随时间不断变化数据仓库数据的不可更新是针对应用而言，即用户进行分析处理时不对数据进行更新操作，但不是说，数据从进入数据仓库以后就永远不变。数据仓库中的数据随时间变化而定期地被更新，每隔一段固定的时间间隔后，运作数据库系统中产生的数据被抽取、转换以后集成到数据仓库中，而数据的过去版本仍被保留在数据仓库中，如同“定期摄影术＂，每隔一周、一月或适当的间隔就照一张像；随着时间的变化，数据以更高的综合层次被不断综合，以适应趋势分析的要求；当数据超过数据仓库的存储期限，或对分析不在有用时，这些数据将从数据仓库中删去【６ｌ。关于数据仓库的结构信息、维护信息被保存在数据仓库的元数据中，数据仓库维护工作由系统根据元数据中的定义自动进行，或由系统管理员定期维护，用户不必关心数据仓库如何被更新的细节。第二章大型数据库关键技术的研究７２．１．３数据仓库的体系结构由于数据库和数据仓库应用的出发点不同，数据仓库将于业务数据库系统，但是数据仓库又同业务数据库系统息息相关。因此，数据仓库并不是简单地对数据进行存储，而是对数据进行“再组织’’。数据仓库的体系结构如图２．１所示：，■■一一一一一一一一一一一一一一一一日……日………１一一一一萎藏一Ｉ图２．１数据仓库的体系结构２．１．４数据仓库的组成１．数据集市在有些数据仓库版本中，数据集市是微型的数据仓库，而在有些版本中，数据集市仅仅是数据仓库的一段。数据集市通常用于为企业的职能部门提供信息，８基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用还可以用于将数据仓库数据分段以反映按地理划分的业务，其中每个地区都是相对自治的１７１。在有些设计中，数据集市是完全的数据仓库，作为分布式数据仓库的成员补充总体结构。而在有些设计中，数据集市则通过定期更新，接受来自主数据仓库的数据，在这种情况下，数据集市的功能经常受限于客户端的显示服务。无论数据集市提供何种功能，它们都必须被设计为主数据仓库的组件，以使数据的组织、格式和架构在整个数据仓库内保持一致。表的设计、更新机制或维度的层次结构如果不一致，可能会使数据无法在整个数据仓库内重新使用，并可能导致由相同的数据生成不一致的报表的情况。不过没有必要为获得一致性而将一个数据视图强加在所有数据集市上，通常可以设计一致的架构和数据格式，使得可以有很多不同的数据视图同时保持互操作性。应该从作为数据仓库组件的角度设计数据集市，而无需考虑它们的功能或构造。这使得信息在整个企业内保持一致和可用。２．关系数据库关系数据库是为数据仓库提供强大功能的基础引擎。许多特性和功能已经开发出来并得到增强，使得关系数据库成为联机事务处理（ＯＵ曙）系统的主力，而且这些特性和功能可以直接应用于数据仓库。关系数据库用于数据仓库系统，其作用是在数据准备数据库中临时存储、清理和转换传入的数据，容纳和管理数据仓库数据库中的大量数据，并支持数据集市。数据仓库存储、管理和操作海量数据，这些数据通常由数亿行历史信息组成。关系数据库必须提供快速的数据传输和更新灵活高效的索引，以及先进高效的查询能力，以便组织和检索数据仓库的数据。在ＯＬＴＰ系统中，先进的锁定机制和高效的多表事务吞吐量可ｚ日‘匕ｌｔ，比在数据仓库中更重要，但是这样的功能通常基于极其高效的关系引擎进行设计，而这在数据仓库操作中非常重要。数据源３．数据仓库用于为决策者提供信息。为此，数据仓库必须将来自企业中许多源的数据聚集合并为一致的数据集，以准确地反映企业的业务运作情况和历史记录。企业通常有多个联机事务处至ｊ］（ＯＬＴＰ）系统来捕获日常的业务运作情况。这些ＯＬＴＰ系统很少与数据仓库同时设计。它们甚至可能是由不同企业设计的，尤其当企业是通过并购得到壮大的情况下。数据库架构和数据元素标识键在数据库之间通常是不同的，从这些ＯＬＴＰ系统中析取的数据必须转换为常用表示法【刖。己使用多年的传统系统常常包含不规范的数据和不常见的数据标识设计，而且在查询上不够灵活。对业务分析至关重要的数据甚至可能驻留在个别台式机上的个人数据库和电第二章大型数据库关键技术的研究９子表格中，尤其当企业是在没有信息技术组的情况下发展壮大的时候，必须将这样的数据捕获到数据仓库中。数据仓库中使用的数据源必须被标识，并且进行技术开发以便从中析取数据。４．数据准备区用于数据仓库的数据必须从数据源中析取，进行清理及格式化以保持一致性，并转换为数据仓库架构。数据准备区有时称为数据中间存储区，它是关系数据库，在这里从数据源中析取数据，将数据转换为常用格式，检查一致性和引用完整性，并准备装入数据仓库数据库。在某些数据仓库实施方案中，数据准备区和数据仓库数据库可以组合在一起，只要清理和转换操作不影响为数据仓库数据的最终用户提供服务的性能或操作即可。由于数据源不同以及数据准备操作强加在联机事务处理系统上的处理负荷，几乎无法选择在源数据库中执行准备操作。用于数据准备操作的关系数据库无论在何处执行，都必须具有强大的数据操作和转换功能。最初装载数据仓库后，需要不断地利用数据准备区为更新数据仓库准备新数据。在大多数的数据仓库系统中，这些不断进行的操作是定期执行的，常被调度以使性能对可操作的数据源系统的影响减到最小。使用数据仓库和于数据源的数据准备区可提高管理数据仓库的效率。尝试转换数据源系统中的数据会对联机事务处理的性能造成不良影响，而许多传统系统没有高效的或容易执行的转换功能。很少能够协调从不同数据源中析取的不一致的数据，直到将数据收集到公用数据库中，这时可以更轻松地识别和纠正数据完整性错误。数据准备区应将原始数据同数据仓库数据隔离开，以保护数据仓库的完整性，并允许数据仓库执行其准备显示信息和支持客户端访问的主要功能。在将数据仓库数据库用于数据准备时应小心，避免将错误引入数据仓库数据并尽量减少数据准备处理对数据仓库性能的影响【９１。许多数据仓库数据库操作要求高级的查询和能够处理海量数据，数据清理会对这些操作造成不良影响。数据准备区是关系数据库，它为数据准备操作的常规工作区提供服务。它包含源数据键于用于数据仓库的代理键相关的表、转换数据的表，以及许多临时表，还包含从源数据系统中析取数据的进程和过程。显示服务５．数据仓库的目的是表现业务信息，提供企业的决策者使用。如果没有工具帮助它分析和评估，包含数亿条数据的数据仓库对决策者将毫无用处。这些分析工具在简单的报表和高级的数据挖掘算法之间可能有所不同。应用程序接口沁Ｉ）还必须能够支持开发使用数据仓库信息的自定义应用程序。（１）预定义报表１０基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰｌ的数据挖掘实现方法的研究与应用简单的预定义汇总报表可以定期或根据需要，为管理人员提供某个即时点的业务状态快照。更高级的报表可以显示预定义的业务变化的趋势。这样的报表很有用，并且一直都是从联机事务系统中生成的。若要捕获最新状态，必须不断地从数据源系统中生成快照的详细信息和汇总报表。定期报表与数据仓库的更新相协调，并且可以转换到数据仓库以减少可操作系统的负荷。使用历史数据评估趋势的报表应在数据仓库中完成，数据仓库中包含具有适当格式且随时可用的历史数据，并且可以处理大量的汇总数据。（２）联机分析处理预定义报表很适合其特殊目的，但不适合探测分析。分析者希望在数据中发现趋势和异常，并探测数据的不同区域以找到趋势和异常的根源。联机分析处理（ＯＬＡＦ）是－－个分析工具，旨在帮助对大量的数据仓库数据进行这种分析。为探测数据仓库中的数据，管理人员询问有关数据的问题，然后根据答案询问相关的或不同的问题。管理人员可以先询问所探测的季度中的按周汇总的销售数据，然后深化到周中的每一天，查明不寻常的销售量是否为以前的事件。发现事件发生的时间后，管理人员按产品浏览销售额并查明特定产品的大量销售额是否发生在那一天。然后管理人员根据这些答案按地区查询销售额，并深化以查明具体某个商店是否在特定的日期完成了特定产品的大订单。（３）挖掘模型联机分析处理（ＯＬＡＰ）将数据组织为预定义的结构以便于探测，而数据挖掘与ＯＬＡＰ相反，其目的是执行探测分析并识别信息中有趣且有价值的东西，如将数据分组以供分析者或管理人员检查。数据挖掘还可以创建决策树，用于根据现有数据元素的特性预测将来的数据。２．１．５数据仓库的设计方法数据仓库可以使用自顶向下方法、自底向上方法或二者结合的混合方法设计。自顶向下方法由总体设计和规划开始。当技术成熟并已掌握，对必须解决的商务问题清楚并已很好理解时，这种方法是有用的。自底向上方法以实验和原型开始。在商务建模和技术开发的早期阶段，这种方法是有用的。这样可以以相当低的代价前进，在做出重要承诺之前评估技术的利益。在混合方法下，一个组织既能利用自项向下方法的有计划的战略性的特点，又能保持像自底向上方法一样快速实现和立即应用。从软件工程的观点，数据仓库的设计和构造包含以下步骤：规划、需求研究、问题分析、仓库设计、数据集成和测试，最后部署数据仓库【１０１。大型软件系统可以用两种方法开发：瀑布式方法和螺旋式方法。瀑布式方法在进行下一步之前，每一步都进行结构化和系统化的分析，就像瀑布一样，从一级落到下一级。螺旋第二章大型数据库关键技术的研究式方法涉及功能渐增的系统的快速产生，相继版本之间的间隔很短。对于数据仓库，特别是对于数据集市的开发，这是一个好的选择，因为其周转时间短，能够快速修改，并且新的设计和技术可以快速接受。一般地，数据仓库的设计过程包含如下步骤：１．选取待建模的商务处理；如果一个商务过程是整个组织的，并涉及多个复杂的对象，应当选用数据仓库模型。然而如果处理是部门的，并关注某一类商务处理，则应选择数据集市。２．选取商务处理的粒度；对于处理，该粒度是基本的，在事实表中是数据的原子级。３．选取用于每个事实表记录的维；４．选取将安放在事实表中的度量。由于数据仓库的构造是一个困难而长期的任务，它的实现范围应当清楚地定义。一个初始的数据仓库的实现目标应当是特定的、可实现和可测量的。这涉及时间和预算的分配，一个组织的哪些子集要建模，选择的数据源数量，提供服务的部门数量和类型。一旦设计和构造好数据仓库，数据仓库的最初使用包括初始化装入、首次展示规划、培训和定位。平台的升级和管理也要考虑。数据仓库管理包括数据刷新、数据源同步、规划故障恢复、管理存取控制和安全、管理数据增长、管理数据库性能以及数据仓库的增强和扩充。范围管理包括控制查询、维、报告的数量和范围，数据仓库的大小，或进度、预算和资源。２．２数据挖掘技术２．２．１数据挖掘的概述数据挖掘（ＤａｔａＭｉｎｉｎｇ）最简单的定义是，它是一个用于发现数据中新的、隐藏的或者未预期的模式的行为集合。更具体地描述为，数据挖掘是一个利用各种分析工具在大量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测１１１Ｊ。数据挖掘就是要在“数据矿山＂中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金的回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户，以便重新制定他们的产品推广策略，用最小的花费得到最好的销售。比如，电信公司可以利用数据挖掘技术发现流失概率很高的客户、可能出现的欺诈行为、潜在的大客户等等。１２基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用２．２．２数据挖掘的体系结构数拱《挖掘系统是数据仓库系统中非常重要的部分。但是数据挖掘系统可以于数据仓库而存在。通常，数掘挖掘产品都提供访问数据仓库、数据库、平面文件以及其他外部数据源的接口ＩＩ２。。利用这些接口，数据挖掘工具可以通过多种渠退获孔｝所需的数据。在提取数据的时候，数据挖掘Ｉ［具需要进行一些预处理以保证ｊ！；人挖掘库中的数据的ｉＦ确性。在件多情况下，数据挖掘工具将从数据仓库中提取数据，如果数据在进入数据仓瞻时已经完成了数据一致性的工作，则数据进入挖掘库时，可以不做清除洗数据融ｒ：作。｛｛；！！掘库是数据挖掘工具的杨心部分。在挖掘库中存放了数据挖掘项目需要的数捌、铎法库和知识库。在算法库中存放了已经实现的挖掘算法，在知识库中存放毫纸丸定义的和经过挖掘后发现的知识。通前数据挖掘工具还应当提供必要的编程ＡＰＩ，使用户可以对算法进行改进，将算澎、嵌入到最终用户的界面系统中。数据挖掘的体系结构１１３Ｊ如图２．２所示：图２．２数据挖掘的体系结构２．２．３数据挖掘的基本步骤在实施数据挖掘之前，先制定采取什么样的步骤，每一步都做什么，达到什么样的目标是必要的。有了好的计划才能保证数据挖掘有条不紊地实施并取得成第二章大型数据库关键技术的研究１３功。首先我们需要定义商业问题，而后根据选择的组建立数据挖掘库。数据挖掘库中的信息可以从数据仓库中提取，如果还需要别的信息，还可以从外部数据源中直接获取。建立数据挖掘库后，需要对数据进行分析，拟定初步的数据模型，这包括选择变量、选择记录集合，对变量进行转化或者创建新的变量。在模型需要重新修改，直到模型和实际系统比较接近再对模型进行解释，并作为辅助决策信息传递给管理人员。数据挖掘的基本步骤１１４Ｊ如图２．３所示：图２．３数据挖掘的基本步骤２．２．４数据挖掘的常用分析方法数据挖掘的核心模块技术包括数理统计、人工智能、机器学习等，不同的实际问题所采用的数据挖掘方法有所不同，具体使用哪些方法主要取决于问题的类型以及数据的类型和规模。数据挖掘的分析方法一般分为预测型和描述型。１４基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用１．预测型预测型方法通常包含以下几种：（１）分类设有一个数据库和一组具有不同特征的类别，该数据库中的每一个记录都被赋予一个类别的标记，这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用这个分类规则对其他数据库中的记录进行分类。目前已有多种分类分析模型得到应用，其中几种典型模型是决策树模型、基本规则模型和神经网络模型，而应用最多的一般是决策树模型。分类要解决的问题是为一个事件或对象归类。在使用上，既可以用此模型分析已有的数据，也可以用它来预测未来的数据。分类以及决策树算法在移动通信领域中主要应用于大客户特征的识别、客户群体的细分、客户流失的预测与控制等方面。（２）回归分析回归模式的函数定义与分类模式相似，它们的差别在于分类模式的预测值是离散的，回归模式的预测值是连续的。回归是通过具有已知值的变量来预测其他变量的值。在最简单的情况下，回归采用的是像线性回归这样的标准统计技术。但大多数现实世界中的问题是不能用简单的线性回归预测的。如商品的销售量、股票价格、产品合格率等，这些事件很难找到简单有效的方法来预测，因为要描述这些事件的变化所需要的变量数以百计，且这些变量本身往往都是非线性的。为此，人们又发明了许多新的手段来试图解决这个问题，如逻辑回归、决策树、神经网络等。一般来说，同一个模型既能用于回归，也能用于分类。如ＣＡＲＴ决策树算法既可以用于建立分类树，也可建立回归树。回归分析在移动通信领域中主要应用于业务量预测、用户数预测等方面。（３）时间序列分析时间序列是用变量过去的值来预测未来的值。与回归一样，它也是用已知的值来预测未来的值，只不过这些值的区别是变量所处时间的不同。时间序列采用的方法一般是在连续的时间流中截取一个时间窗口，窗口内的数据作为一个数据单元，然后让这个时间窗口在时间流上滑动，以获得建立模型所需要的训练量。它支持时间序列模式，能够根据数据随时间变化的趋势预测将来的值，也能够处理时间的特殊性质【１５ｌ。时间序列分析在移动通信领域中主要应用于业务量预测、客户的呼叫模式分析以及网络管理与优化等方面。２．描述型描述型方法通常包含以下几种：（１）关联分析第二章大型数据库关键技术的研究１５关联分析，即利用关联规则进行数据挖掘，寻找数据库中值的相关性，能够支持发现同一事件中不同项目之间的关联规则。在数据挖掘研究领域，对于关联分析的研究开展得比较深入，人们提出了多种关联规则的挖掘算法，如ＡＰＲＩＯＲＩ、ＳＴＥＭ、ＡＩＳ、ＤＨＰ等算法。关联分析的目的是挖掘隐藏在数据间的相互关系，寻找在同一个事件中出现的不同项的相关性。数据挖掘得到的关联规则或序列模式并不是真正的规则。它只是对数据库中数据之间相关性的一种描述，还没有其他数据来验证得到的规则是否正确，也不能保证利用过去的数据得到的规律在未来新的情况下依然有效。有时甚至很难决定能利用发现的关联规则做些什么。总之，在采取任何行动之前，一定要经过分析和实验，即使它是利用数据挖掘得到的知识。关联分析在移动通信领域中主要应用于客户的呼叫模式分析、话费欺诈的早期识别等方面。（２）序列关联分析序列关联分析和关联分析相似，其目的也是为了挖掘数据之间的联系，但序列关联分析的侧重点在于分析数据间的前后序列关系。它们之间的差别是序列关联分析把数据之间的关联性与时间联系起来。序列关联分析描述的问题是：在给定交易序列数据库中，每个序列是按照交易时间排列的一组交易集，挖掘序列函数作用在这个交易序列数据库上，返回该数据库中出现的高频序列。在进行序列关联分析时，同样也需要由用户输入最小置信度Ｃ和最小支持度Ｓ。序列关联分析在移动通信领域中主要应用于话费欺诈的早期识别等方面。（３）聚类分析聚类分析就是通过分析数据库中的记录数据，根据一定的分类规则，合理地划分记录集合，确定每个记录所在类别。通过进行聚类分析，能够有效地把数据划分到不同的组中，组之间的差别尽可能大，组内的差别尽可能小。与分类模式不同，聚类分析输入的是一组未分类记录，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪几个数据项来定义组。聚类分析和分类分析是一个互逆的过程。在最初的分析中，分析人员根据以往的经验将要分析的数据进行标定，划分类别，然后用分类分析方法分析该数据集合，挖掘出每个类别的分类规则；接着用这些分类规则重新对这个集合进行划分，以获得更好的分类结果。这样，分析人员可以循环使用这两种分析方法，直至得到满意的结果。聚类分析所采用的分类规则是由聚类分析工具决定的。聚类分析的方法很多，其中包括系统聚类法、分解法、加入法、动态聚类法、模糊聚类法、运筹方法等。采用不同的聚类方法，对于相同的记录集合可能由不同的划分结果。聚类分析在移动通信领域中主要应用于大客户特征的识别、客户群体的细分、话费欺诈的早期识别等方面。１６基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用２．３电信领域的应用研究长期以来，在电信业务的经营过程中，我国电信企业一直遵循“用心服务，用户至上’’的宗旨。然而由于没有竞争，电信企业“以客户为中心”的经营原则并没有真正发挥作用，电信企业为客户提供均一化的业务，并不考虑单群或单个客户的特别需要，因为市场上没有其它的电信运营商提供更接近这些用户群的业务。电信市场放开和竞争加剧的趋势，对电信企业的竞争能力提出更高要求。电信企业一般从三个方面区别于竞争对手并获得竞争优势：价格、业务和客户服务。价格战不能长期使用，业务质量的差异性也随着技术的发展将逐步消失，因此，完善客户服务成为电信企业获取最终竞争优势的重要手段ｆ１６１。目前，我国电信增值业务市场已经全部放开，长话业务市场也正逐步放开，竞争的帷幕Ｉ习Ｉ］Ｎ拉开。中国电信已经深深感到了竞争的压力，由于对主导电信企业的非对称管制，价格并不能成为中国电信竞争工具，并且由于技术的发展，业务质量也不能成为市场新进入者们的竞争障碍。在电信行业内，赢得一个新客户比保留一个老客户所付出的代价要高得多，因此，提高服务质量，赢得客户的忠诚对企业生存发展意义重大ｆ１‘７１。另一方面，市场放开，客户的选择多了，以前的“自然忠诚”有了显著的变化，客户对市场认识越深，越希望作为一个的个体被认识和理解，越希望企业更好地理解和满足他们的需求，为它们提供个性化的服务。因此，以客户为导向，建立客户营销体系，减少客户的流失，提高客户的忠诚度，成为中国电信在竞争中处于有利地位的重要手段。不过，电信的客户群体非常庞大，而且客户对服务的要求也越来越高，作好服务工作不再是漂亮的营业员会微笑就可以完成的事了，必须有专门的系统对电信客户的资料信息进行管理和分析，挖掘出一些隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。具体内容包括：利用客户资料和一切可能有助于进行客户分析管理的资料进行客户概况分析，客户忠诚度分析，客户利润分析，客户性能分析，客户未来分析，客户产品分析和客户促销分析。通过对这些数据的分析，提供既能留住老客户又能吸引新客户的决策信息【１８ｌ。数据仓库可以将各个渠道得来的数据，按照主题整理、转换成全面、完善的电信客户信息库。数据仓库内存储有详细的客户轮廓的信息和客户交易行为的历史数据，通过数据挖掘和数据分析，来发现隐藏在数据后面的真实情况，才能了解客户的需求，从而提高电信企业的收益率和竞争力。数据仓库和数据挖掘技术在电信企业中还有很多其他方面的应用，比如：１．话单分析用户的通话话单包括了用户一次消费行为的所有信息。通过对大量历史话单第二章大型数据库关键技术的研究１７的分析可以了解用户的消费习惯、消费能力等许多有价值的信息。然而，由于长话话单数量巨大，要在线保存需要占用大量的数据空间，一般电信企业只保留半年的在线话单，这给话单分析带来了麻烦。例如要比较去年五一节假期间与今年五一节假期间的长话变化情况就不太好办，而要比较最近五年的变化情况几乎就不可能。而且，保存的话单数据是为计费需要而设计的，不适应话单分析的要求，比如要统计超长话单和超短话单的地区分布情况和用户分布情况就不好办。直接在计费数据库中进行检索非常缓慢效果又不好，还可能影响正常的业务运行。其实，一般进行分析、统计关心的是某一类用户的消费行为，而不会细到具体某个号码某次的通话记录。因此，可以事先设定一个粒度，根据粒度对同类话单数据进行汇总并加上一些我们想增添的信息，如主叫性质，整理后加载到数据仓库中。有了这样面向分析而设计的话单数据就可以对历年来大量的长话、网话话单数据和用户的档案资料等相关数据进行分析，通过对用户的分类，从消费能力、消费习惯、消费周期等诸方面对用户的话费行为进行分析和预测１１９１。还可以通过对通话起止时间及通话时长分析得到各类用户的通话时段分布情况及日消费高峰、月消费高峰；长话的消费时间、消费次数；及什么地方的用户消费能力较高，什么地方的用户消费能力偏低；以及话费流失的分析。优惠策略分析２．电信企业经常推出各种优惠措施推广新业务和吸引扩大业务量。优惠促销固然可以开拓市场，但如果优惠策略不恰当，结果也可能适得其反。如果利用数据仓库技术建立优惠模型，实现优惠策略的仿真，根据优惠策略进行模拟计费和模拟出帐，其仿真结果将提示所制定的优惠策略是否合适，并可按情况进行调整、优化，使优惠策略的出台更有科学依据。在优惠实行后，也可以通过数据仓库对优惠效果进行分析、评估，检查优惠效果是否达到。３．可定制报表生成电信企业经营分析需要大量的报表。这些报表的数据都直接来源于电信企业的数据库。因此，业务人员只知道需要哪些数据，却不知道如何得到他们，虽然一般在开发软件时开发商一般都会根据企业需求开发出一些固定格式的报表程序来满足企业需要，但电信新业务层出不穷，企业经营瞬息万变，报表种类与报表格式常常要发生变化Ｉ删。这时候，业务人员往往求助于维护人员。但维护人员不一定理解业务人员的想法，也不一定理解数据库的每个细节，因此他给出的统计结果可能会有误差。而且，这样的查询往往是手工进行，表格也手工制作，费时费力，难以管理。利用数据仓库为自定义生成报表提供了可能。数据仓库为经营者提供数１８基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用据源，业务人员可以根据报表样式通过报表生成系统对数据源进行调整、配置，从而自己可以定制符合自己需求的报表。第三章基于Ｏｒａｃｌｅ数据挖掘分析系统的设计与开发１９第三章基于Ｏｒａｃｌｅ数据挖掘分析系统的设计与开发３．１系统运行开发环境１．操作系统：２０００ＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ２．Ｓｅｒｖｅｒ或ＸＰ等操作系统平台开发软件：（１）Ｊａｖａ２ＳＤＫ１．４．１（２）Ｂｏｒｌａｎｄ３．ＪＢｕｉｌｄｅｒ９．０数据库软件：９ｉ大型数据库系统，包含ＯｒａｃｌｅＤａｔａＯｒａｃｌｅＭｉｎｉｎｇ（ＯＤＭ）ＡＰＩ。ＯｒａｃｌｅＤａｔａＤａｔａＭｉｎｉｎｇ必须加载以下６个Ｊａｖａ程序包（．ｊ砷才能编译和执行Ｏｒａｃｌｅ》￥ＯＲＡＣＬＥＨＯＭＥ／ｊｄｂｃ／ｌｉｂ／ｃｌａｓｓｅｓｌ２．ｊａｒ》￥ＯＲＡＣＬＥＨＯＭＥ／１ｉｂ／ｘｍｌｐａｒｓｅｒｖ２．ｊａｒＭｉｎｉｎｇ功能模块，特别注意要在ＣＬＡＳＳＰＡＴＨ环境变量中设置它们的路径，如下所示：＞￥ＯＲＡＣＬＥ＿ＨＯＭＥ／ｒｄｂｍｓ／ｊｌｉｂ／ｊｍｓｃｏｍｍｏｎ．ｊａｒ》￥ＯＲＡＣＬＥ＿ＨＯＭＥ／ｒｄｂｍｓ／ｊｌｉｂ／ａｑａｐｉ．ｊａｒ＞￥ＯＲＡＣＬＥＨＯＭＥ／ｒｄｂｍｓ／ｊ’ｌｉｂ／ｘｓｕｌ２．ｊａｒ》￥ＯＲＡＣＬＥＨＯＭＥ／ｄｒｎ／ｌｉｂ／ｏｄｍａｐｉｊａｒ３．２系统开发流程该数据挖掘分析系统的开发流程图，如图３．１所示：图３．１系统开发流程图２０基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用３．３系统总体架构设计本数据挖掘分析系统主要是在大型数据库Ｏｒａｃｌｅ９ｉ的基础上设计开发的，总体分为三个大部分：Ｏｒａｃｌｅ９ｉ数据仓库、ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇ（ＯＤＭ）应用服务器和数据挖掘分析系统客户端。分析系统的体系结构如图３．２所示：客，、端ＯＤＭ的心川暇数锚仓唯图３．２系统体系结构图自下而上构建了一个较为完善的数据挖掘分析系统。第一部分是电信公司经营分析系统数据仓库，它包含了经过ＥＴＬ（Ｅｘｔｒａｃｔ，ｔｒａｎｓｆｏｒｍ训练数据、测试数据和应用数据）；第二部分是Ｏｒａｃｌｅ９ｉａｎｄｌｏａｄ）后比较干净的客户基本资料、帐务数据和服务使用数据，该层为智能分析提供数据基础（包括ＤａｔａＭｉｎｉｎｇ（ＯＤＭ）应用服务器，该层以数据挖掘技术为核心，将建立的评分模型存放在模型库中，ＯＤＭ应用服务器向客户端提供模型算法的二次开发ＡＰＩ函数接口；第三部分是数据挖掘分析系统的客户端软件，它通过对基于Ｊａｖａ的ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的调用创建用户图形接口，实现了对电信客户资料的数据挖掘功能，分析和预测电信客户可第三章基于Ｏｒａｄｅ数据挖掘分析系统的设计与开发２１能的行为。３．４系统数据仓库设计与构建３．４．１Ｏｒａｃｌｅ９ｉ数据仓库Ｏｒａｄｅ９ｉ是由Ｏｒａｃｌｅ公司开发的、面向Ｉｎｔｅｒａｃｔ计算的、支持关系对象模型的分布式数据库产品。它是一个高度集成的互联网应用基础平台，为企业数据存储提供了高性能的数据库管理系统【２１１。在数据和业务关键领域，它是首选的大型数据库产品。它具备了很多突出的特定：１．支持大数据库、多用户的高性能的事务处理。Ｏｒａｃｌｅ支持最大数据库，其大小可达几百Ｇ字节，可充分利用硬件设备。支持大量用户同时在同一数据上执行各种数据应用，并使数据争用最小，保证数据一致性。系统维护具有高效的性能，Ｏｒａｃｌｅ每天可连续２４小时工作，正常的系统操作（后备或个别计算机系统故障）不会中断数据库的使用。可控制数据库数据的可用性，可在数据库级或在子数据库级上控制。２．Ｏｒａｄｅ遵守数据存取语言、操作系统、用户接口和网络通信协议的工业标准。它是一个开放系统，保护了用户的投资。美国标准化和技术研究所（ＮｌＳＴ）对ＯｒａｃｌｅＳｅｒｖｅｒ进行检验，百分之百地与ＡＮＳＩ／ＩＳＯＳＱＬ８９标准的二级相兼容。３．实施安全性控制和完整性控制。Ｏｒａｃｌｅ为各监控数据存取提供系统可靠的安全性。Ｏｒａｃｌｅ实施数据完整性，为可接受的数据指定标推。４．支持分布式数据库和分布处理。Ｏｒａｃｌｅ为了充分利用计算机系统和网络，允许将处理分为数据库服务器和客户应用程序，所有共享的数据管理由数据库管理系统的计算机处理，而运行数据库应用的工作站集中于解释和显示数据。通过网络连接的计算机环境，Ｏｒａｃｌｅ将存放在多台计算机上的数据组合成一个逻辑数据库，可被全部网络用户存取。分布式系统像集中式数据库一样具有透明性和数据一致性。５．具有可移植性、可兼容性和可连接性。由于Ｏｒａｃｌｅ软件可在许多不同的操作系统上运行，以至于在Ｏｒａｃｌｅ上所开发的应用可移植到任何操作系统，只需很少修改或不需修改。Ｏｒａｃｌｅ软件与工业标准相兼容（包括许多工业标准的操作系统），所开发的应用系统可在任何操作系统上运行。可连接性是指Ｏｒａｃｌｅ允许不同类型的计算机和操作系统通过网络可共享信息。Ｏｒａｃｌｅ９ｉ提供了对数据仓库的全面支持，提供了一系列的集成工具，使用这些工具能够帮助数据仓库开发和管理人员创建、管理和维护企业数据仓库，同时利用数据仓库中的数据进行数据挖掘，支持决策分析１２２。。Ｏｒａｄｅ９ｉ提供的工具包括：２２基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰｌ的数据挖掘实现方法的研究与应用１．Ｏｒａｃｌｅ９ｉ数据库，它是一个对象关系型数据仓库，用于存储大量的数据仓库数据。２．ＳＱＬ＊Ｌｏａｄｅｒ工具，用于将数据装载到数据仓库中，这些数据包括Ｏｒａｃｌｅ数据库数据、其他数据库系统中的数据和外部数据，当将数据装载到Ｏｒａｃｌｅ数据仓库中的时候，可以使用ＳＱＬ＊Ｌｏａｄｅｒ转换数据。３．ＯｒａｃｌｅＷａｒｅｈｏｕｓｅＢｕｉｌｄｅｒ，用于创建数据仓库。４．Ｏｒａｃｌｅ透明网关，用于访问ＳＱＬＳｅｒｖｅｒ中的数据，将数据装载到Ｏｒａｃｌｅ数据仓库中。５．ＯｒａｃｌｅＤｉｓｃｏｖｅｒ，用于分析数据仓库中的数据，支持决策分析。同时，为了支持数据仓库，提供更好的性能，Ｏｒａｃｌｅ还采用了多种技术，包括：１．支持ＸＭＬ技术，使用ＸＭＬ工具可以转换和提取数据。２．支持分区和并行技术，对数据仓库中的数据进行分区处理，对查询并行化，从而能够获得更好的查询性能。３．支持实体化视图，实体化视图是Ｏｒａｃｌｅ专有的技术，同时使用实体化视图能够获得较高的查询性能。４．Ｏｒａｃｌｅ提供了用于分析和聚集的ＳＱＬ语法，这是Ｏｒａｃｌｅ为了便于对数据仓库进行操作，对基本ＳＱＬ语法进行的一些扩展。５．支持ＯＬＡＰ技术，Ｏｒａｃｌｅ提供了联机分析工具ＯｒａｃｌｅＥｘｐｒｅｓｓＳｅｒｖｅｒ和ＯｒａｃｌｅＥｘｐｒｅｓｓＣｌｉｅｎｔ。３．４．２数据仓库的逻辑模型构建数据仓库是面向主题的、集成的、包含历史的、不可更新的、面向决策支持的、面向全企业的、最明细的数据存储、数据快照式的数据获取等，这些都是指导数据仓库建设的最基本原则。而在电信领域中，数据仓库所面向的主题主要是各种各样的电信业务，其包括以下几个方面：１．大客户资料分析分析电信大客户的基本信息以及帐务信息，从而了解大客户的情况，从中挖掘新的销售机会。２．客户流失分析分析客户流失情况，刻画流失客户特征，以此为基础构造客户流失分析预测模型，对可能的客户流失做出预测，使营销部门能够做出相应的挽留措施。３．网络状况分析分析网络的情况，刻画网络元素的分布以及利用率，为今后的网络优化提供数据支持。４．客户信用度与忠诚度分析第三章基于Ｏｒａｃｌｅ数据挖掘分析系统的设计与开发２３通过信用度分析模型，评价客户的信用度，从而对不同的欠费用户采用不同的措施。在本节中，以电信客户资料分析这一主题，描述了电信领域面向主题的数据仓库的构建过程。在构建逻辑模型时，需要根据分析的需求来定义电信客户资料所应该包含的各种信息。＞＞＞＞时间信息：入网时间、流失时间等客户个人资料：身份证号码、电话号码、Ｅ．ｍａｉｌ等客户帐号信息：开户银行、银行帐号等客户类型信息：是否为集团用户、单位类型等根据这些电信业务的客户信息进一步细化，将得到具体的数据字段。然后按照维度建模的规则将整个电信客户的数据模型设计成星型结构，如图３．３所示：嚣，１资＃４教ｊ～ｌｊ甥｜维髭’秀体户ｌＤ屡次竣泌凌勋：ｆＪ鼢趼场Ｊｌ份标磅须域辱连扔、呼性弱像用瞧缀锑划，｝缴袤蠛裘线列馅ｆｌｌ霉｛舒ｌ：漩惦鹰双分Ｆ戳髂孵瞧编Ｉ｝信用膻籀逐ｌｌ午龄ｏ绕谴｝ｊ期，ｌ毡话弓璐资料妖态入瓣Ｉｌ辫■Ｌ所蝎印拆号ｒ溺赞缸：次信ｊ｝ｊｊ芟｝爨纺丘；次？蠡．髭｝拜表缎翻｝ｉｌｆ餐缓锎１Ｊ１◆？行ｑｌ，炎刚嫩袈客Ｊ、类，｛！行豫炎碉身份炎娥身价汗什确蟹出生年份救ｆｆ张煌纣缠力式锻行韵号银ｉｆ计７、暇蛩衮缝缝嫩家程睹税流失｝ｊ辫Ｉ维表级澍盼娃躺哆ｆｆ业獭述淤赞级别搬述。●１Ｉ露，、燮燃纷表缈友毯淡髯，、炎瑷标码，舻∥类掣描述’健｛Ｊ１ｆｉ．１０掰Ｚ宅ｌ鲋表绞铡谨“锄蟹｛；ｌ乏｛ｊ嘲绷图３．３电信客户资料分析主题模型在得到电信客户资料的逻辑模型之后，就可以着手进行对应的物理模型的设计了。要注意的是物理模型的设计重点与逻辑模型不同。在物理模型设计阶段，需要详细地定义电信客户资料所涉及的每一个字段类型，以及各表之间的关系。这一步通常使用数据仓库建模工具【冽来辅助完成，这些工具均有模型自动生成功能，可以很方便地按照我们所设计的要求，帮助我们快速建立电信客户资料分析主题模型。２４基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用３．４．３数据仓库的物理模型设计物理模型设计主要包括：＞确定电信客户数据的存储结构；＞确定索引策略；＞确定电信客户数据的存放位置；＞确定存储分配。确定数据仓库实现的物理模型，要求设计人员必须深入了解以下内容：＞所选用的Ｏｒａｃｌｅ９ｉ数据库管理系统，特别是它的存储结构和存取方式：＞电信客户的数据环境、数据资料的使用频率和使用方式、数据规模以及响应时间要求；外部存储设备的分块原则、块大小的规定等特性以及设备的Ｉ／０特性等。确定电信客户数据的存储结构＞１．不同的存储结构有不同的实现方式、不同的适用范围和优缺点。针对电信客户资料主题，在选择存储结构时充分考虑了存取时间、存储空间利用率和维护代价这三个方面的主要因素。２．确定索引策略数据仓库中电信客户资料的数据量虽然很大，但是其中的较大部分数据是不常更新的。因此，可以设计多种索引结构提高电信客户数据存取的效率，如广义索引。确定索引策略时，需要对数据的存取路径进行仔细地设计和选择。３．确定电信客户数据的存放位置在数据仓库系统中，同一个主题域的数据并不要求存放在相同的介质上。在物理设计时，要按电信客户数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数据分配存储在不同的存储设备中【２４１。重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上，如硬盘；存取频率小或对存取响应时间要求低的数据就可以放在低速存储设备上，如磁盘或磁带。确定电信客户数据存放的位置时还应该考虑以下因素：＞是否进行合并表：＞＞４．是否对一些经常性的应用建立数据序列；对常用的、不常修改的表或属性是否冗余存储。确定存储分配存储分配主要包括块的大小、缓冲区大小和个数等，这些都应该在物理模型设计时确定。确定时要根据Ｏｒａｃｌｅ９ｉ数据库管理系统提供的参数和数据仓库所需要存放的数据量来决定。第三章基于Ｏｒａｃｌｅ数据挖掘分析系统的设计与开发２５３．５系统客户端功能设计数据挖掘分析系统客户端主要包含了以下几个基本模块：用户管理模块、数据库管理模块、数据库操作模块和数据挖掘模块。系统客户端的功能结构如图３．４所示：图３．４系统客户端功能结构图１．用户管理模块：主要负责对操作用户登陆注册信息的管理，包括添加用户和修改密码等基本操作。２．数据库管理模块：包括数据备份和数据恢复等基本操作，主要负责将一些重要的数据库数据进行备份保存，如果遇到特殊情况，数据意外丢失或者损害，就可以很方便地恢复从前的备份数据，保证了分析系统数据的安全性和可靠性。３．数据库操作模块：主要负责对数据库中的数据信息进行管理，包括添加数据、修改数据、查询２６基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰｌ的数据挖掘实现方法的研究与应用数据和删除数据等基本操作。４．数据挖掘模块：这是本系统的核心模块，可以加载多种算法（如：ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋ算法、ＮａｉｖｅＢａｙｅｓ算法和０一Ｃｌｕｓｔｅｒ算法等等）来对数据仓库中大量历史数据进行数据挖掘和分析预测。３．６数据预处理为了将电信客户资料的原始数据应用到本数据挖掘分析系统中，我们需要对它们进行数据预处理，这样才能满足我们这个系统的分析要求，保证所挖掘预测的有价值的信息尽可能准确和可靠。因此，数据预处理需要经历两个基本步骤：＞审核与整理原始数据＞建立数据挖掘库３．６．１审核与整理原始数据由于数据来源于电信企业业务系统的不同数据库，大部分都存在不同系统数据格式混乱、字段名不一致、缺乏操作性等问题。比如：电信客户基本信息的数据来自于电信综合业务支持系统、计费帐务系统、大客户系统和客户关系管理等系统中。因此必须对数据进行清理和预处理，为数据挖掘算法提供干净、准确、更有针对性的数据，从而减少挖掘内核的数据处理量提高了数据挖掘的效率和准确性。３．６．２建立数据挖掘库在进行数据挖掘前，把预处理过的数据都放到一个以电信客户资料分析为主题的数据仓库中，这个数据仓库的设计已经在论文的前面章节论述过了，我们将它作为本系统的数据挖掘库。在建立它的同时就开始进行数据预处理工作，以期最后建成的数据挖掘库是不同于原有数据库的一个经过特殊化处理的可以直接用挖掘工具进行挖掘的库。建立数据挖掘库时采用了如下步骤：１．数据收集确定要挖掘的数据源，进行数据的收集工作。在本论文中，数据源应该是针对经过审核整理的存放电信客户基本信息的大型数据库，但是由于涉及到电信信息资料的保密性和特殊性，我们只能自行模拟生成研究所需要的电信客户的历史数据。第三章基于Ｏｒａｃｌｅ数据挖掘分析系统的设计与开发２．合并与整合２７大部分情况下，要用的数据是分布在不同的数据库中的数据。合并与整合是把来自不同数据源的数据合并到同一个数据挖掘库中，并且要使那些本来存在冲突和不一致的数据一致化。不同的数据库间在数据定义和使用上通常都存在巨大的差异，在这个步骤中使用数据集成的原则进行处理。３．选择数据合并与整合后，要选择用于数据挖掘的数据，也就是说必然是在源数据的子集内。４．数据清理由于各种各样的数据质量问题，数据中可能包含了不正确的值。当从多个不同的源整合数据时一定要注意不同源之间数据的一致性。空缺值是一个非常有害的问题，可以通过增加一个新的变量来标识包含空缺值的记录。空缺的值除了录入员操作失误没有输入以外，一般都代表“无＂，或者是无职务，或者是无职业，或者无职称等，对于操作失误导致的空缺值，通过各字段间关系的推断，或者是询问数据来源单位核实可以填充完整。有些空缺值，可以直接用“Ｏ＂来代替。对于不一致的数据，可以通过人工纠正的方法来处理。５．数据离散化对于给定的数据属性，概念分层定义了该属性的一个离散化。通过收集并用较高层次的概念，替换较低层次的概念，概念分层可以用来归约数据。结合电信客户资料有关的基本信息，分析和确定了客户资料表中应该包括这些基本字段：客户ＩＤ－号（Ｐｅｒｓｏｎ＿ＩＤ）、客户关系（Ｒｅｌａｔｉｏｎｓｈｉｐ）、职业（Ｏｃｃｕｐａｔｉｏｎ）、性另ｌＪ（Ｓｅｘ）、年龄（Ａｇｅ）、受教育程度（Ｅｄｕｃａｔｉｏｎ）、婚姻状况（Ｍａｒｉｔａｌ＿Ｓｔａｔｕｓ）、每周通话时间（Ｈｏｕ啦＿Ｐｅｒ＿Ｗｅｅｋ）、通话费（Ｃａｐｉｔａｌ＿Ｇａｉｎ）和欠费情况（Ｃａｐｉｔａｌ＿Ｌｏｓｓ）等等。由于客户资料中的属性大多具有有限个不同值，可以生成分类属性的概念层次，有一些特殊情况，则可以按照通常的习惯，取一定的范围分层。比如性另ｆＪ（Ｓｅｘ）：女（１）、男（２），受教育程度（Ｅｄｕｃａｔｉｏｎ）：小学（１）、初中（２）、高ｄＰ（３）、学士（４）、硕士（５）和博士（６）等等。第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现２９第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现４．１Ｏｒａｃｌｅ９ｉ数据挖掘４．１．１Ｏｒａｃｌｅ９ｉ数据挖掘的概述Ｍｉｎｉｎｇ（ＯＤＭ）是Ｏｒａｃｌｅ９ｉ数据库企业版的一个选件，它使公司Ｏｒａｃｌｅ９ｉＤａｔａ能够从最大的数据库中高效地提取信息，并创建集成的商务智能应用程序【２５１。数据分析人员能够发现那些隐藏在数据中的模式和内涵。应用程序开发人员能够在整个机构范围内快速自动提取和分发新的商务智能——预测、模式和发现。ＯＤＭ针对以下数据挖掘问题为Ｏｒａｃｌｅ９ｉ数据库提供支持：分类、预测、回归、聚类、关联、属性重要性、特性提取以及序列相似性搜索与分析（ＢＬＡＳＴ）。所有的建模、评分和元数据管理操作都是通过基于Ｊａｖａ的Ｏｒａｃｌｅ的，并且完全在关系数据库内部进行。Ｏｒａｃｌｅ９ｉＤａｔａＤａｔａＭｉｎｉｎｇＡＰｌ来访问Ｍｉｎｉｎｇ帮助公司建立商务智能应用，这些程序可以查找公司数据中有意义的模式和关联，这些模式可以帮助用户更好地理解和预测客户行为。利用Ｏｒａｃｌｅ９ｉ数据挖掘，公司可以制订相应的策略来：＞向现有客户交叉销售＞获取新客户＞识别最可盈利的客户＞更精确地描述客户此外，利用Ｏｒａｃｌｅ９ｉ数据挖掘技术，公司可以提取他们所需要的数据库中的隐含信息，从而对公司的客户及公司的商务活动达到更深的了解。尤其在科学、、制造、医疗以及电信等其它应用领域中也可以检测到隐含的数据模式，例如：＞查找病人、药物及医疗效果之间的关联＞识别可能的网络入侵＞预测和控制电信客户的流失内嵌于Ｏｒａｃｌｅ９ｉ数据库的数据挖掘，简化了从海量数据中提取商务智能信息的过程。它避免了把海量数据卸载到外部专用分析服务器来做数据挖掘和评分（ＤａｔａＭｉｎｉｎｇ＆Ｓｃｏｒｉｎｇ）。通过Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ，所有的数据挖掘功能都内嵌９ｉＤａｔａ到了Ｏｒａｃｌｅ９ｉ数据库中；这样，数据、数据准备、模型建立以及模型评分等活动都保留在数据库内部进行。而Ｏｒａｃｌｅ９ｉ的可伸缩性也可使Ｏｒａｃｌｅ在此基础上再通过其他查询、分析、制表工具和应用，ＯｒａｃｌｅＭｉｎｉｎｇ分析大量数据以侦测其中的微妙模式和关系，并提取更多有价值的商务智能信息。９ｉＤａｔａＭｉｎｉｎｇ新的３０基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用洞察力和预测功能可供访问，这就可以使企业建立起由数据挖掘结果驱动的应用。由于Ｏｒａｃｌｅ９ｉ数据库具有无可匹敌的性能和伸缩性，因而Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ为建立高级商务智能应用提供了非常理想的基础架构。４．１．２Ｏｒａｃｌｅ９ｉ数据挖掘的应用Ｍｉｎｉｎｇ使公司能够在其经营范围之内，系统化地提取和集成新ＤａｔａＯｒａｃｌｅ９ｉＤａｔａ的商务智能信息。应用开发人员可以使用Ｏｒａｃｌｅ９ｉＭｉｎｉｎｇ的基于Ｊａｖａ的ＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ应用编程接口）来增加数据挖掘的洞察和预测功能，从而增强商务应用功能，如企业资源计ｇｌＪ（ＥＲＰ）、客户关系管理（ＣＲＭ）、Ｗｅｂ入口以及无线应用等。例如，电信公司可以使用Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ来建立转网应用（ＣｈｕｍＡｐｐｌｉｃａｔｉｏｎｓ），以此在客户转而投向公司的竞争者之前，来识别出这些可能转网的客户。ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ的预测功能在互惠互利的一对一关系中，可以用来预测客户行为，并前摄地管理客户。零售商和数据库营销商可以使用Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ来建立营销活动应用，９ｉＤａｔａ其目标是那些对报价最可能做出响应的潜在客户。ＯｒａｃｌｅＭｉｎｉｎｇ能够把数据挖掘结果整合到应用中，这样的例子包括预测客户转Ｉ网（Ｃｈｕｍ）的行为、对特定报价做出响应、成为可赢利的客户、提出一项索赔或者花费大量金钱等可能性【２６１。将Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ与电子商务和Ｗｅｂ网络整合在一起，可以加强Ｗｅｂ的搜９ｉＤａｔａ索能力，提供与内容有关的或者关联的有用的其它文档和项目。一旦对数据进行了挖掘和建立了预测模型，ＯｒａｃｌｅＭｉｎｉｎｇ就可以利用该模型给其它数据评分以便做出预测。给数据评分是在数据库中发生的，分数随后可供其它应用使用。存储于数据库中的数据挖掘模型可以对交互应用（如呼叫中心）的需求提供洞察和预测，从而提出“推荐做法＂。例如，呼叫中心应用可以使用某个客户的历史数据以及来自一次呼叫进程中的响应，对该客户的喜好做出评估，并制作出个性化的交叉销售推荐做法。４．１．３Ｏｒａｃｌｅ９ｉ数据挖掘的预测和分类Ｍｉｎｉｎｇ提供了ＮａｉｖｅＢａｙｅｓ数据挖掘算法来进行预测和分类。该Ｏｒａｃｌｅ９ｉＤａｔａ算法适用于各种数据挖掘问题，同时也提供了高度准确性。通过查找数据中存在的模式，公司可以用相似的特征，即用过去作为未来的预测算子，对客户的未来行为做出预测。典型的预测应用可以估计某个结果的可能性，如“０、１”或“Ｙｅｓ、Ｎｏ’’或“Ａ、Ｂ、Ｃ或Ｄ＂。例如：问题：这个客户对我的特别报价会做出响应吗？答案：是的，客户响应的可能性是９２％。此结论就是根据表４．１所提供的。第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现３１表４．１预测结果显示客户ｍ９８６６５４３２３３４４６７８８１１２３４２８６４４５６２３８８１９５６４３２４２３７８４０８１响应ＹＥＳＹＥＳＹＥＳＹＥＳＹＥＳＹＥＳ概率Ｏ．９２０．９２Ｏ．８３０．８３０．７５０．５４Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ的预测模型返回了预测的结果及其概率，这样公司就能９ｉＤａｔａ够前摄地管理他们的商务。预测模型的结果可以组合，从而提供有价值的商务智能。例如：ＯｒａｃｌｅＭｉｎｉｎｇ能够建立一个客户的合作期间值（ＬＴＶ）Ｉ昀模型，同时还可以建立一个预测客户转网（Ｃｈｕｍ）的可能性的模型，再把预测结果的概率值相乘（Ｐ（ＬＴＶ）＊Ｐ（Ｃｈｕｒｎ）），即可提供关于如何花费营销预算的有价值的洞察。４．１．４Ｏｒａｃｌｅ９ｉ数据挖掘的关联规则Ｍｉｎｉｎｇ提供了关联规贝ＪＪ（ＡｓｓｏｃｉａｔｉｏｎＲｕｌｅｓ）数据挖掘算法来检测Ｏｒａｃｌｅ９ｉＤａｔａ隐含在数据库中的关联的或者同时发生的事件。对于与客户相关的产品，关联分析经常用来查找其受欢迎的相关产品，例如与“香蕉”相关的“牛奶’’和“麦片＂。关联还可以用来识别同时发生的项目和事件，如：＞什么生产部件和设备装置与故障事件存在关联？＞什么样的病人和药物属性与哪种治疗效果相关联？＞这位客户最可能购买或最喜爱哪些物品或产品？关联可用来预测放入购物篮中的下一个物品，购物篮有助于满足客户需求和增加平均订购值。Ｏｒａｃｌｅ４．１．５９ｉ数据挖掘的ＡＰＩＰｒｏｇｒａｍｍｉｎｇ应用开发人员通过基于Ｊａｖａ的ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ程接口）来访问Ｏｒａｃｌｅ９ｉＤａｔａＩｎｔｅｒｆａｃｅ应用编Ｍｉｎｉｎｇ的功能。所有数据挖掘功能的程序控制使数据准备、模型建立以及模型评分【２７１操作都实现了自动化处理。在Ｓｕｎ公司的ＪａｖａＣｏｍｍｕｎｉｔｙＰｒｏｃｅｓｓ作为Ｊａｖａ规范要求（ＪＳＲ）出现之后，Ｊａｖａ数据挖掘（ＪＤＭ）也随之成为数据挖掘的新标准。Ｏｒａｃｌｅ、Ｓｕｎ、ＩＢＭ以及其它许多３２基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用公司都意识到需要一个基于Ｊａｖａ的标准来规范和使用数据挖掘技术，这些公司都参与了ＪＤＭ。ＪＤＭ利用了几个已经逐渐形成的标准，其中包括对象管理组（ＯｂｊｅｃｔＭａｎａｇｅｍｅｎｔＧｒｏｕｐ）的公用仓库元数据（ＣＷＭ，ＣｏｍｍｏｎＷａｒｅｈｏｕｓｅＭｅｔａｄａｔａ）、数据挖掘组（ＤａｔａＭｉｎｉｎｇＧｒｏｕｐ）的预测性挖掘标记语言（ＰＭＭＬ，ＰｒｅｄｉｃｔｉｖｅＭｉｎｉｎｇＭａｒｋｕｐＬａｎｇｕａｇｅ）以及国际标准组织（Ｉｎｔｅｒｎａｔｉｏｎａｌ据挖掘的ＳＱＩ／ＭＭ。ＳｔａｎｄａｒｄｓＯｒｇａｎｉｚａｔｉｏｎ）的用于数４．２数据挖掘模块的设计本论文设计开发的数据挖掘分析系统是基于Ｊａｖａ的Ｏｒａｃｌｅ多种数据挖掘算法１２８Ｊ：＞ＡｄａｐｔｉｖｅＢａｙｅｓＤａｔａＭｉｎｉｎｇ（ＯＤＭ）ＡＰｌ来实现对Ｏｒａｃｌｅ数据库的数据挖掘功能，并能提供如下所示的Ｎｅｔｗｏｒｋ算法（分类）＞决策树算法（分类）＞ＮａｉｖｅＢａｙｅｓ算法（分类）＞ｋ．ｍｅａｎｓ算法（集群）＞Ｃｌｕｓｔｅｒ算法（集群）＞非负矩阵因式分解算法（特性选择）＞Ａｐｒｉｏｒｉ算法（关联）＞支持向量机算法（分类或回归）＞最短描述长度算法（屙眭重要性）电信客户资料的各类数据挖掘任务的完成主要分为以下步骤：１．数据准备即准备好数据挖掘所需要的数据，包括确定源数据存储的位置、对数据进行适当的预处理等工作。在本分析系统中，用于数据挖掘的所有源数据都存储在电信客户资料的数据仓库中，此数据仓库已经在前面章节设计和实施完成了，在将数据存储到数据仓库中之前，已经对数据进行了预处理，因此在使用时直接定位所需的数据即可。这一步的工作ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇ（ＯＤＭ）提供了ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ，ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ类，用于定位需要使用的数据仓库中的数据表。２．确定数据挖掘模式及核心算法即确定数据挖掘任务要发现什么样的模式，比如是关联分析还是分类预测，选用哪种算法来实现。这一步是完成数据挖掘任务的核心，能否成功地得到需要的数据挖掘结果，在很大程度上取决于是否选用了正确的挖掘模式和数据挖掘算法。ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇ（ＯＤＭ）提供了ＭｉｎｉｎｇＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇ类用于确定数据挖掘模式和所使用的算法。第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现３．３３将数据应用于已经确定的数据挖掘模型并执行模型获得结果在电信客户资料分析中，这一步将数据仓库中的电信客户基本信息的数据应用于刚刚建立的模型，然后执行模型，最后得到挖掘的结果，并以易于理解的形式（如表格、文字或图形等等）表示出来，提供给电信决策部门进行决策分析。ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇ（ＯＤＭ）的ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ类、ＳｕｐｅｒｖｉｓｅＭｏｄｅｌ．Ａｐｐｌｙ方法用Ｄａｔａ于完成这一步骤。利用ＯｒａｃｌｅＭｉｎｉｎｇ（ＯＤＭ）完成数据挖掘任务，对于执行不同任务，它们之间的差别在于确定不同的源数据，选用不同的数据挖掘模式和算法及用不同的结果表现形式，它们所使用的过程框架是一致的，也就是说各种类型的数据挖掘功能的实现都是基于这一框架完成的。所以，后面本论文就会针对某一个数据挖掘算法对电信客户资料进行数据挖掘和分析预测，其它适用算法的实现形式都与此类似。Ｎｅｔｗｏｒｋ（ＡＢＮ）算法，它提供了一个快速、可扩充且无参数的方法，从相关的目标属性的数据中提取预测Ｂａｙｅｓ本分析系统的数据挖掘模块使用的是Ａｄａｐｔｉｖｅ信息，并且它以一种用户易于理解的规则形式来表达结果［２９１。在选用ＡｄａｐｔｉｖｅＮｅｔｗｏｒｋ（ＡＢＮ）算法挖掘和预测隐含数据和信息之前，则必须考虑与满足以下条件才能应用此算法：Ｂａｙｅｓ＞数据有大量的属性；＞需要模型透明性，就是需要解释模型的规则；＞希望得到更多的用于控制构建模型所需时间的选项。４．３数据挖掘模块的工作流程对于应用问题的模型开发人员，数据挖掘模块需要提供构建模型、测试模型和应用模型三个完整的子模块，协助他们来共同完成整个特定应用问题的模型开发和构建工作。而对于决策部门的研究人员，只需要提供应用数据子模块，就可以直接从Ｏｒａｃｌｅ９ｉ数据库的应用服务器中，读取构建好的成熟模型来进行预测分析，挖掘出有价值的决策信息，无需之前的建模、测试和评估过程。数据挖掘模块的工作流图，如图４．１所示：３４基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用图４．１工作流图４．４各子模块的总体设计与具体实现４．４．１数据配置子模块的实现本子模块主要负责数据准备阶段的数据加载和参数配置等初始化工作。调用Ｒｕｎｔｉｍｅ．ｇｅｔＲｕｎｔｉｍｅ０．ｅｘｅｃ（ｐａｔｈ）方法，ｐａｔｈ为配置文件路径，打开四个配置文件，分别是＞Ｇｌｏｂａｌ．ｐｒｏｐｅｒｔｙ：指定数据挖掘服务器（ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ）的连接数据：＞ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋＢｕｉｌｄ．ｐｒｏｐｅｒｔｙ：指定构建模型所需输入数据；＞ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋＬｉｆｌＡｎｄＴｅｓｔ．ｐｒｏｐｅｒｔｙ：指定计算提升和测试模型所需输入数据；＞ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋＡｐｐｌｙ．ｐｒｏｐｅｒｔｙ：指定模型评分所需输入数据。由此自行定义和修改其中的配置信息和算法参数。设置好后保存，随后的构建、预测和评分等数据挖掘过程都要读取这些配置文件，将它们作为输入数据。不同的算法要求不同的预处理的输入数据，有的算法要求标准化的，有的则要求离散化的，在Ｊａｖａ接口【３０１中的算法能自动准备数据。ＯＤＭＪａｖａＡＰＩ提供了各种数据的预处理方法。第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰｌ数据挖掘模块的实现３５４．４．２构建模型子模块的实现ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇ在构建模型时都是按照一定的基本步骤进行的，构建模型的流程图如图４．２所示：初始化敦据ｌ登陆数据挖掘服务器Ｉ潘理数据暂撇据Ｉ创建挖堀设置ＩＩ执行模型构建任务ｌ显示构建规则结粟Ｉ退出数据挖吲歌务器图４．２构建模型的流程图１．连接数据挖掘服务器（ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ）数据挖掘服务器是服务器端、在Ｏｒａｃｌｅ数据库内的组成部分，实际上是它真正执行数据挖掘操作。它提供了一个元数据仓库来存放挖掘输入对象和结果对象，并提供命名空间存取这些对到３１１。首先，产生一个ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ对象的实例。这个实例作为一个代理连接数据仓库服务器，并保持连接。ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒｄｍｓ＝ｎｅｗＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ（ｊｄｂｃ：ｏｒａｃｌｅ：ｔｈｉｎ：＠ｌｏｃａｌｈｏｓｔ：１５２１：ｔｅｓｔ，ｏｄｍ，ｏｄｍ）；３６基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用＞登陆ＪＪ艮务器ｒ（Ｌｏｇｉｎ）：Ｃｏｎｎｅｃｔｉｏｎ＞ｄｍｓＣｏｎｎｃｃｔｉｏｎ＝ｄｍｓ．１０９ｉｎＯ；退出服务器（Ｌ０９０ｕｔ）：描述构造数据ｄｍｓ．１０９０ｕｔ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；２．在ＯＤＭ可以使用数据构造一个模型之前，必须了解数据是在哪里存储的，如何存储的。通过一个ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ对象的实例，可以说明数据是事务性数据还是非事务性数据，并且描述各种数据列所起的作用。（１）定位要构造的访问数据在使用ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ实例之前，必须提供关于构造数据的位置信息。这又可以通过使用ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ对象完成，即定位记录电信客户数据的表在Ｏｒａｃｌｅ数据仓库中的位置。ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａｌａｄ＝ｎｅｗＬｏｅａｔｉｏｎＡｃｃｅｓｓＤａｔａ（ｍ＿ＢｕｉｌｄＤａｔａＴａｂｌｅＮａｍｅ，ｍ＿ＩｎｐｕｔＤａｔａＳｃｈｅｍａＮａｍｅ）；（２）为构造数据建立物理数据规范如果数据是非事务性格式，需要建立一个包含于ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ中的ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，形式如下：ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ＝ｌｌｅｗＮｏｎＴｒａｎｓａｃｔｉｏｎａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（１ａｄ）；如果数据是事务型数据，必须说明各种数据列所起的作用，形式如下：ｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ＝ｎｅｗＴｒａｎｓａｃｔｉｏｎａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（ｍ＿ＳｅｑｕｅｎｃｅｌｄＮａｍｅ，ｍＡｔｔｒｉｂｕｔｅＮａｍｅ，ｍ＿ＶａｌｕｅＮａｍｅ，ｌａｄ）；３．产生ＭｉｎｉｎｇＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ对象ＭｉｎｉｎｇＦｕｎｃｌｉｏｎＳｅｔｔｉｎｇｓ（ＭＦＳ）对象告诉ＤＭＳ所建立的模型的类型、模型的功能和所使用的算法。（１）确定分类的默认算法建立一个使用默认分类算法的分类模型，使用ＭｉｎｉｎｇＡｌｇｏｒｉｔｈｍＳｅｔｔｉｎｇｓ为空值的ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ对象，产生一个ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ的最简单的方法是使用Ｃｒｅａｔｅ方法，形式如下：ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓｍ＿ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ＝ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ．ｃｒｅａｔｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现３７ｎｕｌｌ，ｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，“ｃｌａｓｓ”，ＡｔｔｒｉｂｕｔｅＴｙｐｅ．ｃａｔｅｇｏｒｉｃａｌ，ＤａｔａＰｒｅｐａ船ｔｉｏｎＳｔａｔｕｓ．ｇｅｔｌｎｓｔａｎｃｅ（“ｕｎｐｒｅｐａｒｅｄ”））；（２）确定用ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋ（ＡＢＮ）算法完成电信客户分类如果想使用除默认算法以外的其它算法，算法的信息必须包含在ＭｉｎｉｎｇＡｌｇｏｒｉｔｈｒｎＳｅｔｔｉｎｇｓ实例中。而电信客户资料分析所要建立的分类模型采用ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋ（ＡＢＮ）算法，首先必须产生一个ＮａｉｖｅＢａｙｅｓＳｅｔｔｉｎｇｓ的实例来确定使用，有两种设置可供选择：ｓｉｎｇｌｅｔｏｎｔｈｒｅｓｈｏｌｄ和ｐａｉｒｗｉｓｅｔｈｒｅｓｈｏｌｄ。然后再建立一个ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ的实例。ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋＳｅｔｔｉｎｇｓａｌｇｏｒｉｔｈｍＳｅｔｔｉｎｇ＝ｎｅｗＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋＳｅｔｔｉｎｇｓ（ｍ＿ｔｒｅｅＤｅｐｔｈ，ｍ＿ｎｕｍＯｆＮｅｔｗｏｒｋＦｅａｔｕｒｅ，ｍ＿ｎｕｍＯｆＣｏｎｓｅｃｕｔｉｖｅＰｒｕｎｅｄＮＦ，ｍ＿ｍａｘＢｕｉｌｄＴｉｍｅ）；ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓｍ＿ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ＝ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ．ｃｒｅａｔｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，ａｌｇｏｒｉｔｈｍＳｅｔｔｉｎｇ，ｍｅｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，ｍ＿ｔａｒｇｅｔＡｔｔｒＮａｍｅ，ＡｔｔｒｉｂｕｔｅＴｙｐｅ．ｃａｔｅｇｏｒｉｃａｌ，ｍ＿ｄｅｆａｕｌｔＤａｔａＰｒｅｐ）；（３）使挖掘功能的设置生效由于ＭｉｎｉｎｇＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ是一个复杂的对象，无论创建的是否正确，在使用之前使其生效是很有用的。如果ＭｉｎｉｎｇＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ对象是有效的，就可以在ＤＭＳ中使用它。代码如下：ｍ＿ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ．ｖａｌｉｄａｔｅ０；ｍ＿ＣｌａｓｓｉｆｉｃａｔｉｏｎＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ．ｓｔｏｒｅ（ｄｍｓＣｏｒｍｅｃｔｉｏｎ，ｍ—．ＭｉｎｉｎｇＳｅｔｔｉｎｇｓＮａｍｅ）；４．建立模型通过以上的步骤，建立模型所需的基本信息都存储在ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ和ＭｉｎｉｎｇＦｕｎｃｔｉｏｎＳｅｔｔｉｎｇｓ实例中，最后一般就是确定是同步还是异步建立模型。（１）同步建立模型可使用ＭｉｎｉｎｇＭｏｄｅｌ．ｂｕｉｌｄ静态方法。代码如下：ＭｉｎｉｎｇＭｏｄｅｌ．ｂｕｉｌｄ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，ｌａｄ，３８基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用ｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，ｍ＿ＭｉｎｉｎｇＳｅｔｔｉｎｇｓＮａｍｅ，ｍ＿ＭｏｄｅｌＮａｍｅ）；（２）异步建立模型，必须产生一个ＭｉｎｉｎｇＴａｓｋ的实例。通过使用ｓｔｏｒｅ方法，一个ＭｉｎｉｎｇＴａｓｋ实例可以保持在ＤＭＳ中并可以随时使用。但它只能执行一次。一旦任务开始执行，可以通过调用ｇｅｔＣｕｒｒｅｎｔＳｔａｔｕｓ方法查询任务执行的当前状态信息。这个调用返回一个ＭｉｎｉｎｇＴａｓｋＳｔａｔｕｓ对象，包含了关于状态的更详细的信息。也可以使用ｇｃｔＳｔａｔｕｓＨｉｓｔｏｒｙ方法获得任务的完整的历史状态。ＭｉｎｉｎｇＢｕｉｌｄＴａｓｋｔａｓｋ＝ｎｅｗＭｉｎｉｎｇＢｕｉｌｄＴａｓｋ（／／物理数据规范／／挖掘功能设置名／／待构建的模型名ｍ—ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，ｍ＿ＭｉｎｉｎｇＳｅｔｔｉｎｇｓＮａｍｅ，ｍＭｏｄｅｌＮａｍｅ）；∥模型构建任务的对象存储在ＤＭＳ的数据库中ｔａｓｋ．ｓｔｏｒｅ（ｄｍｓＣｏｒｍｅｃｔｉｏｎ，ｍ＿ＴａｓｋＮａｍｅ）；∥执行模型构建任务ｔａｓｋ．ｅｘｅｃｕｔｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；在ＭｉｎｉｎｇＭｏｄｅｌ．ｂｕｉｌｄ或ｔａｓｋ．ｅｘｅｃｕｔｅ成功完成后，模型就会被按名称存储在数据挖掘服务器（ＤＭＳ）中。当以后测试、评估和应用此模型时，就需要从ＤＭＳ中读取它。４．４．３测试模型子模块的实现在创建了一个模型后，我们并不能立即将它投入使用，必须对其进行评估和检验。在电信客户资料分析中，选择合适的算法、建立有效的挖掘模型是非常关键的。而且对于大型数据库来说，这种选择是很困难的。因为不可能试验每一种算法，也不可能对每一个建立的模型进行验证。同时，在对模型进行评估的过程中，会存在很多种评价标准，用不同的评价标志对算法进行评价，结果可能会差距很大，而且不同数据库特性也会直接影响算法的运行性能。因此算法选择及模型评估必须在了解电信客户资料的数据集、模型及算法的相关内容以后，并结合电信部门决策人员的实际需求再进行。此子模块是由类ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋＬｉｆｔＡｎｄＴｅｓｔ来完成的，它又包含了以下三个主要方法：＞为测试数据创建ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ对象：ｃｒｅａｔｅＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；＞测试模＿型（Ｔｅｓｔ）－ｔｅｓｔＭｏｄｅｌ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现３９＞计算提升（ＣｏｍｐｕｔｅＬｉｆｔ）：ｃｏｍｐｕｔｅＬｉｆｉ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；测试模型的流程图如图４．３所示：（融Ｓｔａｒｔ）ｌ初ｊ鹾眈敦据Ｉｎｉｔｉａｌｉｚａｔｉｏｎ０登§击数据｝宅掘服务嚣Ｌｏｇ缸ＤａｔａⅫｎ吨Ｓｅｒｖｅｒ‘浯理数据ｃ１Ｉ瓢呷０段入数据ＤａｔａＳｃｒａｐＣｒｅａｔｉｏｎ｜｜执行模型测试任务Ｍｏｄｅｌｎ骘ｔＴａｓｋ显示黼果Ｄｉｓｐ崎ＴｅｓｔＲｅｓｕｌｔ０计算模型提升任务ＭｏｄｅｌＣｏｍｐｕｔｅＩ１．ａｆｌ触Ｉ显示提升结果ＤｉｓｐｌａｙＬｉｆｔＲｅｓｕｌｔ工退出麟｝甥服务器ＬｏｇｏｕｔＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ‘Ｌ１．厂黼聊／、图４．３测试模型的流程图连接数据挖掘服务器（ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ）ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒｄｉｎｓ＝ｎｅｗＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ（ｊｄｂｃ：ｏｒａｃｌｅ：ｔｈｉｎ：＠ｌｌｏｃａｌｈｏｓｔ：１５２１：ｔｅｓｔ，ｏｄｍ，ｏｄｍ）；＞登陆服务器（Ｌｏｇｉｎ）：ＣｏｎｎｅｃｔｉｏｎｄｍｓＣｏｎｎｅｃｔｉｏｎ＝ｄｉｎｓ．１０９ｉｎＯ；＞退出服务器（Ｌｏｇｏｕｔ）：ｄｍｓ．１０９０ｕｔ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；４０基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰｌ的数据挖掘实现方法的研究与应用Ｃｒｅａｔｉｏｎ）为测试数据创建２．载入数据（ＤａｔａＳｅｔｕｐ调用ｃｒｅａｔｅＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ），ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ对象，代码实现如下：ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａｌａｄ＝ｎｅｗＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ（ｍ＿ＤａｔａＴａｂｌｅＮａｍｅ，ｍ＿ｋＩｐｕｔＤａｔａＳｃｈｅｍａＮａｍｅ）；＞产生非事务型输入数据的物理数据规范通过以下代码实现：ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ－４ｎｅｗ＞ＮｏｎＴｒａｎｓａｃｔｉｏｎａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（１ａｄ）；产生事务型输入数据的物理数据规范通过以下代码实现：ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ＝ｎｅｗＴｒａｎｓａｃｔｉｏｎａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（ｍ＿ＳｅｑｕｅｎｃｅｌｄＮａｍｅ，ｍ＿ＡｔｔｒｉｂｕｔｅＮａｍｅ，ｍ＿ＶａｌｕｅＮａｍｅ，ｌａｄ）；３．执行模型测试任务（ＭｏｄｅｌＴｅｓｔＴａｓｋ）调用ｔｅｓｔＭｏｄｅｌ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ），创建ＣｌａｓｓｉｆｉｃａｔｉｏｎＴｅｓｔＴａｓｋ对象，代码实现如Ｆ：ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａｔｅｓｔｌｎｐｕｔＤａｔａ２ｍ—ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ．ｇｅｔＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ０；ＣｌａｓｓｉｆｉｃａｔｉｏｎＴｅｓｔＴａｓｋｔａｓｋ＝ｎｅｗ∥定位数据ＣｌａｓｓｉｆｉｃａｔｉｏｎＴｅｓｔＴａｓｋ（／／物理数据规范ｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，ｍ—ＭｏｄｅｌＮａｍｅ，／／已构建的模型名／／测试结果名ｍ＿ＴｅｓｔＲｅｓｕｌｔＮａｍｅ）；／／模型测试任务的对象存储在ＤＭＳ的数据库中ｔａｓｋ．ｓｔｏｒｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，ｍ＿ＴｅｓｔＴａｓｋＮａｍｅ）；／／执行模型测试任务ｔａｓｋ．ｅｘｅｃｕｔｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；４．计算模型提升任务（ＭｏｄｅｌＣｏｍｐｕｔｅＬｉｆｔＴａｓｋ）调用ｃｏｍｐｕｔｅＬｉｆｔ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ），创建ＭｉｎｉｎｇＬｉｆｔＴａｓｋ对象，主要代码的实现如下：ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａｉｎＬａｄ＝ｍ—ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ．ｇｅｔＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ０；／／定位数据ＭｉｎｉｎｇＬｉｆｔＴａｓｋｔａｓｋ＝ＩｌｅＷｍＭｉｎｉｎｇＬｉｆｉＴａｓｋ（／／物理数据规范ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ．第四章基于ＯｒａｃｌｅｍＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现４１ＮｕｍｂｅｒＯｆＱｕａｎｔｉｌｅｓ，／／之前用过的分位数／／正目标值／／已构建的模型名／／计算提升结果名ｐｏｓｉｔｉｖｅＣａｔｅｇｏｒｙ，ｍｍＭｏｄｅｌＮａｍｅ，ＣｏｍｐｕｔｅＬｉｆｌＲｅｓｕｌｔＮａｍｅ）；／／挖掘提升任务的对象存储在ＤＭＳ的数据库中ｔａｓｋ．ｓｔｏｒｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，ｍ＿ＬｉｆｔＴａｓｋＮａｍｅ）；∥执行挖掘提升任务ｔａｓｋ．ｅｘｅｃｕｔｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；４．４．４应用模型子模块的实现当基于电信客户资料的数据挖掘模型构建好后，就可以将模型应用于新数据来进行预测，并挖掘出有价值的信息。此应用模型阶段也包括几个基本步骤，其流程图如图４．４所示：图４．４应用模型的流程图４２基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用ＭｉｎｉｎｇＳｅｒｖｅｒ）１．连接数据挖掘服务器（Ｄａｔａ这一步与构建模型和测试模型时类似，都要首先与ＤＭＳ建立连接。ＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒｄｉｎｓ＝ｎｅｗＤａｔａＭｉｎｉｎｇＳｅｒｖｅｒ（ｊｄｂｃ：ｏｒａｃｌｅ：ｔｈｉｎ：＠ｌｏｃａｌｈｏｓｔ：１５２１：ｔｅｓｔ，ｏｄｍ，ｏｄｍ）；＞登陆服务：ｉ器（Ｌｏｇｉｎ）：ＣｏｎｎｅｃｔｉｏｎｄｍｓＣｏｎｎｅｃｔｉｏｎ＝ｄｍｓ．１０９ｉｎＯ；＞退出服务器（Ｌｏｇｏｕｔ）：ｄｍｓ．１０９０ｕｔ（ｄｍｓＣｏｒｍｅｃｔｉｏｎ）；２．描述输入数据ＯＤＭ将一个模型应用于数据之前，必须知道数据的物理布局。可以通过ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ实例完成，在这个实例中，说明了数据是否为事务型数据并描述了各种数据行所起的作用。在产生ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ实例前，必须定位输入数据，并提供它的相关位置信息。可以通过ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ完成。ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａｌａｄ＝ｎｅｗＬｏｃａｔｉｏｎＡｃｅｅｓｓＤａｔａ（ｍ＿ＡｐｐｌｙｌｎｐｕｔＤａｔａＴａｂｌｅ，ｍ＿ＩｎｐｕｔＤａｔａＳｃｈｅｍａＮａｍｅ）；＞产生非事务型输入数据的物理数据规范通过以下代码实现：ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎｍ—ＩｎｐｕｔＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ＝＞ＮｏｎＴｒａｎｓａｃｔｉｏｎａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（１ａｄ）；产生事务型输入数据的物理数据规范ｎｅｗ通过以下代码实现：ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎｍ＿ＩｎｐｕｔＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ＝ｎｅｗＴｒａｎｓａｃｔｉｏｎａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ（ｍ＿ＡｐｐｌｙｌｎｐｕｔＤａｔａＳｅｑｕｅｎｃｅｌｄ，ｍ＿ＡｐｐｌｙｌｎｐｕｔＤａｔａＡｔｔｒｉｂｕｔｅＮａｍｅ，ｍ＿ＡｐｐｌｙｌｎｐｕｔＤａｔａＶａｌｕｅＮａｍｅ，ｌａｄ）；３．描述输出数据定位输出数据的位置，代码如下所示：ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａｌａｄＯｕｔｐｕｔ－－－－ｆｌｅＷＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ（ｍ＿ＡｐｐｌｙＯｕｔｐｕｔＲｅｓｕｌｔＴａｂｌｅＮａｍｅ，ｍ＿ｏｕｔｐｕｔＳｃｈｅｍａＮａｍｅ）；４．确定输出数据的格式包括以下几个重要步骤：（１）产生一个空的挖掘应用输出对象第四章基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ数据挖掘模块的实现ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔｍ－ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ＝ｎｅｗＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ０；４３（２）确定应用输出中的生成列产生列有两种选项，由下面两种ＡｐｐｌｙＣｏｎｔｅｎｔｌｔｅｍ的子类来描述：＞ＡｐｐｌｙＭｕｌｔｉｐｌｅＳｃｏｒｉｎｇｌｔｅｒｎ：用于产生最顶的或最低的ｎ个预测列表，按它们的相关目标值概率来排序；＞ＡｐｐｌｙＴａｇｅｔＰｒｏｂａｂｉｌｉｔｙｌｔｅｒｎ：用于产生特定目标值的列表。（３）确定包含在输出列中的输入列ＡｐｐｌｙＳｏｕｒｃｅＡｔｔｒｉｂｕｔｅｌｔｅｍｔｅｍｐ＝ｎｅｗＡｐｐｌｙＳｏｕｒｃｅＡｔｔｒｉｂｕｔｅｌｔｅｍ（ｓｏｕｒｃｅＡｔｔｒｉｂｕｔｅ，ｄｅｓｔｉｎａｔｉｏｎＡｔｔｒｉｂｕｔｃ）；（４）使挖掘应用输出对象生效ｍ＿ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ．ｖａｌｉｄａｔｅＯ；５．执行模型应用任务－（ＭｏｄｅｌａｐｐｌｙＴａｓｋ）现在所有应用模型所要的信息都存放在了ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ、ＬｏｃａｔｉｏｎＡｃｃｅｓｓＤａｔａ和ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ实例中，最后的一步就是确定如何获取数据（同步还是异步），选择哪种模型获取数据。（１）同步应用模型，使用ＳｕｐｅｒｖｉｓｅｄＭｏｄｅｌ．ａｐｐｌｙ静态方法：ａｐｐｌｙ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，ｌａｄ，ｐｕｂｌｉｃｓｔａｔｉｃｖｏｉｄｍ＿ＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，ｍ＿ＭｏｄｅｌＮａｍｅ，ｍ＿ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ，ｌａｄＯｕｔｐｕｔ，ｍＡｐｐｌｙｏｕｔｐｕｔＲｅｓｕｌｔＲｅｓｕｌｔＮａｍｅ）（２）异步应用模型的方法如下：ＭｉｎｉｎｇＡｐｐｌｙＴａｓｋｔａｓｋ＝ｎｅｗＭｉｎｉｎｇＡｐｐｌｙＴａｓｋ（ｍ＿ＩｎｐｕｔＰｈｙｓｉｃａｌＤａｔａＳｐｅｃｉｆｉｃａｔｉｏｎ，ｍＭｏｄｅｌＮａｍｅ，／／输入数据的物理数据规范／／应用模型的名称／／挖掘应用输出／／输出表位置ｍ＿ＭｉｎｉｎｇＡｐｐｌｙＯｕｔｐｕｔ，ｌａｄＯｕｔｐｕｔ，ｍ＿ＡｐｐｌｙｏｕｔｐｕｔＲｅｓｕｌｔＲｅｓｕｌｔＮａｍｅ）；／／应用结果的表名／／应用模型任务的对象存储在ＤＭＳ的数据库中ｔａｓｋ．ｓｔｏｒｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ，ｍ＿ＴａｓｋＮａｍｅ）；／／执行应用模型任务ｔａｓｋ．ｅｘｅｃｕｔｅ（ｄｍｓＣｏｎｎｅｃｔｉｏｎ）；４４基于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用４．４．５分析显示子模块的实现本模块的主要任务是将应用模型所得到的数据结果，以表的形式保存到Ｏｒａｃｌｅ９ｉ数据库中，我们需要读取ＡｐｐｌｙＯｕｔｐｕｔＲｅｓｕｌｔＴａｂｌｅ中数据，将它们显示在用户界面上，供分析人员查看与使用。包括下面几个步骤：１．注册ＯｒａｃｌｅＪＤＢＣ驱动程序【３２ｌ；ＤｒｉｖｅｒＭａｎａｇｅｒ．ｒｅ＃ｓｔｅｒＤｒｉｖｅｒ（ｎｅｗｏｒａｃｌｅ．ｊｄｂｃ．ＯｒａｃｌｅＤｒｉｖｅｒ０）；２．使用ＤｒｉｖｅｒＭａｎａｇｅｒ类的ｇｅｔＣｏｎｎｅｃｔｉｏｎ０方法连接数据库；ｍｙＣｏｎｎｅｃｔｉｏｎ＝ＤｒｉｖｅｒＭａｎａｇｅｒ．ｇｅｔＣｏｎｎｅｃｔｉｏｎ（Ｃｏｎｎｅｃｔｉｏｎ’＇ｊｄｂｅ：ｏｒａｃｌｅ：ｔｈｉｎ：＠ｌｏｃａｌｈｏｓｔ：１５２１：ｔｅｓｔ＂，＂ｏｄｍ”，”ｏｄｉｎ”）；３．创建ＪＤＢＣＳｔａｔｅｍｅｎｔ对象，使用Ｓｔａｔｅｍｅｎｔ类中的不同方法来运行ＳＯＬ语句；Ｓｔａｔｅｍｅｎｔ４．ｓｔｍｔ＝ｍｙＣｏｎｎｅｃｔｉｏｎ．ｃｒｅａｔｅＳｔａｔｅｍｅｎｔ０；使用ＲｅｓｕｌｔＳｅｔ对象从数据库中读取各行各列的数据。Ｓｔｒｉｎｇｓｑｌ＝”ｓｅｌｅｃｔ・ｆｒｏｍＡｐｐｌｙＯｕｔｐｕｔＲｅｓｕｌｔＴａｂｌｅ”；ＲｅｓｕｌｔＳｅｔＩＳ＝ｓｔｍｔ．ｅｘｅｃｕｔｅＱｕｅｒｙ（ｓｑｌ）；４．５数据挖掘模块的功能测试根据前面章节数据仓库所提供的电信客户资料主题分析模型，我们可以创建三个表，分别用来构建模型、测试模型和应用模型。４．５．１１．各子模块的功能测试构建模型构建模型的运行情况，如图４．５和图４．６所示：苎婴主堇！：竺竺堡！坐坚堂竺！茎塑堡塑堡望塑壅堡竺圈４．５建模信息圈４，６建模结果竺兰Ｊ．竺ｒ！！生！！！坚！！！坚垒型兰塑塑竺塑兰墨互堡堕塑壅皇曼，！从图４５和罔４．６中可以清晰地显示构建模型的全部过程，虮裂遇到哪步骤出锚，也能自动提不和告警。通过Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ所提供的ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋ数据挖掘算法．在电信客，，资料的数据中自动提取有用的信息（Ｒｅｌａｔｉｏｎｓｈｉｐ、Ｏｃｃｕｐａｔｉｏｎ、Ｓｅｘ、Ａｇｅ、Ｒａｃｅ、Ｅｄｕｃａｔｉｏｎ、ＭａｒｉｔａＩＳｔａｔｕｓ、ＨｏｕｒｓＰｅｒＷｅｅｋ、Ｃａｐｉｔａｌ—Ｇａｉｎ和Ｃａｐｉｔａｌ—Ｌｏｓｓ），并查找出存在的模式和规则（如图４６所示），我们就用这个相似的特征作为预测算子，来对电信客户的未束ｕｒ能的行为做出预测。２测试模型测试模型的运行情况，如图４７所示圈４７删试结果从图４７中町以清晰地显示测试模型的全部过程。准确率是用柬衡量某个分类槿’唑列整个数料集分类的准确程度。我们类｜！｛葵型的优劣。般用它作为衡量指标，柬评价某个分此次测试的结果：水确：善（Ａｃｃｕｍ。ｙ）＝０．７５６５９４７。垫些望坚！．旦！！！！！里塑坚竺竺ｇ竺！茎塑垡型堡竺塑塞翌竺由此可见，利用ＡｄａｐｔｉｖｅＢａｙｅｓＮｅｔｗｏｒｋ数据挖掘算法所建立的电信客户资料模型的准确率还是比较令人满意的。３应用模型应用模型的运行情况，如图４．８所示幽４．８应Ⅲ信息从圈４．８中可以清晰地恩示应用模型的伞部过程。我们从电信客户资料中选取～组新数据，柬应用到前面所构建的模型里，得到的预测结果如幽４９所示：型！！！！！！！！！！！！！！！￡些！！墼堡堡塑壅里！垦盟竺墨！！！ｕ删０＂“■”Ｒ∞ｑ州０２’咐３４９∞｝７３０Ｅ０％７２｛日０９０２５４０４３７—４７’日９２Ｅ．Ｄ１１１曩墨曙田盈■■圈墨圜雹叠四■＿１｛５８５７２２０３２０５３８口”６５０ｅ３日１０４●ｔ９１２４Ⅻ５６２Ⅱ∞０１２２４；ｅ‘２２４‘ｅ９９凸Ｄ“３１４９６６２９０，５４１”６６７１０Ⅱ－∞０２嗽￡０１“ｅ４ａｄｏｅ●３６１２｛Ｂ∞｛¨：１３２１１１…｛０７８１５０９５９％Ｏ１７％３０１００２１２７１１０２１３５１０¨３ｅ７…０２ｅ４｝日６２４《％１１●拼口５‘４３８４２“９∞６２８８ｅ…Ｂ４；５６５５７６３Ｅ∞２２ｔ０７自８７＝２４６８６５８５９９５：０，‘２１１＂１０３＇＊７３２１８…３５∞９２１１３…０８０ＢｗｅⅢ。｜１’０Ｈ３，∞５３Ｅ６２７＂＂２７ｄａｌ＇ｔｇｒｌ３，２｛７…１ｍｅｒ７７２０２ｊｅ９８３日…∞７９ｅ：０１１９５８２４６４６７∞１Ｅ０００’４１∞‘１３５４３９８７’日４５６０１７｛９４０１５ｅ７５７５６０７４ｅｎ０２０７２１’？３３３３‘９９％，咖７１｛３０７４９２ｅ７‘１５７２口７８１《Ｏ＇１０…１，３２…一３Ｂ：０１｛５４目５５５５¨７…９ｅ瑚‘７‘４２９７０御０３１ａ＊３ⅫｅＨｌ６５１４∞４７Ｅ＿。１１一＂１ｄ０＂４５４∞９３６２００２０５Ｏ删Ｂ：３＂！ｅ∞７８５，０自Ｊ８。＝８２∞｛３，１４４…３７３∞＇６３６５９７０５…１１１０８∞６９｝３９ｊ２口一∞｛５５４０∞２２日¨７９１３３７１Ｅ００图４．９预测结果从图４．９巾可以看出，所有电信客户中可能会成为有价值客户的可能性和概车，己经清晰地反映在｝述表中了。每个客户被预测的结果都会有两种可能性（如ＭｙＰｒｅｄｉｃｔｉｏｎ列中的“１、０”或“Ｙｅｓ、Ｎｏ”），井相应地分别＿｝ｌ｝一定的数值（如ＭｙＰｒｏｂａｂｉｌｉｔｙ列中的数据）来衡量他们未来的趋势或可能的行为。这样就能为电信部门的决策人员提供非常有效的参考依据。４．５２功能模块的测试总结Ｏｒａｃｌｅ９ｉＤａｔａＭｉｎｉｎｇ利用它所提供的数据挖掘算法．从大量数据中自动寻找和提取存在的模式，在论文中所涉及的是电信客户资料模型。从一些己知的有价值客户中找出他们的分类规则，再利用这个模型，去预测一下其它电信客户还有哪些也具备有价值客户的基本属性和条件，然后拾决策部门提出重点发展这部分人群。此外这一系统的数据挖掘模块，还可以查找挖掘电信客户资料数据中有意义的模式和关联，这些模式能帮助用户更好地理解和预测客户行为。比如：≯获取新客户≯识Ｅ０最可疑的客户≯预测电信客户的流失情况≯预测客户转网的行为｝预测客户足否对某”№务感兴趣，如电信食餐、彩铃业务等。第五章结束语４９第五章总结本论文主要是从理论和应用两个方面对大型数据库的数据挖掘技术进行分析和研究：在理论上重点掌握数据仓库和数据挖掘的相关技术知识和实现方法，对数据挖掘的模型和算法有较深入地研究；在应用上，由于论文来源于大唐电信的大型数据库预研项目，我们需要针对电信客户资料进行较为详尽的分析，以大型数据库Ｏｒａｃｌｅ９ｉ构建数据仓库，利用Ｏｒａｃｌｅ电信部门提供决策支持。文中论述了基于Ｏｒａｃｌｅ充分验证了ＯｒａｃｌｅＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＤａｔａＭｉｎｉｎｇ来分析挖掘数据库中的海量数据，以侦测其中的微妙模式和关系，并提取更多有价值的商务智能信息，为ＡＰＩ的大型数据库数据挖掘的基本框架，并在此基础上以电信客户资料主题为模型，设计实现了一个数据挖掘分析系统，９ｉＤａｔａＭｉｎｉｎｇ的可行性，以便为今后大唐电信的大型数据库项目的立项实施提供参照和借鉴。９ｉＤａｔａＭｉｎｉｎｇ提供了很多数据挖掘算法来进行分类和预测，适用于各种数据挖掘问题，这样应用开发人员就可以不必再把注意力集中到数据挖掘的算法实现上，全部交给它来完成，我们只需要直接访问ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ就能构建和评估模型，它为建立高级商务智能应用提供了较为理想的基础架构，从而大大缩短了应用开发周期，更方便了广大数据挖掘的研究人员。显而易见，ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇ的数据挖掘技术，在今后的电信、金融和保险等很多领域都会具有更为广阔的应用前景。致谢５１致谢经过研究生阶段的学习，使我无论在知识掌握还是在能力提高方面都有了长足的进步。而这一切都与我的导师李青山老师的培养分不开，所以首先我要在这里向您表示衷心的感谢。在整个论文的完成阶段，自始至终都倾注了大量的心血，从论文的选题、修改、直至论文定稿一直给予了精心的指导，还提出了大量宝贵的意见。严谨认真、诲人不倦的治学态度给我留下了深刻印象，促使我在今后的人生道路上不断进取、勇往直前。在此还要感谢西电大唐电信研发中心的工程师，为我提供了实践和学习的环境。在实习阶段的工作和学习中，也给予我很多支持和帮助，为顺利完成论文打下了良好的基础。感谢我的家人给了我学习的动力，以及对我生活的悉心照顾和关爱。感谢我的同学和朋友钱丽平、淮侃、呼延琢、张益华、石增硕、孙琪和李军等，都给了我许多无私的帮助。感谢审阅本论文的专家教授在百忙之中，抽出时间给我提出宝贵的意见。参考文献５３参考文献【１】【２】【３】【４】【５】【６】【７】【８】段云峰，吴唯宁，李剑威等．数据仓库及其在电信领域中的应用．电子工大唐电信．大型数据库预研需求规格说明书，２００５朱爱群．客户关系管理与数据挖掘．中国财政经济出版社，２００１Ｗ．Ｈ．Ｉｎｍｏｎ．数据仓库．机械工业出版社，２００３夏火松．数据仓库与数据挖掘技术．科学出版社，２００４ＪｏｙｃｅＢｉｓｃｈｏｆｆ，Ｔｅｄ业出版社，２００３Ａｌｅｘａｎｄｅｒ．数据仓库技术．电子工业出版社，１９９８安淑芝．数据仓库与数据挖掘．清华大学出版社，２００５张春阳，周继恩等．基于数据仓库的决策支持系统的实现．计算机工程．ＳｉｄＡｄｅｌｍａｎ，ＬａｒｉｓｓａＴｅｒｐｅｌｕｋ２００２，４【９】Ｍｏｓｓ．数据仓库项目管理．清华大学出版社，２００３【１０】陈文伟．决策支持系统及其开发．清华大学出版社，１９９８【１１】ＪｉａｗｅｉＨａｎ，ＭｉｃｈｅｌｉｎｅＫａｍｂｅｒ．ＤａｔａＭｉｎｉｎｇＣｏｎｃｅｐｔｓａｎｄＴｅｃｈｎｉｑｕｅｓ．高等教育出版社，２００２【１２】邵峰晶，于忠清．数据挖掘原理与算法．中国水利水电出版社，２００３【１３】ＭｅｈｍｅｄＫａｎｔａｒｄｚｉｃ．数据挖掘——概念、模型、方法和算法．清华大学出Ｒｕｄ．数据挖掘实践．机械工业出版社，２００３版社，２００３【１４】ＯｌｉｖｉａＰａｒｒ【１５】李雄飞，李军．数据挖掘与知识发现．高等教育出版社，２００３【１６】赵宏波，孟雅玲．数据挖掘在电信客户关系管理中的应用．电信技术．２００１，１２【１７】许昌加，高阳．数据挖掘在电信客户细分中的应用研充成组技术与生产现代化．２００４，１【１８】ＥｆｒｅｍＧ．Ｍａｌｌａｃｈ．决策支持与数据仓库系统．电子工业出版社，２００１【１９】ＡｌｅｘＢｅｒｓｏｎ，ＳｔｅｐｈｅｎＳｍｉｔｈ，ＫｕｒｔＴｈｅａｒｌｉｎｇ．构建面向ＣＲＭ的数据挖掘应用．人民邮电出版社，２００１【２０】秦永俊．数据挖掘在ＣＲＭ中的应用设计．电脑开发与应用．２００４，１ｆ２１１飞思科技产品研发中心．Ｏｒａｃｌｅ９ｉ基础与提高．电子工业出版社，２００３【２２】飞思科技产品研发中心．Ｏｒａｃｌｅ９ｉ数据库高级管理．电子工业出版社，２００２【２３１飞思科技产品研发中心．Ｏｒａｃｌｅ９ｉ数据仓库构建技术．电子工业出版社，２００３【２４】ＯｒａｃｌｅＣｏｒｐｏｒａｔｉｏｎ．ＤａｔａＷａｒｅｈｏｕｓｉｎｇＧｕｉｄｅ，２００２竺董于ＯｒａｃｌｅＤａｔａＭｉｎｉｎｇＡＰＩ的数据挖掘实现方法的研究与应用【２５】ＯｒａｃｌｅＣｏｒｐｏｒａｔｉｏｎ．ＤａｔａＭｉｎｉｎｇＡｄｍｉｎｉｓｔｒａｔｏｒ－ＳＧｕｉｄｅ，２００２【２６】陈京民．数据仓库与数据挖掘技术．电子工业出版社，２００２【２７】ＡｇｕｓｔＥｇｉｌｓｓｏｎ．使用Ｏｒａｃｌｅ数据挖掘ＡＰＩ．２００６，８【２８】ＯｒａｃｌｅＣｏｒｐｏｒａｔｉｏｎ．ＤａｔａＭｉｎｉｎｇＣｏｎｃｅｐｔ，２００２【２９】罗宁，穆志纯．基于贝叶斯网的分类器及其在ＣＲＭ中的应用．计算机应用．２００４，２４【３０】ＪｏｓｅｐｈＬ．Ｗｅｂｃｖ．ＪＡＶＡ２编程详解．电子工业出版社，１９９９【３１】陈志刚，刘安丰，陈章．大型数据库技术——旬ｒａｃｌｅ９ｉ高级程序设计教程．华南理工大学出版社，２００３【３２】ＪａｓｏｎＰｒｉｃｅ，马朝晖．Ｏｒａｃｌｅ９ｉＪＤＢＣ程序设计．机械工业出版社，２００２基于Oracle Data Mining API的数据挖掘实现方法的研究与应用

作者：

学位授予单位：

王帆

西安电子科技大学

本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1431751.aspx