维普资讯 http://www.cqvip.com 第２７卷 ２００７年６月 文章编号：１００１—９０８１（２００７）Ｓ１—００２１—０３ 计算机应用 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖ０１．２７ Ｊｕｎｅ ２ｏ０７ 基于服务数据对象的异构系统数据集成方案研究 倪志刚，洪玫，刘 佳 （四川大学计算机学院，四川成都６１００６５） （ｎｉｚｈｉｇａｎｇ２０００＠ｇａｍｉｌ．ｃｏｒｎ） 摘要：针对现存的一些企业异构数据集成解决方案中存在的数据表示不够标准，硬编码过多， 可重用度不够高等问题，提出了基于服务数据对象（ＳＤＯ）规范的企业异构数据集成的解决方案，设计 并实现了该方案。测试与实际应用表明：该方案切实可行，开发量小，可重度高，性能好，能够满足企 业异构数据集成的需要。 关键词：服务数据对象（Ｓｅｒｖｉｃｅ Ｄａｔａ Ｏｂｊｅｃｔ，ＳＤＯ）；异构数据源；数据集成 中图分类号：ＴＰ３１１．１３ 文献标识码：Ａ １）统一的数据定义。ＳＤＯ中数据的表示是独立于数据 ０ 引言 随着企业中分布的、异构的、孤立的数据源的增多，如何 使这些数据源集成起来，使其中的数据能得到更好地利 用——汇总、分析、统一展示等，一直是数据处理技术中的一 个热点与难点。根据企业异构数据集成的需要，文献［１—３］ 都提出了相类似的解决方案，即利用ＸＭＬ对数据进行统一的 描述，再由ＸＱｕｅｒｙ等工具对数据进行处理，最后形成统一的 视图供客户端使用。这些解决方案在一定程度上满足了异构 数据集成的需要，但是也存在一些不足的地方，例如数据的表 示没有依据统一的标准，对ＸＭＬ的处理需要进行大量的硬编 码，数据集成系统可重用程度不够高等，这些都不利于将其直 接应用于企业的实际环境中。 源的，采用数据对象来对所有数据进行描述，在数据对象中由 元数据（ＸＭＬ Ｓｃｈｅｍａ），数据（ＸＭＬ表示）与变更摘要（使用 ＸＭＬ记录数据修改痕迹，包括记录了对数据的更新、插入、删 除等操作）组成。这使得数据无论传输到哪里都不会失去原 始的信息与操作，能方便地为手工编程与自动工具服务。 ２）统一的数据处理模型。在ＳＤＯ规范中，定义了数据的 处理过程与基本构架，如图１所示：使数据的读取与更新过程 都有了明确的定义。 本文在现有解决方案基础上进行进一步的研究，引入国 际上通用的异构数据处理标准：服务数据对象（Ｓｅｒｖｉｃｅｓ Ｄａｔａ Ｏｂｊｅｃｔ，ＳＤＯ）规范 Ｊ，提出了一种更为通用的异构数据集成的 解决方案，并就该方案在企业实际应用中的性能进行了测试 与分析。 图１ ＳＤＯ数据处理流程简图 １ ＳＤ０介绍 ＳＤＯ规范是由ＩＢＭ和ＢＥＡ公司联合制定的一个异构数 据集成处理的规范ＪＳＰ－２３５。它是一种应用程序编程接口 ３）支持丰富的数据访问接口。文献［１—３］中使用的 ＸＭＬ读取与解析方式非常原始，需要手工编写大量的代码， 而且还不能重用。在ＳＤＯ中，可以使应用程序通过动态（索 引的方式）、静态（直接字段操作）以及通常ＸＭＬ解析的方式 （ＡＰＩ），可以简化和统一对异构数据的访问。由于在当前的 企业环境中，单一数据类型的应用程序已经比较罕见了，越来 （ＤＯＭ与ＳＡＸ）对数据进行访问，可以方便地重用，更有效地 访问数据。 ４）更好的开放性。符合ＳＤＯ规范的系统间可以十分方 便地进行水平层面与垂直层面上的系统互联，这样可以避免 出现更大的信息孤岛。 ５）有丰富的开源实现供使用。包括Ｅｃｌｉｐｓｅ项目下的 ＥＭＦ项目，Ａｐａｃｈｅ的ｔｕｓｃａｎｙ开源项目等，这些开源实现可以 极大地减少开发的工作量。 因此，将ＳＤＯ运用于异构数据集成可以有效地满足异构 越多的信息存放在不同类型的数据源中（如数据库、Ｗｅｂ ｅｒＳｖｉｃｅｓ、ＬＤＡＰ ｅｒＳｖｅｒ等），这使得开发人员需要熟悉许多不 同的ＡＰＩ，如ＪＤＢＣ，ＪＡＸ—ＲＰＣ，ＪＣＡ等。ＳＤＯ简化和补充了 Ｊ２ＥＥ开发模式，提供一种独特的访问异构数据源的ＡＰＩ，还 可以用于数据处理的其他方面。 ＳＤＯ规范的１．０版本于２００３年发布，到了２００５年ＳＤＯ 规范２．０１版发布时，已经有越来越多知名的Ｉ１’厂商加入的 规范的制定与实现行列中来了，除了ＩＢＭ与ＢＥＡ外，Ｏｒａｃｌｅ， ＳＡＰ，Ｓｙｂａｓｅ，Ｓｉｅｂｅｌ都是新规范的制定者。新的ＳＤＯ规范除 了提供Ｊａｖａ的接口规范外，还提供了Ｃ／Ｃ＋＋的规范，这更 使得无论是在ＵＮＩＸ系统，还是在Ｗｉｎｄｏｗｓ系统，无论是Ｊａｖａ 环境下的数据共享和交换的需求，尽可能做到组件重用，这样 不仅可以极大提高开发效率，还可以减少实施的成本。 语言，还是其他主流编程语言，都能很方便地集成到系统中来 进行统一的数据处理。 将ＳＤＯ用于异构数据处理主要有如下优点： ２异构数据集成的设计 ２．１数据处理模型 参考ＳＤＯ规范中的数据处理规则，并考虑到系统重用以 收稿日期：２００６—０９—２０ 作者简介：倪志刚（１９７８一），男，硕士研究生，主要研究方向：计算机网络、数据集成，分布式计算；洪玫（１９６３一），女，副教授，主要研究 方向：数据库、计算机网络、软件工程、实时系统；刘佳（１９８１一），女，硕士研究生，主要研究方向：计算机网络． 维普资讯 http://www.cqvip.com 计算机应用 ２００７血 及扩展与维护的需要，在设计时将各种数据进行分层处理是 了可以充分利用一些开源组件来减少开发量以外，还可以有 一种较好的方法。如图２所示，按照数据与数据源关联的程 效地进行扩展。本文的解决方案基于Ｊ２ＳＥ １．４、Ｊ２ＥＥ１．３以 度可以分为两层。 及ＳＤＯ ２．０规范与标准实现，Ｊ２ＥＥ中间件选用了ＷｅｂＬｏｇｉｅ Ｓｅｖｒｅｒ ８．１．５，ＸＱｕｅｒｙ引擎采用ＷｅｂＬｏｇｉｃ Ｓｅｒｖｅｒ中自带的 ＸＱｕｅｒｙ引擎。系统实现中主要有两种关键的数据处理流程。 ３．１数据读取 图２数据分层设计 物理视图层物理视图层与数据源直接相关，即将各种 数据源中的数据直接暴露为异构数据集成中的物理视图，经 由物理视图所展现的数据已经是各种异构数据源中的数据封 装后的ＳＤＯ数据对象。这样的设计屏敝了最底层异构数据 源提供的数据的差异性，为更上一层的处理提供了便利。物 图４数据读取实现 理视图一般只有一层。 逻辑视图层逻辑视图层直接与物理视图层交互，是一 数据读取实现如图４所示。以关系数据库的操作为例， 个或者多个物理视图经过相应的转换、映射、过滤、联合等处 客户端将相应逻辑视图请求传递到解析器，解析器读取逻辑 理后的ＳＤＯ数据对象。根据需求的不同，可以存在多层逻辑 视图的定义文件，将相应的请求分发到不同的Ｗｒａｐｐｅｒ， 视图，这样的设计可以满足数据集成灵活的处理要求，通过配 Ｗｒａｐｐｅｒ根据相应的物理视图的定义，使用ＪＤＢＣ从数据源中 置文件即可定义数据的处理规则，方便系统开发与维护与进 读取数据，并将ＲｅｓｕｈＳｅｔ结果集封装为ＳＤＯ数据对象，返回 一步的扩展。 给ＸＱｕｅ￣引擎；ＸＱｕｅ￣根据逻辑视图中的定义将各个 ２．２系统框架层 Ｗｒａｐｐｅｒ返回的ＳＤＯ数据对象进行处理，形成客户端所请求 的逻辑视图，并返回给客户端。 数据应用层 ———— ＝＝～—＝；’——一 由于ＳＤＯ中的数据表示采用的是ＸＭＬ，而ＸＭＬ所表示 的数据大小一般是原数据大小的１０倍以上，对于大批量数据 跹抿睾成屡 ｌ ｌ Ｘｑｕｅｒｙ￣Ｊ［擎 ｌ 而言，一次性将如此大量的数据加载到内存中将会消耗大量 ｉ 嘧匝 匝 匝 的内存，时常会导致内存溢出，而利用文件缓存则可以避免这 种情况发生。在读取小批量数据时则不存在这种问题，故可 ｌ数 圆圆圆回 以不需要文件缓存。 ｝ ｆ ｌ 数据读取实现以后在应用于实际系统中时，按照需要建 立好逻辑视图与物理视图的定义文件即可，不再需要任何的 图３系统框架 开发。 如图３所示，整个系统按照应用要求可以分为三层： ３．２数据修改 数据包装层数据包装层直接与底层的各种数据源相 Ｉ 客户端 ｌ 关，不同数据源开发不同的包装器（Ｗｒａｐｐｅｒ），每种包装器都 ● 由特定的技术实现，对外暴露出相同的调用接口，返回统一形 ———式的数据。每种包装器只需要开发一次，以后基于配置的方 叫ｓＤＯ解析器Ｉ 式来使用。主要功能是对底层读取的数据进行封装与转换， 提供物理视图，这样可以最大程度地重用相关的包装器组件。 Ｉ数据集成层作用是根据数据处理规则将物理视图进行 Ｉ物理视Ｌ 图 ｌ 相应的转换，提供出客户所需要的逻辑视图，或者对于客户提 【 囤 供的视图进行数据分解，将需要更新的数据下发到数据包装 ’ 层。开发完成后，可根据配置文件自动进行相关的处理，不再 ＜＝ 需要手工的编码。 Ｌ数据 数据应用层数据集成层提供的数据都已经按业务需要 图５数据修改实现 封装完整，在应用层主要是暴露出相应的调用接口供客户端 数据修改实现如图５所示。客户端提交修改过后的ＳＤＯ 取得数据进行分析与显示，或者供客户端提交修改后的数据。 数据对象，ＳＤＯ数据对象中包括变更摘要，变更摘要中记录 ３ 系统关键过程实现 了数据的原始状态以及修改过的状态。提交的ＳＤＯ数据对 象经过ＳＤＯ解析器进行解析后，根据逻辑视图的定义分解生 由于异构数据集成中需要与多种不同的数据源进行数据 成相应的ＳＤＯ数据对象，提交到Ｗｒａｐｐｅｒ，Ｗｒａｐｐｅｒ根据物理 交换，如关系数据库，文件或者ＬＤＡＰ服务器，Ｗｅｂ Ｓｅｒｖｉｃｅｓ 视图的定义生成相应的ＳＱＬ语句，并由ＳＱＬ代理经由ＪＤＢＣ 等，这些都需要用到不同的技术，再者考虑到跨平台、可扩展 传递到数据库，从而修改数据源中的数据。 等因素，使用Ｊａｖａ／Ｊ２ＥＥ来实现整个系统是非常好的选择，除 与数据读取类似，数据修改实现后，在以后的使用中，不 维普资讯 http://www.cqvip.com ６月 倪志刚等：基于服务数据对象的异构系统数据集成方案研究 除了小批量数据查询外，还测试了大批量数据的读取，处 需要再进行开发，只需要定义相应的视图即可。 从以上关键技术点的实现可以看出，本文提出的解决方 案，只需要开发一次，可以跨平台使用，可以方便地用于不同 的企业环境，在应用于不同的系统时只需要配置相应的视图 定义文件。 理大批量的数据读取时使用了文件缓存，结果如表３如示。 经过分析大量的测试结果，可以看出，基于Ｊａｖａ与ＳＤＯ 实现的异构数据集成系统无论是从功能上，还是从数据集成 时总的时间消耗与系统吞吐量来看都能较好地满足企业实际 应用中的需要。 表３大批量数据测试结果表 ４ 系统测试 ４．１系统测试场景 在实现解决方案后，基于企业的实际环境做了测试。测 试基于实际订单系统中的订单主表（Ｍａｓｔｅｒ）与定单明细表 （Ｄｅｔａｉｌ），其中Ｍａｓｔｅｒ表在Ｏｒａｃｌｅ数据库中，Ｄｅｔａｉｌ表位于 ＤＢ２数据库中。 表１软硬件环境表 机型 ＣＰＵ主频内存 软件系统 用途 ５ 结语 通过对企业异构数据集成的一些解决方案进行改进和完 善，用基于ＳＤＯ的方式设计并实现了异构数据集成系统，还 就该系统在企业中的应用作了大量的测试。结果表明将ＳＤＯ 用于企业异构数据集成不仅可以大大减少相应的开发工作 量，可以最大限度地系统重用，而且还可以非常高效地满足企 业异构数据集成的需要。 参考文献： ［１】 李军怀，周明全，耿国华，等．ＸＭＬ在异构数据集成中的应用研 究［Ｊ】．计算机应用，２００２，２２（９）：１０—１２． ４．２测试结果 根据实际应用的需求，主要测试了两种场景，一种是实时 小批量的数据查询，该查询中不使用文件缓存，测试结果如表 ２所示。 表２小批量数据测试结果表 ［２］ 甄玉钢，刘璐莹，康建初．基于ＸＭＬ的异构数据库集成系统构 架与开发【Ｊ】．计算机工程，２００６，３２（２）：８５—８７． ［３】 赵辉，陶世群，李丽萍．一种基于ＸＭＬ的异构数据源集成的方 法与实觋【Ｊ】．山西大学学报（自然科学版），２００５，２８（１）：３３— ３６． ［４】 ＢＥＡＴＩ￣Ｊ’ＢＬＯＨＭ Ｈ，ＢＯＵＴＡＲＤ Ｃ，ｅｔ ａ／．Ｓｅｒｖｉｃｅ Ｄａｔａ Ｏｂｊｅｃｔｓ Ｆｏｒ Ｊａｖａ Ｓｐｅｃｉｉｆｃａｔｉｏｎ［ＥＢ／ＯＬ】．ｈｔｔｐ：／／ｗｗｗ．ｂｅａ．ｃｏｍ／ｄｅｖ２ｄｅｖ／ ａｓｓｅｔｓ／ｓｄｏ／ＳＤＯＳｐｅｃｉｉｆｃａｔｉｏｎＪａｖａ—Ｖ２．０１．ｐｄｆ＇２００５—１ １． ＿—［５】 ＢＥＡＴＩ￣Ｊ．Ｎｅｘｔ—Ｇｅｎｅｒａｔｉｏｎ Ｄａｔａ Ｐｒｏｇｒａｍｍｉｎｇ：Ｓｅｒｖｉｃｅ Ｄａｔａ Ｏｂ— ｊｃｔｅｓ—Ａ Ｊｏｉｎｔ Ｗｈｉｔｅ ｐａｐｅｒ ｗｉｔｈ ＩＢＭ ａｎｄ ＢＥＡ［ＥＢ／ＯＬ】．ｈｔｔｐ：／／ ＂ｗ￣／ｗ．ｂｅａ．ｃｏｍ／ｄｅｖ２ｄｅｖ／ａｓｓｅｔｓ／ｓｄｏ／Ｎｅｘｔ—Ｇｅｎ—Ｄａｔａ—Ｐｒｏｇｒａｍ— ｕｉｒｎｇ—Ｗｈｉｔｅｐａｐｅｒ．ｐｄｆ＇２００３—１１． （上接第２Ｏ页） 要操作管理接口，它本身也随着数据库系统新功能的扩展而 扩展。ＳＱＬ语法分析不仅是ＤＢＭＳ关心的重要部分，也在数 据库上层项目开发中常常遇到。本文围绕分析查询语句结构 的全过程，展示了借助于ｆｌｅｘ、ｂｉｓｏｎ工具进行ＳＱＬ语法分析 的一个实践策略。ＳＱＬ语法分析，构建无冲突语法范式和语 ［２】ＬＥＳＫ ＭＥ，ＳＣＨＭＩＤＴ Ｅ．Ｌｅｘ—Ａ Ｌｅｘｉｃａｌ Ａｎａｌｙｚｅｒ Ｇｅｎｅｒａｔｏｒ［Ｒ】． Ｃｏｍｐｕｔｉｎｇ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｂｅｌｌ ｌａｂｏｒａｔｏｒｉｅｓ．Ｍｕｒｒａｙ Ｈｉｌ１． ＮＪ，１９７５：３９． ［３】 ＪＯＨＮＳＯＮ ＳＣ．Ｙａｃｃ：Ｙｅｔ Ａｎｏｔｈｅｒ Ｃｏｍｐｉｌｅｒ Ｃｏｍｐｉｌｅｒ［Ｒ】．Ｃｏｍｐｕ— ｉｒｎｇ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．３２，１９７５，Ｂｅｌｌ Ｌａｂｏｒａｔｏｒｉｅｓ， 法分析是它的核心，实践过程要遵循它们的顺序，以免浪费工 作，有些情况语法范式可以在不损伤无冲突条件下为方便分 析树结构存储作些改动。可重人分析器是模块化设计和上层 并行程序的需要，ｌｆｅｘ和ｂｉｓｏｎ为此提供了很有效的实现接 口。最后，还可以根据需要，增加多种ＳＱＬ语言体系的兼容 性，设计更加灵活通用的语法树结构等，完成诸如此类的ＳＱＬ 语法分析扩展工作。 参考文献： ［１】ＬＯＲＥＮＴＺ Ｄ，ＧＲＥＧＯＩＲＥ Ｊ．Ｏｒａｃｌｅ Ｄａｔａｂａｓｅ ＳＱＬ Ｒｅｆｅｒｅｎｃｅ １０ｇ Ｒｅｌｅａｓｅ １（１０．１）［ｚ】．Ｏｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ．１９９６，２００３． Ｍｕｒｒａｙ Ｈｉｌ，ＮＪ ０７９７４． ［４】 ＢＲＯＷＮ Ｄ，ＬＥＶＩＮＥ Ｊ＇ＭＡＳＯＮ Ｔ．１ｅｘ＆ｙａｃｃ，Ｏ’Ｒｅｉｌｌｙ Ｍｅｄｉａ ［Ｚ】．Ｉｎｃ．；２ ｅｄｉｔｉｏｎ，Ｏｃｔｏｂｅｒ１，１９９２． ［５】 陈意云．编译原理和技术［Ｍ】．第２版．合肥：中国科学技术大 学出版社，１９９７． ［６】ＬＯＵＤＥＮ ＫＣ．Ｃｏｍｐ ｉｌｅｒ ｃｏｎｓｔｒｕｃｔｉｏｎ Ｐ ｆｉｎｃｉｐ ｌｅｓ ａｎｄ ｐｒａｃｔｉｃｅ ［ＭＪ】．北京：机械工业出版社，１９９９． ［７】 李海龙，张维明，肖卫东，等．通用标准ＳＱＬ语法分析模型［Ｊ】． 小型微型计算机系统，２００３，２４（１ １）：１９６９—１９７２． ［８】 朱望归．数据库语言ＳＱＬ的实现［Ｊ】．计算机工程与应用，１９９４， １１．