维普资讯 http://www.cqvip.com 基于条件随机场的中文分词方法 Ａ Ｃｈｉｎｅｓｅ Ｗｏｒｄ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｐｐｒｏａｃｈ Ｕｓｉｎｇ Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ 迟呈英 于长远 战学刚 （辽宁科技大学鞍山 １１４０５１） 摘要提出了一种基于条件随机场（ＣｏｎｄｉｔｉｏＩｌａｌ Ｒａｎｄｏｍ Ｆｉｅ！ｄｓ，简称ＣＲＦ）的中文分词方法。ＣＲＦ模型剃用词的上 下文信息，对歧义词和未登陆词进行分词统计处理取得了理想的效果。以ＳＩＧＨＡＮ２００６ Ｃｈｉｎｅｓｅ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｂａｋｅｏｆｆ提供的数据作为实验数据。实验数据表明，基于ＣＲＹ的中文分词方法取得了很好的效果，在Ｕｐｐｅｎ，Ｍｓｒａ两 种语料的封闭潮试中准确率分别达到了９５，８％和９５．９％。 关键词 条件随机场 中文分词 歧义词 未登陆词 中文分词是自然语畜理解中很重要的内容之一，也是当 在链式ＣＲＦ中，无向图中的所有标记结点形成一个链。在一 前智能信息处理技术的基础。分词的效果将影响到后续分析 阶链式条件随机场中，全连通子图集合就是所有的含有当前 的难易程度，如句法分析、语义分析等。现阶段人们提出了许 标记Ｙ 、前一个标记ＹＨ和包含观测序列 的任何子集的最 多中文分词的算法，主要可以分成以下三类：ａ．基于字符串匹 大连通子图。例如，在图１中，结点集合｛Ｙ２，Ｙ３，Ｘ｝就为一个 配的分词方法：待分析的中文字符串与一定规模的词典中的 最大连通子图。其形式如图１所示： 词条进行匹配，若在词典中找到某个字符串，则匹配成功（识 一 别出一个词）。按照扫描方向的不同，串匹配分词方法又可分 为正向和逆向匹配；按照优先匹配的原则，可分为最大和最小 匹配。ｂ．基于理解的分词方法：这种分词方法是通过让计算 机模拟人对句子的理解，达到识别词的效果，也称人工智能 法。Ｃ．基于统计的分词方法：这种方法只需对语料中的字组 田１镊式采件雕机场 频率进行统计，而不需要切分词典，因而又叫作元词典分词法 在序列标注任务中，随机变量Ｘ＝｛Ｘ ，…，Ｘ ｝表示可 或统计取词方法，其主要包括基于引马尔可夫模型、基于最大 观测序列；随机变量Ｙ＝｛ｙｌ，ｙ２，…， ｝表示观测序列对 熵模型、基于条件随机场模型的方法等…。 应的标记序列，随机变量ｙ的链式条件概率分布为： 条件随机场模型是新近提出的一个基于统计的序列标记 １ ｅｘｐ（ （Ｙｉ－１，Ｙｉ，ｘ）＋ （ ）） 和分割的方法。ＣＲＦ是一个在给定输入节点条件下计算输 出节点的条件概率的无向图模型。它没有隐马尔可夫模型 （１） （Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅ１）（Ｌ．Ｒ．Ｒａｂｉｎｅｒ．１９８９）那样严格的独 是只依赖于观测序列的归一化函数（ｎｏｒｍａｌｉｚｉｎｇ 立假设，同时克服了最大熵马尔可夫模型（Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ ｆａｃｔｏｒ） Ｍａｒｋｏｖ ＭｏｄｅＩ，ＭＥＭＭ）（Ａｎｄｒｅｗ ＭｃＣａｌｌｕｍ，２０００）和其他非 （ ）＝ｅｘｐ（∑∑ （ｃ，Ｙｉ，ｘ）） （２） 生成的有向图模型（ｎｏｎ—ｇｅｎｅｒａｔｉｖｅ ｄｉｒｅｃｔｅｄ ｇｒａｐｈｉｃａｌ ｍｏｄｅｌｓ） 所固有的“标记偏置”［ 】（１ａｂｅｌ—ｂｉａｓ）（Ｊｏｈｎ Ｌａｆｆｅｒｔｙ，２００１）的 其中，ｅｘｐ（∑ （ —ｌ，Ｙ ， ））是针对边的非负因子。 缺点。 ＾（ＹＨ，Ｙ｛， ）是针对边、捕获标记转移特征的状态特征函 １条件随机场模型理论 数。ｅｘｐ（∑ ｇ－Ｉ（ ｆ．１，Ｙｉ，ｚ））是针对每个结点的非负因子。 １．１条件随机场模型的定义 ＣＲＦ是无向图模型，其最 厂 （Ｙ ， ）是针对结点、捕获当前标记特征函数。 和 都是 简单的形式是链式ＣＲＦ，也就是模型中的各个节点构成了链 待学习的模型参数，表示特征函数的权重。 式分布，根据中文分词的特点，本文采取的就是链式ＣＲＦ。 １．２ 条件随机场的训练 在序列标注任务中，给定训练 作者简介：迟呈英．女，１９６３年生，教授，硕士，研究方向为数据库技术、自然语言理解；予长远，男．１９８１年生，硕士研究生，研究为自然语言理解； 战学剐，男．１９６２年生，教授，博士，研究方向为自然语言理解、信息检索、网络安全。 圃 维普资讯 http://www.cqvip.com Ｄ＝（Ｘ，Ｙ），观测数据Ｘ＝｝ｘ１，ｘ２，…，ｘＮ｝，标记数据Ｙ＝ 在我们实验中，如果字符是阿拉伯数字，那么丁（．）为１； ｝ｙ１，ｙ２，…，ｙＮ｝。 如果字符是‘年’、‘月’或‘日’，那么Ｔ（．）为２；如果字符是 在中文分词系统中，条件随机场的训练就是通过训练语 ‘分’或‘秒’那么丁（．）为３；如果字符是文字数字形式（如 料来学习最恰当的模型参数，来使得某种规则标准最大。在这 ‘’一、‘二’等），那么Ｔ（．）为４；如果字符是英文字符，那么 里，基于最大似然原则（ｍａｘｉｍｕｍ—ｌｉｋｅｌｉｈｏｏｄ ｐｒｉｎｃｉｐｌｅ）对条 丁（．）为５；如果字符是其他情况，丁（．）为６。特征模板（ａ）和 件随机场进行训练，使得条件概率的ｌｏｇ似然值（１ｏｇ— （ｃ）都是单个序列元素的特征；特征模板（ｂ）和（ｄ）都是元素 ｌｉｋｅｌｉｈｏｏｄ）［３ Ｊ最大： 序列的组合特征。同样，实验中也针对多字词的情况实验过 Ｌ（ ）＝ ｌｏｇｐ＾（ ｌ Ｘ） （３） Ｃ—ｌ ＣｏＣｌ等长词特征。但实验效果并不理想。 （ ．，）∈Ｄ １．３ 条件随机场的推理 条件随机场的推理是指在给定 试验结果和分析 一个观测序列Ｘ＝｛ｘｌ，ｘ２，…，ｘＮ｝的条件下 找到一个对 ３应于最可能的标记序列Ｙ＝｝ｙＩ，ｙ２，…，ｙＮ｝。 ３．１ ＣＲＦ分词实验结果本次实验使用的所有数据都来 从式（１）可以看到，在条件随机场的分布函数，归一化因 自于ＳＩＧＨＡＮ２００６ Ｃｈｉｎｅｓｅ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｂａｋｅｏｆｆ［ 】提 子完全于标记序列。所以，给定模型参数条件下，求得最 供的数据，进行的是分词封闭性测试。分词测试结果如下： 可能的标记序列可以表示为： 衰１ 条件随机蠕在ＳＩＧＨＡＮ２００６中文分词语料上的分词结暴 Ｙ ＝ａｒｇ ｒｎａｘｙＰ（ｙ ｌ ｘ）＝ａｒｇｍａｘｙ ｅｘｐ（ （ Ｈ， ｉ．Ｉ Ｙｆ，ｚ）＋ ＾（ ，ｚ）） （４） ．Ｉ 在当前序列位置为ｉ、当前标记为Ｙ的时候，Ｖｉｔｅｒｂｉ算法 可以求得至当前位置的最优标记序列的未归一化概率值。其 切分准确率（Ｐｒｅｃｉｓｉ。ｎ）＝焉 递归形式为： 召回率（Ｒｅｃａｌ１）＝ 雨 ＿Ｅ犟喜 （ ， ）＝ｍａｘｙ ｛ （ 一１， ）＊Ｐ （Ⅲ・， ｝ （５） Ｆ￣（Ｆｓｅｏｒｅ）＝ ｌ￣Ｖｉｔｅｒｂｉ算法属于动态规划算法（ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ）。 ｒｅ ｃ１ＳｌＯ ｎ十 ＫｅｃａｌＩ 动态规划是最优化原理中的一种重要方法。在解决一个大的 ３．２ ＣＲＦ对歧义词和未登陆词的处理实验 中文分词任 问题中包含有很多重叠的子问题情况的最优解是有效的，它 务的难点在于分词边界的歧义处理和未登陆词的识别问题。 将问题重新组合成子问题。为了避免多次解决这些子问题，计 我们从分词歧义情况的处理和未登陆词的识别两个方面，来 算过程中会将中间结果保存以备后用，直至整个大的问题被 分析条件随机场的分词处理方法、效果及其在分词任务中仍 解决。 待解决的方面。 ３．２．１歧义词的处理实验。在这里，我们首先考察、分 ２ 自动分词模型 析条件随机场解决中文分词词边界的消歧能力。因为歧义片 在本文中，根据中文分词的特点及条件随机场所使用的 断很难确定，所以我们目前只是简单地通过正向匹配分词和 特征［４－５】，即ＣＲＦ能够同时使用中心词的前ｎ个词和后ｍ个 逆向匹配分词法对测试语料进行分词，然后通过双向比对来 词作为该词的上下文信息。这样，中心词的词性不仅与它前面 确定歧义片断。通过此法，在Ｕｐｅｎｎ语料中得到共有２０４６ 的词有关，还与它后面的词有关，更加符合实际情况。在本文 处歧义片断。得到这些歧义片断含有只有通过简单的字组合 中，使用了中心词本身、中心词的前两个词和中心词后两个 匹配可能的词典词。 词，以及它们之间的结构特征，我们所采用的特征模板如下： 比如，歧义片断“外交”等。其中的词典词有“外交 （ａ）Ｃ （ｎ＝一２，一１，０，１，２） 部”、“外交”和“”。最大匹配只是机械地匹配字数最长的 （ｂ）Ｃ Ｃ ＋ｌ（７１＝一２，一１，０，１，２） 词典词，根本不会考虑上下文的信息。所以，该歧义片断会被 （ｃ）Ｐ （Ｃ０） 错误地切分为“外交”。而使用条件随机场进行分词，条 （ｄ）Ｔ（Ｃ一２）Ｔ（Ｃ—１）Ｔ（Ｃ０）Ｔ（Ｃ１）Ｔ（Ｃ２） 件随机场模型可以通过当前字的上下文的位置信息来进行判 其中。Ｃ代表着中文字符； 断，比如，在“外交”的片断中，虽然“外交部”是词典词，但 Ｃ。代表着当前字符；Ｙ／是相对于当前字符所处的位置。 条件随机场模型会从该片断序列整体考虑出发，进行统计判 比如，在序列“辽宁科技大学的学生”中，假如当前字符是 断。在训练语料中，“外交部”一词后面从来没有出现过“长” ‘的’，那么Ｃｎ表示‘的’；Ｃ—ｌ表示‘学’；Ｃ：表示‘生’。Ｐ“（Ｃ０） 字。而且“外交”这个切词片断在训练语料中出现了２２ 是针对分词语料在中存在的标点符号（预先搜集，比如‘。’、 次。这些统计信息都将作为条件随机场的重要特征，使得歧 ‘？’等）而设置的特征；丁（Ｃ ）是针对分词语料中实体名词而 义片断“外交”能够被正确切分。 设置的特征。这主要针对诸如日期、时间等和数字符号相关的 所以我们说，统计语言模型——条件随机场会根据上文 词类。 的有用信息作为决策权重特征，能够准确地切分出大部分歧 固 维普资讯 http://www.cqvip.com
义片断。对于Ｕｐｅｎｎ语料中的２０４６处切分歧义片断，被条 件随机场正确切分的有１８３０个。同样，我们考虑了条件随机 场在Ｍｓｒａ语料中的分词歧义情况处理。通过正向匹配分词 和逆向匹配方法，得到共有１２５３处歧义片断。条件随机场可 以正确地切分出其中的１０２５个。 衰２ ＣＲＦ对歧义片断的处理结果 的短词信息，组成未登陆词的字符的位置信息比较稳定，位置 分布可以准确地通过窗ＩＳＩ特征Ｃｎ和ＣｎＣｎ＋１被统计建模。 所以，字数少的未登陆词可以很好地被切分出来。但对于多 字符（字符长度大于等于４）其它的未登陆词，条件随机场对 其的识别还有很大困难。试验结果见表３： 寰３ ＣＲＦ对未登陆词和多字符未登陆词切分比较结果 ＣＲＦ未登陆词处理结果 ＣＲＦ对多字符未登陆词处理结果 所以，通过其上分词结果的数据分析来看，在分词任务 中，条件随机场能够很好地解决分词中的边界歧义问题。歧 表３中的实验数据通过对未登陆词和多字符未登陆词的 切分结果进行了比较，充分说明了实验数据，也充分说明了 ＣＲＦ未登陆词切分取得了令人比较满意的结果，但ＣＲＦ对多 字符未登陆词的切分效果还不够理想。 义片断一般情况下比较短，上文指示信息明确。实验中条件 随机场模型使用的窗口字词语言特征可以很好地帮助条件随 机场正确处理歧义片断。 ３．２．２未登陆词的处理实验。在实验中，我们考察、分 析条件随机场对未登陆词的识别能力。由于语言模型的结构 特点以及使用的针对性特征都会对未登陆词的识别有一定影 响。所以，在这里我们对未登陆词进行比较清晰的分类 】。 将未登陆词细分为：命名实体词、ｆａｃｔｏｉｄ词（指年月日等包含 大量的阿拉伯数字或文字数字的词）、词法衍生词和其它未登 陆词等。 ４结论 根据以上条件随机场在Ｕｐｅｎｎ语料和Ｍｓｒａ语料上的分 词实验及其相关分析，我们可以看到条件随机场在分词方面 的性能非常优秀。借助于恰当、准确的语言特征，条件随机场 可以识别出大部分的词典词和一定量的未登陆词。而我们同 样做了详细的分词错误分析，除了语料本身所导致的错误切 ａ．在未登陆词识别中，命名实体的识别较为准确。比如 片断“菲律宾总统埃斯特拉达”中的人名“埃斯特拉达”，“南斯 拉夫首都贝尔格莱德”中的地名“贝尔格莱德”等。通过这些 命名实体片断，我们可以看到，大多数的命名实体上下文中都 分情况外。在连续的词边界歧义，长字结构的未登陆词（包括 命名实体词）和词法衍生词识别方面，条件随机场性能都很一 般。还需要针对这些错误的情况，进行更有效的特征选择等。 参考文献 有强烈、明显的指示词。比如“总统”、“公司”或“市”、“州”等。 这些上下文指示词，可以通过条件随机场的窗口字词语言特 征Ｃｎ和ＣｎＣｎ＋１很好地进行捕获统计。 １周文帅，冯速．汉语分词技术研究现状与应用展望［Ｊ］．山西师范 大学学报（自然科学版），２００６（１） ２ Ｊｏｈｎ Ｌａｆｆｅｒｔｙ，Ａｎｄｒｅｗ ＭｃＣａｌｌｕｍ，Ｆｅｍａｎｄｏ Ｐｅｒｅｉｒａ．Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ：Ｐｒｏｂａｂｉｌｉｓｔｉｅ Ｍｏｄｅｌｓ ｆｏｒ Ｓｅｇｍｅｎｔｉｎｇ ａｎｄ Ｌａｂｅｌｉｎｇ Ｓｅ— ｂ．条件随机场对绝大部分的ｆａｃｔｏｉｄ词都能够做到切分 准确。比如，“１５．６万”、“３Ｏ％”等。主要是因为，条件随机场 模型使用了当前字符是否是数字或数字单位的强烈语言特征 Ｔ（Ｃｎ）。由于组成ｆａｃｔｏｉｄ词的数字及其相关符号的有限性， ｑｕｅｎｃｅ Ｄａｔａ［Ｍ］，２００１：２８２—２８９ ３ Ｓｈａ Ｆ，Ｐｅｒｅｉｒａ Ｆ．Ｓｈａｌｌｏｗ Ｐａｒｓｉｎｇ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ 这些符号的位置分布趋于稳定，位置信息通过ｆａｃｔｏｉｄ特征可 以被条件随机场准确地统计估计到。所以大部分的非特殊 【Ｃ］．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ ａｎｄ Ｎｏｒｔｈ Ａｍｅｒｉｃａｎ Ｃｈａｐｔｅｒ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎ— ｆａｃｔｏｉｄ词都可以准确地切分出来。试验中出现的ｆａｃｔｏｉｄ词有 １３２１个，正确分词个数为１１６９个。 ｇｕｉｓｔｉｃｓ（ＨＬＴ—ＮＡＡＣ１），２００３ ４ Ｈａｉ Ｚｈａｏ，Ｃｈａｎｇ—Ｎｉｎｇ Ｈｕａｎｇ，Ｍｕ Ｌｉ．Ａｎ Ｉｍｐｒｏｖｅｄ Ｃｈｉｎｅｓｅ Ｗｏｒｄ Ｃ．在词法衍生词方面，比如“嘻嘻哈哈”、“完完整整”、“走 来走去”等。条件随机场几乎都不能够将其正确地切分出来。 因为在训练语料中，两字词的情况居于大多数，所以词法衍生 词的切分结果为“嘻嘻哈哈”或“完完整整”等。其中“嘻嘻” 和“哈哈”都不是词典词，只有“完完”是词典词。所以词法衍 生词更多地是被错误切分为内部词典词组成的片断或两字词 片断。 ｅｇｍｅｎｔａｔｉＳｏｎ Ｓｙｓｔｅｍ ｗｉｔｈ ｏｎｄｉＣｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｈ ＳＩＧＨＡＮ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｈｉｎｅｓｅ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＳＩＧＨＡＮ一５），２００６：１６２—１６５ ５ Ｊｉｎ Ｋｉａｔ．Ｈｗｅｅ Ｔｏｕ Ｎｇ．Ｗｅｎｙｕａｎ Ｇｕｏ．Ａ Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ Ａｐ— ｐｒｏａｃｈ ｔｏ Ｃｈｉｎｅｓｅ Ｗｏｒｄ ｅｇｍｅｎｔａｔＳｉｏｎ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｈ Ｓ１ＧＨＡＮ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｈｉｎｅｓｅ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ．２００５：１６１— １６４ ６ ＳＩＧＨＡＮ２００６［ＥＢ］．ｈｔｔｐ：／／ｓｉｇｈａｎ．ｅｓ．ｕｃｈｉｃａｇｏ．ｅｄｕ／ｂａｋｅｏｆｆ２００６／ ７ Ｊｉａｎｆｅｎｇ Ｇａｏ，Ｍｕ Ｌｉ，Ａｎｄｉ Ｗｕ Ｃｈａｎｇ—Ｎｉｎｇ Ｈｕａｎｇ．Ｃｈｉｎｅｓｅ Ｗｏｒｄ ｄ．最后是关于其它未登陆词的识别切分。首先，字符数 少的未登陆词可以被条件随机场很好地被识别出来。比如 “困受”、“审阅”、“排水沟”等。虽然是未登陆词，在训练语料 中，短词（字符长度在２～３个）占绝大多数。通过这很大比例 Ｓｅｇｍｅｎｔａｔｉｏｎ：Ａ Ｐｒｇａｍａｔｉｃ Ａｐｐｒｏａｃｈ［Ｊ］．２００４．中文计算语言学期 刊（英文版），２００６，１１（４）：３９３—４１６ Ｉ责编：京梅） 团
