第２８卷第５期 计算机技术与发展 ＣＯＭＰＵＴＥＲ Ｉ ＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ ２０１８年５月 Ｖｏ１．２８ Ｎｏ．５ Ｍａｖ ２０ｌ８ ＧＰＦＳ文件系统的安装配置与维护 张新诺，王彬 （国家气象信息中心，北京１０００８１） 摘要：ＧＰＦｓ是一款成熟的并行文件系统，该系统具有稳定性好、扩展性高、数据读写速度快等特点，广泛应用于ＡＩＸ和 Ｌｉｎｕｘ操作系统的服务器集群中。虽然ＧＰＦＳ文件系统稳定性高，但ＧＰＦＳ文件系统是依托在操作系统和存储介质中的软 件，当操作系统或存储介质发生故障时，也会造成ＧＰＦＳ文件系统无法正常使用。在处理ＧＰＦＳ文件系统故障时，需要使用 相关命令并配合不同的参数对文件系统的相关内容进行配置和创建。文中的主要目的是为了说明ＧＰＦＳ文件系统相关命 令及命令中各项参数的作用和使用方式，能够使维护人员更好地了解和维护ＧＰＦＳ文件系统。同时，也对文件系统在 Ｌｉｎｕｘ平台中出现问题时如何有效使用ＧＰＦＳ命令解决故障，如何有效保护数据安全和数据完整性，及如何恢复文件系统 的正常运行等方面进行探讨。 关键词：并行文件系统；ＧＰＦＳ；ＮＳＤ；重建文件系统 中图分类号：ＴＰ３０２．１ 文献标识码：Ａ 文章编号：１６７３－６２９Ｘ（２０１８）０５－０１７４－０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３—６２９Ｘ．２０１８．０５．０３９ Ｉｎｓｔａｌｌａｔｉｏｎ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ａｎｄ Ｍａｉｎｔｅｎａｎｃｅ ｏｆ ＧＰＦＳ ＺＨＡＮＧ Ｘｉｎ－ｎｕｏ，ＷＡＮＧ Ｂｉｎ （Ｎａｉｔｏｎａｌ Ｍｅｔｅｏｒｏｌｏｇｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｅｎｔｅｒ，Ｂｅｉｊｉｎｇ １０００８１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＧＰＦＳ（ｇｅｎｅｒａｌ ｐａｒａｌｌｅｌ ｆｉｌｅ ｓｙｓｔｅｍ）ｉｓ ａ ｍａｔｕｒｅ ｐａｒａｌｌｅｌ ｆｉｌｅ ｓｙｓｔｅｍ ｗｉｔｈ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆｈｉｇｈ ｓｔａｂｉｌｉｔｙ ａｎｄ ｅｘｐａｎｓｉｂｉｌｉｔｙ， ｆａｓｔ ｄａｔａ ｅａｄｉｒｎｇ ａｎｄ ｗｒｉｔｉｎｇ ａｎｄ ｍａｎｙ ｍｏｒｅ，ｗｈｉｃｈ ｉｓ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｔｈｅ ｓｅｒｖｅｒ ｃｌｕｓｔｅｒ ｏｆ ＡＩＸ ａｎｄ Ｌｉｎｕｘ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ．Ａｌｈｏｕｇｈ ｔｔｈｅ ＧＰＦＳ ｈａｓ ｈｉｇｈ ｓｔａｂｉｌｉｔｙ，ｉｔ ｉｓ ａ ｓｏｆｔｗａｒｅ ｗｈｉｃｈ ｉｓ ｒｕｎ ｉｎ ｈｅ ｔｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ ａｎｄ ｓｔｏｒａｇｅ ｍｅｄｉａ，ａｎｄ ｗｈｅｎ ｔｈｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ ｏｒ ｓｔｏｒａｇｅ ｍｅｄｉａ ｆａｉｌｓ，ｉｔ ｉｓ ｎｏｔ ｕｓｅｄ ｐｒｏｐｅｒｌｙ．Ｄｅａｌｉｎｇ ｗｉｈ ｔｔｈｅ ｆａｉｌｕｒｅｓ ｏｆ ＧＰＦＳ，ｗｅ ｎｅｅｄ ｔＯ ｃｏｎｆｉｇｕｒｅ ｎｄ ａｃｒｅａｔｅ ｒｅｌａｔｄ ｃｏｎｔｅｅｎｔ ｏｆｔｈｅ ｆｉｌｅ ｓｙｓｔｅｍ ｗｉｈｔｔｈｅ ｒｅｌｅｖａｎｔ ｃｏｍｍａｎｄｓａｎｄ ｄｉｆｆｅｒｅｎｔ ｐａｒａｍｅｔｅｒｓ．Ｔｈｅｍａｉｎ ｐｕｒｐｏｓｅｉｎｔｈｉｓ ｐａｐｅｒｉｓｔｏ ｅｘＯａｉｎｔｈｅｆｕｎｃｔｉｏｎ ａｎｄ ｕｓａｇｅｏｆｔｈｅ ｐａｒａｍｅ－ ｔｅｒｓｉｎｔｈｅＧＰＦＳ，ｔｏｍａｋｅｔｈｅｍａｉｎｔｅｎａｎｃｅ ｓｔａｆｆｕｎｄｅｒｓｔａｎｄａｎｄ ＵｓｅｔｈｅＧＰＦＳ ｂｅｔｔｅｒ．Ａｔｔｈｅ ｓａｍｅｔｉｍｅ，ｗｅａｌｓｏ ｄｉｓｃｕｓｓ ｈｏｗｔｏ ＵｓｅＧＰＦＳ ｃｏｍｍａｎｄｔｏ ｓｏｌｖｅｔｈｅ ｐｒｏｂｌｅｍ，ｈｏｗｔｏ ｅｆｆｅｃｔｉｖｅｌｙ ｐｒｏｔｅｃｔ ｄａｔａ ｓｅｃｕｒｉｙａｔｎｄ ｄａｔａｉｎｔｅｇｒｉｔｙ，ａｎｄ ｈｏｗｔＯｒｅＳｔＯｒｅｔｈｅ ｎｏｒｍａｌ ｏｐｅｒａｔｉｏｎ ｏｆｆｉｌｅ ｓｙｓｔｅｍ，ｗｈｅｎｔｈｅｆｉｅｌ ｓｙｓｔｅｍｉｓｉｎｔｈｅＬｉｎｕｘ＃ａｆｆｏｒｍ． Ｋｅｙ ｗｏｒｄｓ：ｐａｒａｌｌｌ ｆｅｉｌｅ ｓｙｓｔｅｍ；ＧＰＦＳ；ＮＳＤ；ｒｅｂｕｉｌｄ ｆｉｌｅ ｓｙｓｔｅｍ Ｏ 引 言 随着信息化进程的推动，各行各业所需的相关信 息量越来越多，需要更高效更安全的数据存储环境。 在并行存储迅速发展的情况下，由于性能优势而备受 的数据存储空间，并允许集群中任何一个节点同时访 问相同的数据。简单来说，ＧＰＦＳ是一个高性能、可共 享磁盘的并行文件系统 。 国内各企事业单位信赖的ＧＰＦＳ系统得到了广泛 应用。 １ ＧＰＦＳ文件系统的特性 ＧＰＦＳ文件系统为服务器集群提供高性能的数据 访问，该文件系统允许数据被集群中多个节点同时、高 ＩＢＭ公司的ＧＰＦＳ文件系统全称为ｇｅｎｅｒＭ ｐａｒａｌ— ｌｅｌ ｆｉｌｅ ｓｙｓｔｅｍ（通用并行文件系统），是ＩＢＭ公司开发 效的访问。大多数现有的文件系统是专为单一服务器 环境提供服务的，添加更多文件服务器并不会提高文 件系统的性能。ＧＰＦＳ文件系统将的数据分块， 网络出版时间：２０１８—０２—０８ 彬，正研级高级工程师，博士，研究方向为高性能计算应用及技术开 并生产的一种并行文件系统，普遍应用于服务器集群 系统中…。ＧＰＦＳ文件系统为集群中的节点提供统一 收稿日期：２０１７—０５—３１ 修回日期：２０１７—０９—１３ 基金项目：科技部公益性行业专项（气象）科研专项（ＧＹＨＹ２０１１０６０２２，ＧＹＨＹ２０１３０６０６２） 作者简介：张新诺（１９８４一），男，工程师，硕士，研究方向为并行计算；王发、气象信息化设计等。 网络出版地址：ｈｔｔｐ：／／ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／６１．１４５０．ｔｐ．２０１８０２０７．１９０６．０５８．ｈｔｍｌ 第５期 张新诺等：ＧＰＦＳ文件系统的安装配置与维护 一·ｌ７５· 并存放在多块硬盘中，以并行的方式进行数据的输入 和输出，能够为服务器提供高性能的数据服务 。 ＧＰＦＳ提供的其他功能包括高可用性、支持异构集群、 灾难恢复、安全性、数据管理接口（ＤＭＡＰＩ）、分级存储 管理（ＨＳＭ）和信息生命周期管理（ＩＬＭ） 。 Ｐ ｈｓ２１—１．ｓｉｔｅ指定主ＮＳＤ：服务器为ｈｓ２１—１．ｓｉｔｅ Ｓ ｘ３６５０—０２．ｓｉｔｅ指定备ＮＳＤ：服务器为ｘ３６５０—０２．ｓｉｔｅ —命令执行完成后，执行ｍｍｌｓｃｌｕｓｔｅｒ命令检查集群 建立情况，结果见图１。 ｔｏＯ＋ｔｌｌ￣ｌ２卜ｌ Ｌ 。ｏｔ １ ｔ疆 萄躏ＩＳ瓠 删ｃｌｕＳｔｍ：ｈ《ｑ ＃＝＝ ＝＝＝： ；；＝＝：ｉ＝ ｉ％ ＝ ２ ＧＰＦＳ文件系统的配置 ＧＰＦＳ文件系统的安装较为简便，对应不同的操 作系统安装其相应的安装包即可。安装完成后，不同 ＝＝ 艄ｃｌ￣ｔｅｚⅢ：ｈａ，２１．ｍｔａｔｓ 卿黠 破啦’ ｉｄ： 硼Ｂ２５住船粥甜嘲ｏ６Ｏ 钎ｓ ｍ ｄａｎｉｎ：ｈｉ２１．ｍ‘ｐｆ＃ 轴－ｏｔ·￣ａｅｌｌ ｅＩ ●∞ｄ：Ｌ￣／ｈｉａ／ｕｇ 的操作系统其对应的配置方式略有不同。文中以 ＳＵＳＥ １０为例，简述文件系统的配置方式。 ２．１配置节点文件 配置节点文件主要是确定该ＧＰＦＳ文件系统可用 于集群的范围，并确定文件系统的管理节点和仲裁节 点的位置，配置如下： ｒｏｏｔ＠ｈｓ２１一Ｉ［／ｒｏｏｔ］ ＃ｖｉｍ／ｕｓｒ／Ｉｐｐ／ｍｍｆｓ／ｎｏｄｅｆ ｈｓ２１一Ｉ．ｓｉｔｅ：ｑｕｏｒｕｍ ｈｓ２ｌ一２．ｓｉｔｅ ｈｓ２１－３．ｓｉｔｅ ｘ３６５０—０１．ｓｉｔｅ：ｑｕｏｒｕｍ—ｍａｎａｇｅｒ ｘ３６５０—０２．ｓｉｔｅ：ｑｕｏｒｕｍ—ｍａｎａｇｅｒ －ｌＩ．．ｏ ·毒ｉｌ·￣ｏＤｙ￣Ｏｔｍ￣＂尥蕊 ，ｌ啦 （ｇＣＦＳ ｃｌｔｍｔｅ￣ｃ￣ｄｉｇ……。…ａｔｉｍ目∞ ｗ０： 一 嘲舸 龋懈 鼍｜溶ｌ咄鲁ｉ 。 ｜ 蛹 富，＿荫械ｔ 髓蟹晕鐾．略 儿Ｉ“ － ： ｜ 柚Ｉｉ曩姊抽翻蚺１ｗ２１．－Ｉ．如ｔ．¨ 巍鲥－ 蔓羞稳睡舶ｄ．蛳１ ｈ １．Ｌ畦 叠“＆．Ｉ霉Ｉｏ． 羲事伽·ｉ曲Ｉ重ｉ峨 粕哪 · ＃、宰轴瞬 ｉｔｉ，ｔ＇￣ 囊１０．壤ｊｉｉ橐 啪 越≮－ · 簪Ｉ 镀’ § 曩蕊垂 ａ．＝ Ｉ 蹴 汹 。 毒ｔ 甍镛 譬 ｔ · ＿ｔ蕾蟹咖；ｌ翊ｌｔ． 。ｌ０ ｌ氟蛾擎 离９ ｏｌ。割 ｔ· 一如咩嘲 柚｜ｉＩ群· 譬鼙 ｔ酾脚＿啕 臻蜘 搬毒‘辫 哦 ｔ． 。嘲。蓦． ’—Ｉ‘．蕾· 图ｌ ＧＰＦＳ文件系统建立情况 ２．３配置并创建ＧＰＦＳ共享磁盘 ２．３．１ 建立ＮＳＤ（ｎｅｔｗｏｒｋ ｓｈａｒｅｄ ｄｉｓｋ）配置文件 该文件系统是创建在由３６块硬盘组成的存储介 质中，其中每３块硬盘组建ＲＡＩＤ ５磁盘阵列 。。。可 用ｆｄｉｓｋ—ｌ查看各硬盘信息，显示结果如下： ｒｏｏｔ＠ｈｓ２１一Ｉ［／ｒｏｏｔ］ ＃ｆｄｉｓｋ—ｌ 在ＧＰＦＳ文件系统中，至少需要一个仲裁节点 （ｑｕｏｒｕｍ），用于集群间的通信及数据完整性检查。由 于该集群中节点较多，故设置三个仲裁节点，当任何一 个仲裁节点出现问题时，集群节点仍能和其他的仲裁 节点保持通信，保证ＧＰＦＳ文件系统仍能正常运 行 ］。若多个仲裁节点发生故障，则集群节点无法 正常通信，此时ＧＰＦＳ文件系统将不可用。在ｈｓ命名 为刀片服务器，ｘ３６５０服务器为普通Ｘ８６机架服务器， Ｄｉｓｋ／ｄｅｖ／ｓｄａｌ：１９９８．９ ＧＢ，１９９８９８５ １５３５３６ ｂｙｔｅｓ ２５５ ｈｅａｄｓ，６３ ｓｅｃｔｏｒｓ／ｔｒａｃｋ，２４３０２９ ｃｙｌｉｎｄｅｒｓ Ｕｎｉｔｓ＝ｃｙｌｉｎｄｅｒｓ ｏｆ １６０６５｝５１２－－８２２５２８０ ｂｙｔｅｓ 根据硬盘信息建立ＮＳＤ配置文件，配置文件的文 件名可根据个人习惯命名，文中将其命名为ＤｅｓｃＦｉｌｅ， 用于ＮＳＤ的划分。ＮＳＤ配置文件内容格式为：磁盘 名：主节点名：备节点名：磁盘类型：失效组别：ＮＳＤ 名：存储池：（“：”为必须内容）。 为了保证文件系统的安全性，将两台ｘ３６５０机架服务 器定义为仲裁节点（ｑｕｏｒｕｍ）和管理节点（ｍａｎａｇｅｒ）， 即ｑｕｏｒｕｍ—ｍａｎａｇｅｒ类型节点。该种类型节点用于管 理集群的配置及文件系统监控等方面 。 ２．２建立ＧＰＦＳ集群 根据命令格式编辑ＤｅｓｃＦｉｌｅ文件： ｒｏｏｔ＠ｈｓ２１—１［／ｒｏｏｔ］ ＃ｖｉＤｅｓｃＦｉｌｅ 将ｈｓ２１一１．ｓｉｔｅ作为ＧＰＦＳ集群的主管理者，在该 节点上进行ＧＰＦＳ集群建立的操作。操作命令为： ｍｍｃｒｃｌｕｓｔｅｒ—Ｃ集群名一ｕ域名一Ｎ各节点名一ｐ 主ＮＳＤ服务器一Ｓ备ＮＳＤ服务器 具体命令如下： ｒｏｏｔ＠ｈｓ２１一Ｉ［／ｒｏｏｔ］ ＃ｍｍｃｒｃｌｕｓｅｒ—Ｃ ｈｓｔ２１．ｃｍａ．ＧＰＦＳ—Ｕ ｈｓ２１．ｃｍａ．ＧＰＦＳ—Ｎ／ ｕｓｒ／Ｉｐｐ／ｍｍｆ ｎｏｄｅｆ—ｐ ｈｓ２１一Ｉ．ｓｉｔｅ—Ｓ ｘ３６５０—０２．ｓｉｔｅ ／ｄｅｖ／ｓｄａｌ：ｈｓ２１—１．ｓｉｔｅ：ｘ３６５０—０２．ｓｉｔｅ：ｄａｔａＡｎｄＭｅｔａｄａｔａ： ４００１：ｆｔ０１ｎｓｄｌ：： 一／ｄｅｖ／ｓｄａｍ：ｈｓ２１一Ｉ．ｓｉｔｅ：ｘ３６５０—０２．ｓｉｔｅ：ｄａｔａＡｎｄＭｅｔａｄａｔａ： ｄ２：： ４００１：ｆｔ０１ｎｓ一……（省略其他ＮＳＤ硬盘） ／ｄｅｖ／ｓｄｂｕ：ｈｓ２１—１．ｓｉｔｅ：ｘ３６５０—０２．ｓｉｔｅ：ｄａｔａＡｎｄＭｅｔａｄａｔａ： ４００１：ｆｔＯｌｎｓｄ３６：： ＿该命令中各参数含义如下： 一Ｃ ｈｓ２１．ｏｍａ．ＧＰＦＳ：设定集群名称为ｈｓ２１．ｃｍａ．ＧＰＦＳ —该文件中各字段具体解释如下： Ｕ ｈｓ２１．ｃｍａ．ＧＰＦＳ：设定域名为ｈｓ２１．ｅｍａ．ＧＰＦＳ Ｎ／ｔｍｐ／ＧＰＦＳ／ｎｏｄｅｆ：指定各节点的文件名 （１）／ｄｅｖ／ｓｄｂｕ：代表硬盘名称，通过ｆｄｉｓｋ－１命令 获得，不同系统对应的硬盘名称略有不同。 —·１７６· 计算机技术与发展 第２８卷 （２）ｈｓ２１－１．ｓｉｔｅ：代表ＮＳＤ的主Ｉ／Ｏ节点，该节点 名称根据文件系统的实际情况配置。 （３）Ｘ３６５０－０２．ｓｉｔｅ：代表ＮＳＤ的备Ｉ／Ｏ节点。无 该节点可以不填。 （４）ｄａｔａＡｎｄＭｅｔａｄａｔａ：代表磁盘类型。ＮＳＤ磁盘 根据数据类型可以分为四种，分别为ｄａｔａＡｎｄＭｅｔａｄａ－ ｔａ、ｄａｔａＯｎｌｙ、ｍｅｍｄａｍＯｎｌｙ和ｄｅｓｃＯｎｌｙ。 ＧＰＦＳ需要保存两种类型的数据，即ｄａｔａ和ｍｅｔａ· ｄａｔａ。ｍｅｔａｄａｔａ（元数据）是用于ＧＰＦＳ自身索引数据 以及内部配置信息。这部分元数据只能保存在ｄａｔａ－ ＡｎｄＭｅｔａｄａｔａ或者ｍｅｔａｄａｔａＯｎｌｙ类型的磁盘中。ｄａｔａ— ＡｎｄＭｅｍｄａｍ说明该磁盘既可以存放元数据，也可以存 放其他数据。在一些对元数据访问要求非常高的系统 中，推荐使用Ｆｌａｓｈ单独存放ＧＰＦＳ的元数据。在这种 情况下，Ｈａｓｈ里的磁盘就设置为ｍｅｔａｄａｔａＯｎｌｙ，其他的 磁盘就设置为ｄａｔａＯｎｌｙ。ｄｅｓｃＯｎｌｙ类型的磁盘仅用于 存放文件系统副本，并且在发生故障时可根据第三失 效组恢复相关配置。一般来说，ｄａｔａＡｎｄＭｅｔａｄａｔａ为 ＮＳＤ磁盘的默认类型¨卜”］。 （５）４００１：代表失效组（ＦａｉｌｕｒｅＧｒｏｕｐ），可以不填， 默认为４００１。失效组主要用于定义一组来自于同一 存储系统或者有一定隔离效果（如同一存储中的同一 个ＲＡＩＤ）的磁盘¨ 。如果启用ＧＰＦＳ的Ｒｅｐｌｉｃａ（复 制）功能，ＧＰＦＳ会把同一个数据块的２个或者３个 ｒｅｐｌｉｃａ放置在不同的ＦａｉｌｕｒｅＧｒｏｕｐ里。这样的话，同 一个ＦａｉｌｕｒｅＧｒｏｕｐ里不管坏多少个磁盘，都不会影响 数据访问。ＦａｉｌｕｒｅＧｒｏｕｐ的数值本身没有具体含义，主 要为了区分不同失效组，数值相同的磁盘属于同一个 失效组。如果启用ＧＰＦＳ的ｒｅｐｌｉｃａ功能，每个数据块 会多占用一倍（ｒｅｐｌｉｃａ＝２）甚至两倍（ｒｅｐｌｉｃａ＝３）的磁 盘空间。一般而言，如果存储系统在硬件上已经保证 了冗余，比如ＲＡＩＤ以及多路径到ＳＡＮ交换机，磁盘 失效的概率已经很低，一般情况没必要启用Ｒｅｐｌｉｃａ 功能。 （６）ｆｔＯｌ＿ｎｓｄ￥：代表ＮＳＤ盘的名称，可根据需要 自行命名。 （７）命令最后一位代表存储池，如不填代表系统 默认的存储池。 ２．３．２创建ＧＰＦＳ所需的ＮＳＤ盘 编辑ＤｅｓｃＦｉｌｅ完成后，执行ｍｍｃｍｓｄ—Ｆ命令，即 可生成ＮＳＤ盘。命令格式为：ｍｍｃｍｓｄ—Ｆ ＮＳＤ配置 文件。 命令执行如下： ｒｏｏｔ＠ｈｓ２１—１［／ｒｏｏｔ］ ＃ｍｍｃｍｓｄ—Ｆ ＤｃｓｃＦｉｌｅ ｍｍｃｒｎｓｄ：Ｐｒｏｃｅｓｓｉｎｇ ｄｉｓｋ ｓｄａｌ ｒｍｎｃｒｎｓｄ：ｎＤｐａｇａｄｎｇ ｔｈｅ ｃｌｕｓｔｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｄａｔａ ｔｏ ａｌｌ ａｆｆｅｃｔｅｄ ｎｏｄｅｓ．Ｔｈｉｓ ｉｓ ａｎ ａｓｙｎｃｈｒｏｎｏｕｓ ｐｒｏｃｅｓｓ． 命令执行完成后，可执行命令ｍｍｌｓｎｓｄ—Ｌ检查 ＮＳＤ盘的创建情况。 ２．４创建文件系统 ＮＳＤ盘创建完成后，需执行ｍｍｓｔａｒｔｕｐ—ａ启动 ＧＰＦＳ。只有启动ＧＰＦＳ后，才能继续进行文件系统的 创建。创建文件系统的命令为： ｍｍｃｒｆｓ文件系统设备名“ＮＳＤ盘名”一Ｔ文件系 统挂载点一Ａ ｙｅｓ／ｎｏ—Ｂ数据块大小 具体命令如下：ｍｍｃｒｆｓ／ｄｅｖ／ｆｓｌ”ｆｔ０１一ｎｓｄｌ；ｆｔＯ１一 ｎｓｄ２；…（中间略）…；ｆｔ０１＿ｎｓｄ３６”一Ｔ／ＧＰＦＳ／ｆｓｌ 命令中各字段具体解释如下： ／ｄｃｖ／ｆｓｌ为文件系统设备名，创建文件系统时，系 统会在集群所有节点自动创建。在４．２．１版本及更新 的版本中，ＧＦＰＳ在Ｌｉｎｕｘ中将不会在／ｄｅｖ目录下生成 文件系统设备名，因此在Ｌｉｎｕｘ版本的ｍｏｕｎｔ命令中 也不会出￣／ｄｅｖ的前缀。 “ｆｔＯ１ｎｓｄｌ；……ｆｔ０１一一ｎｓｄ３６”为前文创建的ＮＳＤ 盘。也可使用创建ＮＳＤ盘的ＤｅｓｃＨｌｅ文件，命令为： ｍｍｃｒｆｓ／ｄｅｖ／ｆｓｌ—Ｆ／ｒｏｏｔ／ＤｅｓｅＦｉｌｅ－Ｔ／ＧＰＦＳ／ｆｓｌ。 一Ａ表示开机是否自动加载挂载点，默认是ｎｏ，命 令中可以不使用。 一Ｂ表示数据块大小，默认是２５６Ｋ，如果不加一Ｂ 则表示使用默认数据块大小，文件系统创建后不可更 改。数据块的大小选择与应用程序下发的Ｉ／Ｏ的大小 接近时，ＧＰＦＳ的性能较好。ＧＰＦＳ本身有很多机制来 适应不同的Ｉ／Ｏ大小。当应用程序下发的Ｉ／Ｏ大小不 是很清楚，或者很复杂时，可以选择１ ＭＢ来折中。 ２．５挂载文件系统 执行挂载文件系统命令挂载文件系统，命令为： ｍｍｍｏｕｎｔ文件系统名。文件系统挂载完成后，可执行 ｄｆ命令查看文件系统情况。如能够显示所建文件系 统的路径和名称，说明文件系统已经建设完成。具体 执行命令为：ｍｍｍｏｕｎｔ ｆｓｌ。 ３ ＧＰＦＳ的管理与维护 ３．１ Ｇ脚Ｓ启动与关闭 （１）ｍｍｓｔａｒｔｕｐ：为启动文件系统的命令，根据添加 不同参数可以启动单节点的文件系统，也可启动所有 集群文件系统。 单节点文件系统启动方式：执行ｍｍｓｔａｒｔｕｐ命令。 集群文件系统启动方式：执行ｍｍｓｔａｒｔｕｐ—ａ命令。 （２）ｍｍｓｈｕｔｄｏｗｎ：为关闭文件系统命令，同样根据 添加不同参数可以关闭单节点文件系统，也可关闭所 第５期 张新诺等：ＧＰＦＳ文件系统的安装配置与维护 ·１７７· 有集群文件系统。 单节点文件系统关闭方式：执行ｍｍｓｈｕｔｄｏｗｎ。 集群文件系统关闭方式：执行ｍｍｓｈｕｔｄｏｗｎ—ａ，其 执行结果显示的时间会比关闭单节点时间略长。 通常在重启节点时，要先关闭ＧＰＦＳ文件系统等 常用软件，避免节点重启完成后ＧＰＦＳ软件出现故障。 ３．２ ＧＰＦＳ文件系统故障检查处理 通过长时间使用和维护ＧＰＦＳ文件系统，发现 ＧＰＦＳ文件系统出现的故障多为硬件故障，因此文中 主要从硬件角度处理ＧＰＦＳ故障。当ＧＰＦＳ文件系统 状态，若ＧＰＦＳ ｓｔａｔｅ显示其他状态，如ＧＰＦＳ ｓａｔｔ显示 ｄｏｗｎ时，登录到相关节点查看ＧＰＦＳ是否被关闭。检 查／ｖａｒ／ａｄｍ／ｒａｓ目录下的ｍｍｆｓ．１ｏｇ．１ａｔｅｓｔ文件内容， 查看是否有ＧＰＦＳ关闭的信息，如执行如下命令： ｒｏｏｔ＠ｍｄｓｓ—ｚｃ２［／ｖａｒ／ａｄｍ／ｒａｓ］ ＃ｔａｉｌ－５００ｍｍｆｓ．１ｏｇ．１ａｔｅｓｔ Ｗｅｄ Ｍａｙ １７ ００：４０：４２ ＧＭＴ ２０１７：ｍｍｒｅｍｏｔｅ：Ｃｏｍｐｌｅｔｉｎｇ ＧＰＦｓ ｓｈｕｔｄｏｗｎ．．． 如结果所示，可知该节点ＧＰＦＳ被执行ｓｈｕｔｄｏｗｎ 出现建故障时，需要通过查看集群ＧＰＦＳ状态、磁盘状 态、文件系统故障范围等多方面来确定故障原因。 ３．２．１ 查看集群节点状态 操作，可用ｍｍｓｔａｒｔｕｐ命令尝试能否重启ＧＰＦＳ文件系 统。若ｍｍｆｓ．１ｏｇ．１ａｔｅｓｔ文件中没有ＧＰＦＳ文件系统的 ｓｈｕｔｄｏｗｎ信息，则ＧＰＦＳ文件系统进程被关闭或由于 其他原因造成文件系统无法正常工作，可先执行 ｍｍｓｈｕｔｄｏｗｎ，再执行ｍｍｓｔａｒｔｕｐ尝试重启文件系统。 通过命令ｍｍｇｅｔｓｔａｔｅ—ａ可查看集群各节点 ＧＰＦＳ状态，执行结果如下： ｒｏｏｔ＠ｈｓ２１—１［／ｒｏｏｔ］ ￣＇ｎｇｅｔｓｔａｔｅ—ａ 如果无法正常启动，可用其他命令检查物理硬盘等其 他故障原因。 ＧＰＦＳ ｓｔａｔｅ Ｎｏｄｅ ｎｕｍｂｅｒ Ｎｏｄｅ ｎａｎ．１ｅ ３．２．２查看ＮＳＤ状态检查物理硬盘 在使用ＧＰＦＳ文件系统过程中，有时会发生文件 ｌ ３ ｈｓ２ｌ—ｌ ｈｓ２ｌ－３ ａｃｔｉｖｅ ａｃｔｉｖｅ 系统出现挂起状态，从而导致文件系统不可用，如在执 行ｄｆ命令时，显示“ｄｆ：Ｙｄｅｖ／ｆｓｌ：Ｓｔａｌｅ ＮＦＳ ｆｉｌｅ ｈａｎ－ ｄｉｅ”，说明ｆｓｌ文件系统被挂起。此时可检查文件系统 对应ＮＳＤ是否出现故障。 查询文件系统ＮＳＤ命令：ｍｍｌｓｄｉｓｋ文件系统名。 执行命令见图２。 ｍｍｇｅｔｓｔａｔｅ：Ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｎｏｄｅｓ ｃｏｕｌｄ ｎｏｔ ｂｅ ｒｅａｃｈｅｄ： ｈｓ２ｌ－２．ｓｉｅ ｔ从执行结果可以看到，节点ｈｓ２１—２．ｓｉｔｅ出现故障 无法加入到集群中。其他节点ＧＰＦＳ都是健康的ａｃｔｉｖｅ ｒｏ ｔ眈ｌ２ｌ－ｌ Ｌ ｏｏｔ】 ●蕾 ｉ馥ｆｌ１ 戴豳 到嘲ｌ｜ 玉ｉｍ ｍｅｅｔ ｔ，，● 量ｉ － ｓｔａｔｘｔｚ ｔｖｔｉｌｔｂｉｌｉ ｔ ’ｏｏｌｔＪ ■－ ￡皂璺１．璐鳃 萋耋ｇ１．ｎ基蠡触１．艇最删 垂Ｉ 嘲 ５１２ ｓ挖５１２ ４００１ ｙ．ｓ ４ａ０ｌ ｒ．暑 伽Ｉ ｙｅｔ 蹦 ｒｔ．ａｙ ｒｔａｄｂｅ ｒＱ￣ｄ￣ ａｏ ｌＩ ａｏ ｎｄｍ ｓｙｓ￣ｅｍ 譬ｙｌｔ蛳 ｔ＿ 图２查看文件系统ＮＳＤ状态 通过查看可以看出，该文件系统中有三个ＮＳＤ出 ｍｍｃｈｄｉｓｋ文件系统名ｓｔａｒｔ—ｄ“故障ＮＳＤ１；故障 ＮＳＤ２；……；故障ＮＳＤｎ” 现故障，显示出ｄｏｗｎ的状态。当ＮＳＤ出现ｄｏｗｎ的 状态时，说明系统中与ｄｏｗｎ状态ＮＳＤ相对应的物理 具体操作命令为：ｍｍｃｈｄｉｓｋ ｆｓｌ ｓｔａｒｔ—ｄ“ｆｔＯ１一 ｎｓｄ４；ｆｔＯ１ｎｓｄ５；ｆｔ０１ｎｓｄ６”。 一＿硬盘出现故障。根据硬盘状态检查该硬盘所在ＲＡＩＤ 状态。如果ＲＡＩＤ完好，只需更换故障硬盘，重新挂载 文件系统即可；如果ＲＡＩＤ出现故障，则可能需要重建 文件系统。 执行完成后，检查ＮＳＤ状态。如果ＮＳＤ状态都 是ＵＰ状态，则可执行ｍｍｕｍｏｕｎｔ ｆｓｌ和ｍｍｍｏｕｎｔ ｆｓｌ 来恢复文件系统的正常运行。 当存储系统中的ＲＡＩＤ出现故障，首先要查看３ 块物理硬盘出现故障的原因，尝试能够将故障ＮＳＤ的 状态改为ｕｐ。如果ＮＳＤ状态能够恢复，则说明不是 所有的硬盘都存在物理故障，文件系统中的数据也不 会出现丢失的现象，此时，文件系统也可以被恢复并被 挂载。恢复ＮＳＤ状态可使用如下命令： 若ＮＳＤ状态仍是ｄｏｗｎ或者ｕｎｒｅａｃｏｖｅｒｄ，则表示 文件系统仍存在问题，文件系统中的数据可能已经无 法恢复。 在故障状态下，故障ＮＳＤ已经无法与正常ＮＳＤ 同步数据，此时文件系统可以挂载，但无法对文件系统 中的内容进行操作。为了恢复文件系统的正常运行， ·１７８· 计算机技术与发展 第２８卷 需要重建文件系统。重建文件系统会造成文件系统中 的数据丢失，因此需要尽量备份文件系统数据。 为了尽可能备份文件系统中的数据，可以先屏蔽 故障ＮＳＤ，再尝试以只读模式挂载文件系统。由于文 件系统缺少３个ＮＳＤ，文件系统中的数据已经不完 整，在备份数据过程中会出现数据不完整情况 。 屏蔽故障ＮＳＤ和以只读模式挂载文件系统命令如下： 屏蔽故障ＮＳＤ：ｍｍｆｓｃｔｌ文件系统名ｅｘｃｌｕｄｅ－ｄ “故障ＮＳＤ１；故障ＮＳＤ２；故障ＮＳＤ３”。 以只读模式挂载文件系统：ｍｍｍｏｕｎｔ文件系统 名一Ｏ ｒｓ。 ３．２．３重建ＧＰＦＳ文件系统 数据备份完成后，需要重建文件系统才能使文件 系统恢复正常工作。重建文件系统时，文件系统中所 有数据都将丢失。重建文件系统的步骤：删除故障文 件系统，删除故障文件系统ＮＳＤ，重建ＮＳＤ，重建文件 系统。具体命令如下： （１）删除故障文件系统。 ｍｍｄｅｌｆｓ—Ｐ故障文件系统名：删除故障文件系 统，为重建系统做准备。 （２）删除故障文件系统ＮＳＤ。 ｍｍｄｅｌｎｓｄ“ＮＳＤ１；ＮＳＤ２；……ＮＳＤｎ”：更换故障 硬盘后，为了重建故障文件系统，需要将该文件系统所 有ＮＳＤ硬盘初始化，因此需要先删除现有ＮＳＤ，再进 行ＮＳＤ和文件系统的重建。 （３）重建ＮＳＤ和重建文件系统。 具体操作可参考前文创建ＮＳＤ和创建文件系统 时的步骤，完成相关的操作后，即可重新使用该文件 系统。 ４结束语 目前，ＧＰＦＳ并行文件系统广泛应用于各企事业 单位。随着信息化的发展，各企事业单位需要结合自 身情况来配置使用ＧＰＦＳ并行文件系统，保证数据能 够被高效、安全地使用。因此，为了更加高效、稳定地 使用各种数据，应该继续深人探讨ＧＰＦＳ并行文件系 统相关内容，为更好地使用ＧＰＦＳ文件系统打下基础。 参考文献： ［１］王鸥，赵永彬．ＧＰＦＳ共享文件系统在企业门户系统中应 用的研究［Ｊ］．电脑知识与技术，２０１５，１１（１０）：１５—１７． ［２］张志坚，伍光胜，孙伟忠，等．ＩＢＭＦＩｅｘＰ４６０高性能计算机 系统及气象应用［Ｊ］．现代计算机，２０１６（９）：５１－５５． ［３］ 庞丽萍，何飞跃，岳建辉，等．并行文件系统集中式元数据 管理高可用系统设计［Ｊ］．计算机工程与科学，２００４，２６ （１１）：８７－８８． ［４］ 肖 伟，赵以爽．并行文件系统简介及主流产品对比［Ｊ］． 邮电设计技术，２０１２（７）：３１－３６． ［５］杨听．ＧＰＦＳ文件系统原理和模式１０优化方法［Ｊ］．气象 科技，２００６，３４：２７—３０． ［６］ 张玺．并行文件系统下数据迁移功能的实现［Ｊ］．北京信 息科技大学学报：自然科学版，２０１２，２７（５）：７７－８０． ［７］ 解宝琦，王金国．构建ＣｅｎｔＯＳ＋ＧＰＦＳ集群［Ｊ］．网络安全和 信息化，２０１７（２）：８５－８８． ［８］叶雅泉．ＧＰＦＳ在省级通信系统中的应用［Ｊ］．移动信息， ２０１６（６）：１１３． ［９］ＳＣＨＭＵＣＫ Ｆ，ＨＡＳＫＩＮ Ｒ Ｌ．ＧＰＦＳ：ａ ｓｈａｒｅｄ－ｄｉｓｋ ｉｆｌｅ ｓｙｓ— ｔｅｍ ｆｏｒ ｌａｒｇｅ ｃｏｍｐｕｔｉｎｇ ｃｌｕｓｔｅｒｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｆｉｌｅ ａｎｄ ｓｔｏｒａｇｅ ｔｅｃｈｎｏｌｏｇｉｅｓ．Ｂｅｒｋｅｌｅｙ，ＣＡ， ＵＳＡ：ＵＳＥＮＩＸ Ａｓｓｏｃｉａｔｉｏｎ，２００２：２３１—２４４． ［１Ｏ］ＰＬＡＮＫ Ｊ Ｓ．Ｔｈｅ Ｒａｉｄ一６ Ｌｉｂｅｒ８Ｔｉｏｎ ｃｏｄｅ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｈ ｉＪｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ，２００９， ２３（３）：２４２—２５１． ［１１］ＣＡＵＬＦＩＥＬＤ Ａ Ｍ，ＳＷＡＮＳＯＮ Ｓ．ＱｕｉｃｋＳＡＮ：ａ ｓｔｏｒａｇｅ ａｒｅａ ｎｅｔｗｏｒｋ ｆｏｒ ｆａｓｔ，ｄｉｓｔｒｉｂｕｔｅｄ，ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋｓ［Ｊ］．ＡＣＭ ＳＩ— ＧＡＲＣＨ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｎｅｗｓ，２０１３，４１（３）：４６４— ４７４． ［１２］沈瑜，孙婧，李娟．中国气象局高性能计算机系统高 可靠性设计［Ｊ］．信息安全与技术，２０１３，４（６）：４２—４５． ［１３１ ＪＯＮＥＳ Ｔ，ＫＯＮＩＧＥＳ Ａ Ｅ，ＹＡＴＥＳ Ｒ Ｋ．Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｍＭ ｇｅｎｅｒａｌ ｐａｒａｌｌｅｌ ｆｉｌｅ ｓｙｓｅｔｍ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｓｙｍｐｏｓｉｕｍ ｏｎ ｐａｒａｌｌｅｌ ａｎｄ ｄｉｓｔｒｉｂｕｔｅｄ ｐｒｏ— ｃｅｓｓｉｎｇ．Ｃａｎｃａｎ，Ｍｅｘｉｃｏ：１ＥＥＥ，２０００：６７３－６８１． ［１４］ＬＩＵ Ｇｉａ—Ｓｈｉｅ．Ｔｈｒｅｅ ｍ－ｆｉａｌｕｒｅ ｇｒｏｕｐ ｍａｉｎｔｅｎａｎｃｅ ｍｏｄｅｌｓ ｏｆｒ Ｍ／Ｍ／Ｎ ｕｎｒｅｌｉａｂｌｅ ｑｕｅｕｉｎｇ ｓｅｒｖｉｃｅ ｓｙｓｔｅｍｓ［Ｊ］．Ｃｏｍｐｕｔ— ｅｒｓ＆Ｉｎｄｕｓｔｒｉａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１２，６２（４）：１０１１—１０２４． ［１５］ＶＩＪＺＥＬＡＡＲ Ｓ，ＢＯＳＨ，ＦＯＫＫＩＮＫＷ．Ｂｒｉｅｆａｎｎｏｕｎｃｅｍｅｎｔ： ａ ｓｈａｒｅｄ ｄｉｓｋ ｏｎ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｈｔｅ ２９ｔｌｌ ＡＣＭ ＳＩＧＡＣＴ—ＳＩＧＯＰＳ ｓｙｍｐｏｓｉｕｍ ｏｎ ｐｒｉｎｃｉｐｌｅｓ ｏｆ ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ．Ｚｉｔｒｉｃｈ，Ｓｗｉｔｚｅｒｌｎａｄ：ＡＣＭ，２０１０：７９一， ８Ｏ． ［１９］ＳＺＥＬＩＧＡ Ｂ，ＮＧＵＹＥＮ Ｔ，ＳＨＩ Ｗｅｉｓｏｎｇ．ＤｉＳＫ：ａ ｉｄｓｔｒｉｂｕｔｄｅ ｓｈａｒｅｄ ｄｉｓｋ ｃａｃｈｅ ｆｏｒ ＨＰＣ ｅｎｖｉｏｒｎｍｅｎｔｓ ｆ Ｃ １／／Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｌｌａｂｏｒａｔｉｖｅ ｃｏｍｐｕｔｉｎｇ：ｎｅｔｗｏｒｋｉｎｇ，ａｐｐｌｉｃａ— ｔｉｏｎｓ ａｎｄ ｗｏｒｋｓｈａｒｉｎｇ．Ｗａｓｈｉｎｇｔｏｎ Ｄ．Ｃ，ＵＳＡ：ＩＥＥＥ，２００９： １—８．
