第１４卷第３期 厦门城市职业学院学报 Ｊｏｕｒｎａｌ ｏｆ Ｘｉａｍｅｎ Ｃｉｔｙ Ｖｏｃａｔｉｏｎａｌ Ｃｏｌｌｅｇｅ Ｖ０１．１４ Ｎｏ．３ Ｓｅｐ．２０１２ ２０１２年９月 Ｒｅｄｉｓ数据库在微博系统中的实践 唐 诚 （苏州工业园区职业技术学院网络信息中心，江苏苏州２１５１２３） ［摘要】由于微博系统中的信息实时性和并发性，放弃传统的关系性数据库，选取基于内存ｋｅｙ— ｖａｌｕｅ引擎的ＮＯＳＱＬ数据库Ｒｅｄｉｓ。利用ＮｏｄｅＪＳ的服务器中的服务端脚本，建立完整的消息接收和推送的 变为现实。同时在Ｒｅｄｉｓ中实现了与微博消息相关的ｋｅｙ—ｖａｌｕｅ存储机构设计、查询和排序，进而与 前端的Ｈ１Ｍ 手机客户端进行通讯。 【关键词］ＮＯＳＱＬ；消息推送；ｋｅｙ—ｖａｌｕｅ；ＨＴＭＬ５； ［中图分类号】ＴＰ ３１２ ［文献标识码］Ａ ［文章编号］２０９５—２７２４（２０１２）０３—００５５—０５ 一、选择适合微博系统的数据库 二、Ｒｅｄｉｓ的键值的格式定义 Ｒｅｄｉｓ的数据在内存中始终是以ｋｅｙ值作为 微博系统其实是一个类似群聊的庞大在线聊 天室，由于每时每刻都有大量的实时消息产生， 并且需要即时反馈给各个用户，所以需要保持更 快的速度来读写数据。传统的关系型数据库在数 据量超过规模的时候，由于其自身的关系型系统 逻辑相对复杂，也就导致了读写速度的下降。 索引，ｖａｌｕｅ则使用字符串。所以在微博系统中， 首先需要确定的是定义ｋｅｙ的值的格式。【２ 根据关系型数据库的表字段定义，我们可以 仿照其表名和字段名的方法，用下面的格式来对 ｋｅｙ进行定义： 键值对名称：索引标示：ｖａｌｕｅ的字段名 比如一个键值对的名称是Ａ，这个键值对保 Ｒｅｄｉｓ数据库为了提高效率，把数据都保存 在内存中，或被配置为使用虚拟内存。通过两种 方式可以实现数据持久化：使用快照的方式，将 内存中的数据不断写入磁盘；或使用类似 ＭｙＳＱＬ的日志方式，记录每次更新的日志。… 存所有人发过的消息，因此对于这个键值对中的 索引标示就是人的ＩＤ，如果某个人的ＩＤ是２５， 他发过的消息是“你好”，那这个键值对的ｋｅｙ 格式就用 Ｋｅｙ＝Ａ：２５：ＭｅｓｓａｇｅＣｏｎｔｅｎｔ 对于ｋｅｙ—ｖａｌｕｅ的存储模式，重点是加速了 键值和内容的快速定位和排序，而且更有利于接 近分布式理论的Ｃｏｎｓｉｓｔｅｎｃｙ（一致性）、Ａｖａｉｌａ－ ｂｉｌｉｔｙ（可用性）、Ｔｏｌｅｒａｎｃｅ ｔｏ ｎｅｔｗｏｒｋ Ｐａｒｔｉｔｉｏｎｓ Ｖａｌｕｅ＝“你好” 由于ＩＤ＝２５是个唯一的标示，所以对于这 （分区容错性）这三个要求。在构建微博系统 中，可以把软件模型定义实体分解到多个ｋｅｙ— ｖａｌｕｅ中。 个ｋｅｙ也是唯一。 ［收稿日期］２０１２－０６－０２ ［作者简介］唐诚（１９７７一），男，重庆人，软件工程硕士，苏州工业园区职业技术学院工程师。 ・５５・ 厦门城市职业学院学报 ２０１２矩 三、微博系统中的ｋｅｙ—ｖａｌｕｅ存储设计 【一）微博架构中的角色对象 参与微博的角色可以分为普通人、粉丝、明 星，下面逐一进行分析。 １．普通人 每个微博的注册人都是普通人，每个人都有 一个完整的唯一的在微博系统中的ＩＤ号，他作 为微博系统的推动者，也就是发布人。所以发布 人ＩＤ是从其他数据库中得到的人的标识值，比 如从其他ＯＡｕｔｈ２．０协议认证处，或是校园内部 的人员系统数据中得到。 ２．粉丝 成为了某个人发布消息的忠实听众，一个普 通发布者当他选择了他所要求的关心的其他人 时，他就从普通发布者变成了粉丝。在Ｒｅｄｉｓ中 当普通人成为粉丝后，也就是他订阅了某个人的 信息。 ３．名星 一个被其他人关注了订阅的人。一个明星也 可能是其他人的粉丝。 综上所描述，我们要根据以上３种角色，设 计Ｒｅｄｉｓ的键值对。 人物关系键值对Ａ＝［ｋｅｙ＝发布人ＩＤ， ｖａｌｕｅ＝发布人ＩＤ］ 对于粉丝和明星我们只需要把ｋｅｙ和ｖａｌｕｅ 互相颠倒就可以了，也就是把一个多对多的关系 用ｋｅｙ—ｖａｌｕｅ值来保存，不同的情况是如果是查 找明星有多少粉丝，就用明星ＩＤ作为ｋｅｙ，如 果查找粉丝关注了多少明星，就用粉丝的ＩＤ作 为ｋｅｙ来查找。 这样设定的键值对就存在两种ｋｅｙ，可以使 用约定的键值样式设计，如下： 键值对名称：发布人ＩＤ：粉丝ＩＤ 键值对名称：发布人ＩＤ：明星ＩＤ 比如ＩＤ标示为５的一个发布者的拥有一个 ＩＤ为ｌ８的一个粉丝，那内存中就保存如下形 式： ［Ｋｅｙ Ａ：５：ｆａｎｓＩＤ，ｖａｌｕｅ＝１８］ 对于所有的发布人的详细信息，我们可以用 传统的关系型数据库或是ＮｏＳＱＬ文档型数据库 ・５６・ 如ＭｏｎｇｏＤＢ等来保存持久的信息值。除非客户 端需要数据，我们再进行查询和返回信息。 （二）微博中消息对象 １．发布的消息和回复的评论 发布的消息具有自己的唯一标识，消息内 容，发布人和创建时间等基本内容。回复的评论 也具有自己的唯一标识，消息内容，以及回复人 和创建时间等基本内容。 】 除了以上两种，消息还可以进行转发，也就 是消息嵌套消息，但是可以把转发的内容放入到 一条新的消息中，不用进行递归嵌套，只需要显 示出转发的来源。 综上所述，需要设计３个键值对。 总的消息表Ｂ＝［ｋｅｙ＝消息ＩＤ，ｖａｌｕｅ＝消 息内容］ 消息关系表Ｃ＝［ｋｅｙ＝消息ＩＤ，ｖａｌｕｅ＝评 论消息ＩＤ］ 类似于粉丝和明星的关系，如果需要知道一 个消息的评论，就把消息ＩＤ作为ｋｅｙ来查找评 论，同样如果想知道一个评论的评论，当然可以 把一个评论的ＩＤ作为ｋｅｙ来进行继续查找。 总的消息表是一个巨大的消息集合，它只记 录所有的发布消息，保证所有的消息实体只有一 个。对于消息的保存，由于消息是拥有多个属性 的实体，比如消息的发布时间，消息的发布内 容，消息发布的位置信息等，因此我们需要把大 的实体，分解成多个单一的ｋｅｙ—ｖａｌｕｅ键值集 合。Ｒｅｄｉｓ的Ｈａｓｈ数据能存储一个ｋｅｙ拥有多个 属性的数据，把这样的ｈａｓｈ数据类型运用到消 息总表上十分合适。使用ｈｍｓｅｔ命令去放人每个 消息内容，比如： Ｒｅｄｉｓ．ｈｍｓｅｔ（消息ＩＤ， ｛消息内容：ｃｏｎ— ｔｅｎｔ，消息地址：ａｄｄｒｅｓｓ｝）； 对于每个消息内容，采用ＪＳＯＮ数据格式， 可以完全应对任何ＮｏｄｅＪＳ服务端的数据内容。 ２．消息的时间 对于微博系统，消息的显示顺序关系着整个 微博系统的用户体验。消息在到达服务器上的时 候所处的时间，需要进行记录，在显示消息的时 候，需要按照先后顺序显示出来。 第３期 唐诚：Ｒｅｄｉｓ数据库在微博系统中的实践 ３．消息的接收 对于传统的关系型数据库，是把时间作为一 个字段，与消息的实体相对应。对于Ｒｅｄｓ数据 库，需要单独创建一个键值保存消息的时间，便 于后面的显示排序。所以创建一个消息的时间键 值表如下： 对于非自己发送的消息，比如订阅的偶像的 消息，需要建立一个键值对Ｇ 发布人和接收消息关系键值对Ｇ＝［ｋｅｙ＝ 发布人ＩＤ ｖｌａｕｅ＝消息ＩＤ］ 当我们订阅的偶像在某个时刻发出消息后， 消息时间键值表Ｄ＝［ｋｅｙ＝消息ＩＤ，ｖａｌｕｅ ＝消息发布时间］ （三）消息和发布人的关系 １．消息与人的关系 由于微博系统中，每个人需要看到自己发出 的消息，每个消息还要能看到是谁发布的，所以 对于Ｒｅｄｉｓ数据库，需要设计２个键值对。 消息和消息发布人关系键值对Ｅ＝［ｋｅｙ＝ 消息ＩＤ，ｖａｌｕｅ＝消息发布人ＩＤ］ 消息发布人和消息关系键值对Ｆ＝［ｋｅｙ＝ 消息发布人ＩＤ，ｖｌａｕｅ＝消息ＩＤ］ 结合总的消息表键值和发布人的关系键值， 这样就把部分关系数据库中的多对多关系完整引 入到ＮＯＳＱＬ的Ｒｅｄｉｓ数据库中。需要注意的是， 同一个消息发布人他可以发布多条消息，对于Ｆ 键值对的ｋｅｙ，在大多数时候是１对多的关系， 所以采用Ｒｅｄｉｓ的ｓａｄｄ命令把多个ｖａｌｕｅ加入相 同的ｋｅｙ键值。 ２．消息的推送和订阅机制 每个消息发布者要让粉丝能看到自己发布的 消息，自己就必须作为消息的推送人。 每个消息发布人要看到自己关注的明星的消 息，自己就必须去订阅消息。 基于以上两点，在Ｒｅｄｉｓ初始连接的时候， 创建一个订阅端和发布端。在我们的微博系统中 如果一个发布者在键值对Ａ中发现自己有了粉 丝，就完全可以使用发布端的ｐｕｂｌｉｓｈ命令。同 时一个发布者也可以随时订阅自己的明星，让订 阅端使用ｓｕｂｓｃｒｉｂｅ命令来订阅自己的偶像。 比如ＩＤ为５的人在客户端订阅了ＩＤ为１８ 的人，服务端需要记录相互关系如下： ［ｋｅｙ＝Ａ：５：ｌｏｖｅｒＩＤ ｖａｌｕｅ＝１８］ ［ｋｅｙ Ａ：１８：ｆａｎｓｌＤ ｖａｌｕｅ＝５］ 这样通过不同的ｋｅｙ值就可以得到人的互相 关系。 根据Ｒｅｄｉｓ的推送消息功能，粉丝也就能立刻接 受到该消息，所以此时的发布人ＩＤ就是记录粉 丝自己。 四、微博系统中的消息创建和显示 通过上述的８个键值对，可以创建消息，得 到所有的自己的消息和自己偶像发出的消息。在 ＮｏｄｅＪＳ服务端使用了Ｒｅｄｉｓ模块，能够使用联合 命令得到相关的数据。 （一）创建自己的消息 客户端提交来的消息内容，需要依次在Ｒｅ— ｄｉｓ中记录。首先需要通过Ｒｅｄｉｓ的ｉｎｃｒ命令创 建唯一的消息标示，比如一个由发布人ＩＤ为６ 的人提交的消息，同时Ｒｅｄｉｓ已经创建了消息标 示ｍｅｓｓａｇｅｌＤ＝１２，那内存中数据储存把发布人 ＩＤ作为索引标示，应该为： ［ｋｅｙ “Ｆ：６：ｍｅｓｓａｇｅＩＤ”，１２］ ［ｋｅｙ “Ｂ：１２”ｖａｌｕｅ＝｛ｃｏｎｔｅｎｔ：消息内 容｝］ 对于Ｂ键值对的ｖａｌｕｅ，这里可以采用ｊＳＯｎ 数据，还可以把消息发布人的ＩＤ也保存进去， 但如果为了更小的粒度划分，我们可以增加Ｅ 键值对，如下所示： ［ｋｅｙ＝“Ｅ：１２：ｐｅｒｓｏｎＩＤ”，６］ 在记录消息内容后，还需要记录消息在服务 器上到达的时间，比如时间是２０１２—３—３ １３： ００ ［ｋｅｙ＝“Ｄ：１２：ｐｕｂｌｉｃＴｉｍｅ”ｖａｌｕｅ＝ “２０１２—３—３ １３：００”］ 这样通过Ｆ，Ｂ，Ｄ ３个键值对，我们就记 录了一个完整的消息，以备后面的查询。 （二）显示自己的消息 １．消息合并 Ｆ和Ｇ两个键值对的合并的结果是发布人所 能看到的消息。首先我们使用Ｒｅｄｉｓ的ｓｕｎｉｏｎ一 ・５７・ 厦门城市职业学院学报 ｓｔｏｒｅ命令把两个键值对进行合并，同时查询属 于发布人的消息。 ２０１２焦 安装包创建了一个收发和推送的两个客户端连 接。 ｖａｔ ｒｅｄｉｓＣｌｉｅｎｔＧｅｔ＝ｒｅｄｉｓ．ｃｒｅａｔｅＣｌｉｅｎｔ（ｒｅ— 比如下面的ｊａｖａｓｅｒｉｐｔ伪代码脚本，得到了 发布人ＩＤ为６的人的所有的消息： ｄｉｓ端口号，ｒｅｄｉｓ主机ＩＰ）； ｖａｒ ｒｅｄｉｓＣｌｉｅｎｔＰｕｔ＝ｒｅｄｉｓ．ｃｒｅａｔｅＣｌｉｅｎｔ（ｒｅｄｉｓ Ｒｅｄｉｓ数据库对象．ｓｕｎｉｏｎｓｔｏｒｅ（合并的键值 对，“Ｆ：６：ｍｅｓｓａｇｅｌＤ”，“Ｇ：６：ｍｅｓｓａｇｅｌＤ”， Ｆｕｎｃｔｉｏｎ（ｅｌｉ＂，ｕｎｉｏｎ） ｛ 对合并的ｕｎｉｏｎ进行处理 ｝ ｝）； ２．消息的时间排序 得到所有消息后，可以对曾经合并的消息集 合通过Ｒｅｄｉｓ的ｓｏｒｔ命令进行时间排序。ＮｏｄｅＪＳ 的服务端ｊａｖａｓｃｒｉｐｔ伪代码如下： Ｒｅｄｉｓ数据库对象．ｓｏｒｔ（合并的键值对，” ｂ ， ［ｄ： ：ｐｕｂｌｉｅＴｉｍｅ］，”ｄｅｓｅ”，”ａｌｐｈａ”， ｆｕｎｃｔｉｏｎ（ｅｆｔ，ｖＭｕｅｓ）｛ 对所有符合条件的消息依次返回给客户 端显示 ｝ ）； 由于我们的消息时间是以字符串的形式保 存，所以这里我们通过对字符串的数字先后排序 得到了消息的先后。 五、微博服务端的部署 （一）Ｒｅｄｉｓ专用数据库服务器 专门使用一台大容量内存的服务器作为Ｒｅ． ｄｉｓ数据库。前面所描述的Ａ到Ｇ的关系集合保 存所有的微博信息。对于该台数据的端口号和地 址都被登记在微博ｗｅｂ服务器ＮｏｄｅＪＳ的脚本中。 （二）微博ｗｅｂ服务器 为了达到实时响应的效果，ｗｅｂ服务器采用 了ＮｏｄｅＪＳ的ｅｘｐｒｅｓｓＪＳ框架，对于客户端的网页 所提交的页面请求，使用ｊｓｏｎ数据格式返回相 关的信息。 １．消息广播的实现 在ｗｅｂ服务的ｎｏｄｅｓ脚本中，对于Ｒｅｄｉｓ的 微博消息队列的广播，通过ＮｏｄｅＪＳ的Ｒｅｄｉｓ ｎｐｍ ．５８・ 端口号，ｒｅｄｉｓ主机ｉＰ）； 连接ｒｅｄｉｓＣｌｉｅｎｔＧｅｔ用于登记自己关心的偶 像，通过如下的方法： ｒｅｄｉｓＣｌｉｅｎｔＧｅｔ．ｓｕｂｓｃｒｉｂｅ（偶像的标示）； 而每当偶像自己有消息发布的时候，就用 ｒｅｄｉｓＣｌｉｅｎｔＰｕｔ去发布消息，通过如下的方法： ｒｅｄｉｓＣｌｉｅｎｔＰｕｔ．ｐｕｂｌｉｓｈ（偶像的标示，偶像 当前发的消息ＩＤ）； ２．ｅｘｐｒｅｓｓＪＳ框架针对网页客户端提交 每次网页通过ａｊａｘ的提交，比如消息的发 布和设置修改，ｅｘｐｒｅｓｓＪＳ首先设置相关的提交路 由，然后在处理过程中，把客户端的数据插入到 Ｒｅｄｉｓ数据库中。 六、微博系统的客户端的部署 由于微博消息的创建，属于客户端的操作， 在整个微博系统的架构中，为微博系统设计了网 页和手机端两种客户模式。 （一）手机客户端的建立 对于手机上的客户端，鉴于在ａｎｄｒｏｉｄ和苹 果ｉＯＳ上的系统跨平台，主要采用了ｈｔｍｌ５＋ ｐｈｏｎｅｇａｐ的ｗｅｂａｐｐ方式。客户对自己的微博浏 览以及微博的发送，均采用ａｊａｘ无刷新响应。 为了能让客户实时得到最新的消息，采用了ｈｔ— ｍ１５的ｗｅｂｓｏｃｋｅｔ通讯。 对于ｈｔｍｌ５的部分，主要是采用了ｊＱｕｅｒｙ— Ｍｏｂｉｌｅ框架，在每个ｊＱｕｅｒｙＭｏｂｉｌｅ框架的初始化 事件中，调用ｗｅｂｓｏｃｋｅｔ与服务端的ｓｏｋｅｔ服务器 进行连接。连接成功后，当用户登录微博系统的 账号后，自动建立ｓｏｃｋｅｔ套接，通过消息的应 答，与服务端进行通讯。 （二）网页客户端的建立 对于网页客户端，主要是采用了微软的 ＭＶＣ架构。每次与ＮｏｄｅＪＳ服务端的ｅｘｐｒｅｓｓｊｓ框 架连接以及提交数据，全部通过ａｊａｘ的提交方 式。 第３期 唐诚：Ｒｅｄｉｓ数据库在微博系统中的实践 七、Ｒｅｄｉｓ的深入运用 态，他的相关消息也可以滞后读取。 对于大型的微博系统，如果在数据量大的情 此外，当微博的消息中加入了大量的视频， 况下，上述的消息数据的键值对可以进行更细致 图像和音频后，这些惰性的媒体数据可以通过 的划分。比如当前内存中的部分数据可以存在过 ＮｏＳＱＬ的文档型数据库异步保存和读取，保证 期的控制，如果有一部分微博消息是已经处于不 在Ｒｅｄｉｓ数据中只保存相关的索引。在这样的情 活动状态，可以通过时间筛选，将其换出内存。 况下，Ｒｅｄｉｓ可以充分发挥它的索引和查询机制。 同样对于部分用户，如果在长期处于不活动的状 ［参考文献］ ［１］维基百科．Ｒｅｄｉｓ［ＥＢ／ＯＬ］．２０１１—０２—１５［２０１２—０６—１２］．ｈｔｔｐ：／／ｚｈ．ｗｉｋｉｐｅｄｉａ．ｏｒｓ／ ｗｉｋｉ／Ｒｅｄｉｓ． ［２］ｈｏｔｅｒｒａｎ．浅谈Ｒｅｄｉｓ数据库的键值设计［ＥＢ／ＯＬ］．２０１１—０９—０６［２０１２—０６—２３］．ｈｔ． ｔｐ：／／ｗｗｗ．ｈｏｔｅｒｒａｎ．ｉ￣ｏ／ｍｄｉｓ＿ｋｖｄｅｓｉｇｎ． ＿［３］李锦星．完全用ｎｏｓｑｌ轻松打造千万级数据量的微博系统［ＥＢ／ＯＬ］．２００９—０６—１７［２０１２一 ｏ７—１２］．ｈｔｔｐ：／／ｗｅｎｋｕ．ｂａｉｄｕ．ｃｏｍ／ｖｉｅｗ／ａ７７０ｆ６８７８７６２ｃａａｅｄｄ３３ｄ４ｆｔ．ｈｔｍ１． ［责任编辑：郭常斐］ ・５９・
