您的当前位置：首页正文

集群化部署商城应用系统

来源：九壹网

4.1规划节点

其中两台虚拟机master和slave部署mysql数据库服务，搭建主从数据库集群；master作为主节点，负责写入数据库信息；slave作为从节点，负责读取数据库信息。

虚拟机Mycat部署Mycat数据库中间件服务，将用户提交得读写操作识别分发给相应得数据库外节点。

Broker ID: 每个 Kafka Broker 节点的唯一标识符，broker.id 在每个 Kafka 节点的配置文件中配置。每台机器的 ID 都是唯一的，分别为 0, 1, 2。
IP 地址: Kafka Broker 所在虚拟机的 IP 地址，用于 Kafka 监听客户端连接。
Kafka 端口（9092）: Kafka 的默认端口，用于客户端（生产者和消费者）的连接和数据传输。
ZooKeeper 地址: Kafka 集群需要依赖 ZooKeeper 来管理集群状态，需要指定 ZooKeeper 集群中所有节点的地址和端口。这里使用 ZooKeeper 集群中的 2181 端口

在使用Mycat读写分离数据库作为应用系统的数据库后端，使用zookeepeer 集群，kafka集群提供应用系统调度服务，使用Reids提供应用系统消息队列服务

· Tomcat 应用服务器 1（jar1）：

· 功能：这是应用系统的第一个应用服务器节点，负责运行业务逻辑和处理用户请求。应用部署在 Tomcat 容器内，能够处理大量的 HTTP 请求和 Web 服务。
作用：主要用于处理来自负载均衡器（Nginx）的请求，与数据库、Redis 等后端服务进行交互，为用户提供动态内容和应用服务。
特点：Tomcat1 和 Tomcat2 共同承担了应用的服务负载，确保了高可用性。如果一个节点发生故障，另一个节点可以继续服务。

· Tomcat 应用服务器 2（jar2）：

· 功能：和 jar1 一样，jar2 也是应用系统的另一个应用服务器节点，提供业务逻辑处理和用户请求响应。它和 jar1 是并行部署，分担流量。
作用：同样与 Nginx 配合，处理分发到它的请求，并与其他后端服务（如数据库、Redis）进行交互。
特点：双节点设置不仅能提高处理性能，还能通过负载均衡减少单点故障的风险，增强系统的稳定性。

· Nginx 服务器（nginx）：

· 功能：作为反向代理服务器和负载均衡器，负责将用户的请求分发到后面的 Tomcat 应用服务器（jar1 和 jar2）。Nginx 还可以处理静态内容、SSL 加密等。
作用：Nginx 会根据预设的负载均衡策略（如轮询、权重等）将流量分配给 Tomcat 节点，确保流量均匀分布，避免单台应用服务器的过载。同时，Nginx 还能够缓存一些静态资源，提高响应速度。
特点：Nginx 具有高并发处理能力和高效的反向代理功能，通过分发请求确保系统高可用性和负载均衡。同时，它能帮助屏蔽后端应用服务器的细节，对外部用户提供统一的访问入口。

IP	主机名	节点
192.168.213.151	mycat	Mycat中间件服务节点
192.168.213.153	Master	MariaDB数据库集群主节点
192.168.213.146	Slave	MariaDB数据库集群从节点
192.168.213.161	zookeeper1	集群节点
192.168.213.162	zookeeper2	集群节点
192.168.213.163	zookeeper3	集群节点
192.168.213.166	redis	消息队列服务节点
192.168.213.167	jar1	Tomcat1节点
192.168.213.168	jar2	Tomcat2节点
192.168.213.169	nginx	Nginx服务器

4.2 基础准备

使用CentOS 7.2系统，flavor使用2vCPU/4GB内存/50GB硬盘创建云主机虚拟机Mycat部署Mycat数据库中间件服务，将用户提交的读写操作识别分发给相应的数据库节点。

此外Mycat所使用的压缩包为Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

在主从节点安装mariadb，并配置主从复制功能，三个集群节点分别安装zookeeper服务，kafka服务，在redis节点安装redis

使用提供的zookeeper-3.4.14.tar.gz包和gpmall-repo文件夹，安装ZooKeeper服务

使用ZooKeeper集群搭建的3个节点来构建Kafka集群，因为Kafka服务依赖于ZooKeeper服务，所以不再多创建云主机来进行试验。软件包使用提供的kafka_2.11-1.1.1.tgz软件包。

Redis节点yum源使用提供的gpmall-repo文件夹

使用提供gpmall-shopping-0.0.1-SNAPSHOT.jar、gpmall-user-0.0.1-SNAPSHOT.jar、shopping-provider-0.0.1-SNAPSHOT.jar、user-provider-0.0.1-SNAPSHOT.jar 、dist这5个包部署应用系统，其中4个JAR包为后端服务包，在jar1节点和jar2节点上均运行，dist为前端包，在Nginx节点上部署。

这些包我已经整理好了，有需要的的可以私信我

4.3案例实施

基础环境配置

（1）修改主机名

登录这10台虚拟机分别使用hostnamectl set-hostname命令修改成对应的主机名

[root@localhost ~]# hostnamectl set-hostname jar1

[root@localhost ~]#bash

（2）关闭防火墙

关闭这10台虚拟机的防火墙输入如下命令

[root@localhost ~]# hostnamectl set-hostname jar1

[root@localhost ~]# bash

（3）配置yum源

直接挂载aliyun YUM源（同理都可以配置aliyunYUM源）

在主从节点上配置yum源

此链接挂载过程

在zookeeper集群配置yum源

# mv /etc/yum.repos.d/* /media/

在3个节点上创建/etc/yum.repo.d/local.repo，文件内容如下：

# cat /etc/yum.repos.d/local.repo

[gpmall]

name=gpmall

baseurl=file:///opt/gpmall-repo

gpgcheck=0

enabled=1

# yum clean all

# yum list

在redis节点挂载yum源

[root@redis ~]# mv /etc/yum.repos.d/* /media/

[root@redis ~]# cat /etc/yum.repos.d/local.repo

[gpmall]

name=gpmall

baseurl=file:///opt/gpmall-repo

gpgcheck=0

enabled=1

载nginx节点挂载yum

# mv /etc/yum.repos.d/* /media/

# cat /etc/yum.repos.d/local.repo

[gpmall]

name=gpmall

baseurl=file:///opt/gpmall-repo

gpgcheck=0

enabled=1

2. 修改hosts文件

在三台主从中间件节点在 /etc/hosts 均添加如下内容

[root@slave ~]# vi /etc/hosts

3. 安装JDK环境

再部署Mycat中间件服务时需要先安装JDK软件，注意JDK1.7软件版本需要及以上

Mycat节点安装java环境

[root@mycat ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

[root@mycat ~]# java -version

4. 部署主从数据库集群服务

（1）安装Mariadb服务

在master主节点和slave从节点上分别安装mariadb服务

[root@slave ~]# yum install -y mariadb mariadb-server

安装完成后,master和slave节点均启动mariadb服务，并设置开机自启动

[root@master ~]# systemctl start mariadb

[root@master ~]# systemctl enable mariadb

（2）初始化mysql服务

在master和slave节点上初始化mariadb数据库，设置数据库root访问用户密码为123456

[root@master ~]# mysql_secure_installation

（3）配置主节点

编辑master主节点的数据库配置文件my.cnf并添加如下内容

[root@master ~]# vi /etc/my.cnf

编辑完成后重启mysql服务

[root@master ~]# systemctl restart maysql

（4）主节点数据库权限

登录主节点master数据库，设置权限在任何客户端均可以root登录数据库

[root@master ~]# mysql -uroot -p123456

mysql> grant all privileges on *.* to root@'%' identified by "123456";

在master数据库中创建user用户让从节点slave连接，并赋予从节点同步主节点数据库的权限

[root@master ~]# Mysql> grant replication slave on *.* to 'user'@'slave' identified by '123456';

（5）配置从节点

编辑slave主节点的数据库配置文件 my.cnf并添加如下内容

[root@slave ~]# vi /etc/my.cnf

（6）辑完成后重启mysql服务

[root@master ~]# systemctl restart mysql

（7）登录从节点slave数据库，配置从节点连接主节点的连接信息

[root@slave ~]# mysql -uroot -p123456

Mysql>change master to master_host='master',master_user='user',master_password='123456';

注意：这里要关闭从库的复制线程这将停止从库的l/o线程和SQL线程

[root@master ~]# service mysqld status ERROR! Multiple MySQL running but PID file could not be found (24749 24447 24030 23285 11898)

[r\oot@master ~]#

PID文件无法识别的问题：

在正常登陆数据库或重启数据库，启动数据库，关闭数据库等电源操作时，有时会弹出PID丢失的问题，是常见的问题之一，出现这个报错信息意味着有多个数据库进程正在使用，但服务器无法识别PID文件，这是由于之前的操作中，mysql服务被异常终止，或手动启动了多个数据库的问题导致的。

解决办法：

（1）

查看后台所有的mysql进程

ps -aux|grep mysql

手动关掉这些进程

kill -9 进程号

（2）

使用pkill命令

pkill -9 -f mysqld来终止后台

（9）连接主从数据库

其中master_host为主节点名、master_user为创建的主从连接的用户user

mysql>change master to master_host='master',master_user='user',master_password='123456';

（10）启动slave节点服务并查看节点状态

Mysql> start slave;

Mysql> show slave status\G

5. 主从测试

在master节点的MySQL中创建test数据库，并在test库中创建company表，并向表中添加数据（创建非空表并创建name和addr两个列，在表中添加shenyang china）

Mysql> create database test;

Mysql> use test;

Mysql> create table company(id int not null primary key,name varchar(50),addr varchar(255));

Mysql> insert into company values(1,"shenyang","china");

前面已经创建了所以直接使用

从slave节点查看数据库的内容，从节点db2的数据库就会同步主节点数据库创建的test库，可以在从节点查询test数据库与表company

6. 部署mycat中间件服务

（1)安装mycat中间件服务

[root@mycat ~]# chown -R 777 /usr/local/mycat/

将mycat服务变量添加至系统/etc/profile 变量文件中，并使其生效

[root@mycat ~]# echo export MYCAT_HOME=/usr/local/mycat/ >> /etc/profile

[root@mycat ~]# source /etc/profile

（2）编辑mycat逻辑库配置文件

[root@mycat ~]# vi /usr/local/mycat/conf/schema.xml

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

<heartbeat>select user()</heartbeat>

</writeHost>

</dataHost>

</mycat:schema>

给以下代码说明

<?xml version="1.0"?> XML文件的版本

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

指定文档类型和DTD文件，用于XML文件验证

<mycat:schema xmlns:mycat="http://io.mycat/"> 定义mycat的命名

定义逻辑库USERDB

Name 指定了逻辑库的名称

checkSQLschema 表示是否检查SQL语句的逻辑库

SqlMaxLimit 定义了SQL语句中允许的最大数量限制

DataNode 指定逻辑库映射到的数据节点

定义了一个数据节点 dn1

name 属性指定了数据节点的名称。

dataHost 指定了数据节点关联的数据主机。

database 指定了数据节点关联的具体数据库

定义一个数据主机localhost1

name 属性指定了数据主机的名称。

maxCon 定义了最大连接数。

minCon 定义了最小连接数。

balance 定义了负载均衡策略。

dbType 指定了数据库类型。

dbDriver 指定了数据库连接驱动。

writeType 指定了写操作的类型。

switchType 指定了切换类型。

slaveThreshold 定义了从库的阈值。

<heartbeat>select user()</heartbeat> 心跳检查SQL语句，检测连接的可用性

writeHost 定义了主写主机的连接信息，包括主机名、URL、用户名和密码。

readHost 定义了从读主机的连接信息，同样包括主机名、URL、用户名和密码

</writeHost>

</dataHost>

</mycat:schema>

（3）修改配置文件

[root@mycat ~]# chown root:root /usr/local/mycat/conf/schema.xml

（4）编辑mycat访问用户

修改/usr/local/mycat/conf/server.xml文件

在文档最后部分，修改标注的字段即可

[root@mycat ~]# vi /usr/local/mycat/conf/server.xml

<property name="schemas">gpmall</property>

此段编辑完成后，删除一下字段

<property name="schemas">TESTDB</property>

</user>

更改完成确认无误后，保存退出

（5）启动mycat服务

[root@mycat ~]# /bin/bash /usr/local/mycat/bin/mycat start

[root@mycat ~]# netstat -ntpl

启动成功后，查看端口的开放状态，若有8066和9066端口，表示mycat服务开启成功

若可以查询到信息，验证主从数据库集群功能在正常运行

至此，MySQL主从连接全部结束

7. 验证数据库集群服务读写分离功能

（1）用Mycat服务查询数据库信息

先在Mycat虚拟机上使用Yum安装mariadb-client服务。

[root@mycat ~]# yum install -y MariaDB-client

在Mycat虚拟机上使用mysql命令查看Mycat服务的逻辑库USERDB，因为Mycat的逻辑库USERDB对应数据库test（在部署主从数据库时已安装），所以可以查看库中已经创建的表company。命令如下。

[root@mycat ~]# mysql -h127.0.0.1 -P8066 -uroot -p123456

MySQL [(none)]> show databases;

MySQL [(none)]> use gpmall

MySQL [gpmall]> show tables;

MySQL [gpamll]> select * from company;

（2）用Mycat服务添加表数据

在Mycat虚拟机上使用mysql命令对表company添加一条数据(2,"basketball","usa")，添加完毕后查看表信息。命令如下。

MySQL [gpmall]> insert into company values(2,"bastetball","usa");

（3）验证Mycat服务对数据库读写操作分离

在Mycat虚拟机节点使用mysql命令，通过9066端口查询对数据库读写操作的分离信息。可以看到所有的写入操作WRITE_LOAD数都在db1主数据库节点上，所有的读取操作READ_LOAD数都在db2主数据库节点上。由此可见，数据库读写操作已经分离到db1和db2节点上了。命令如下。

[root@mycat ~]# mysql -h127.0.0.1 -P9066 -uroot -p123456 -e 'show @@datasource;'

查询结果如图所示。

Mycat ，mysql日志文件及位置

mycat日志文件位置：/usr/local/mycat/logs/mycat.log

Mysql （mariadb）日志文件位置：/data/mysql/master.err

在数据库里可以查询日志文件位置：#show variables like '%log_error%';、

下面分别是mysql，mysql日志

harset、Transaction Isolation 和 Autocommit 设置：

charset=latin1：MySQL 使用 latin1 字符集进行数据传输。
txIsolation=3：表示事务隔离级别为 REPEATABLE READ（MySQL 中对应的级别为 3），这意味着事务在读取数据时看不到其他事务未提交的更改。
autocommit=true：表示自动提交模式为开启状态，即每个 SQL 语句都会自动作为一个事务提交。

Connection Info：

host=192.168.213.146, port=3306：与 MySQL 服务器的 IP 地址和端口信息，表示正在连接到 IP 为 192.168.213.146 的 MySQL 实例，端口为 3306。
statusSync=null, writeQueue=0, modifiedSQLExecuted=false：当前连接状态信息，表示没有同步状态，没有等待的写入队列，也没有修改的 SQL 被执行。

连接池管理：

create connections, because idle connection not enough：表示因为空闲连接数不足，正在创建新的数据库连接。
cur is 7, minCon is 10 for hostM1：当前空闲连接数是 7，连接池的最小空闲连接数要求是 10，MyCat 因此创建了更多连接。
for hostM1 和 for hostS1：表示连接池分别为主库 (hostM1) 和从库 (hostS1) 创建连接。

连接获取事件：

connectionAcquired MySQLConnection [id=77]：表示 ID 为 77 的 MySQL 连接已成功建立并被获取。
fromSlaveDB=true：表示这个连接来自于从库 (SlaveDB)，意味着这个连接主要用于读取操作。
connectionAcquired MySQLConnection [id=78]：表示 ID 为 78 的 MySQL 连接已成功建立并被获取。
fromSlaveDB=false：表示这个连接来自于主库 (MasterDB)，意味着这个连接主要用于写入操作。

Connection 状态：

borrowed=false：表示这个连接当前没有被借用，仍然是空闲状态。
schema=gpmall：连接正在访问的数据库名为 gpmall。

总结：

这段日志主要描述了 MyCat 在管理与 MySQL 数据库的连接时的行为。由于空闲连接不足，MyCat 创建了新的连接，并且分别连接到了主库和从库。日志中详细列出了连接的相关属性，包括字符集、事务隔离级别、自动提交状态等。

InnoDB 相关信息：

InnoDB: from the doublewrite buffer：InnoDB 正在从 doublewrite buffer 中恢复数据，doublewrite 是一种机制，用于防止部分页写入故障。
Last MySQL binlog file position：表示 MySQL 二进制日志 (binlog) 的最后一个位置，mysql_bin.000010 是当前的 binlog 文件名。
128 rollback segments active：InnoDB 有 128 个活动的回滚段，用于事务管理。

MySQL 恢复信息：

Recovering after a crash：MySQL 正在从崩溃中恢复，使用 mysql_bin 日志进行数据恢复。
Crash recovery finished：崩溃恢复已完成，数据库准备好处理新请求。

网络和 IPv6 支持：

Server hostname (bind-address)：服务器正在监听所有 IP 地址 (*)，端口是 3306（MySQL 默认端口）。
IPv6 is available：表示服务器支持 IPv6。
'::' resolves to '::'：确认 IPv6 地址的解析结果。

Server socket 信息：

Server socket created on IP '::'：服务器已在 IPv6 地址 :: 上创建了 socket，表示 MySQL 已监听在 IPv6 上。

警告：

Neither --relay-log nor --relay-log-index were used：表示在启动时没有设置 --relay-log 或 --relay-log-index 参数。如果这个 MySQL 实例作为从库运行，可能会导致复制问题。

建议添加 --relay-log=master-relay-bin 参数来指定 relay log，以避免潜在问题。

Event Scheduler 信息：

Loaded 0 events：事件调度器没有加载任何事件。

最后的启动成功信息：

MySQL server ready for connections：MySQL 服务器已经启动并准备接受连接。显示了 MySQL 版本 5.6.35-log，监听在 /tmp/mysql.sock socket 文件上，端口为 3306。

总结：

MySQL 正在从一次崩溃中恢复，恢复过程已成功完成。
服务器启用了 IPv6，并监听所有 IP 地址。
需要注意的是日志中有一个与 relay log 相关的警告，建议根据日志提示添加合适的配置以避免可能的复制问题。
MySQL 已经准备好接受连接。

zookeeper集群部署

（1）编辑hosts文件

3个节点修改/etc/hosts 文件，3个节点均修改成如下代码所示：

# vi /etc/hosts

192.168.213.161 zookeeper1

192.168.213.162 zookeeper2

192.168.213.163 zookeeper3

搭建zookeeper集群

（1）安装JDK环境

3个节点安装Java JDK环境，3个节点均执行命令如下：

# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

# java -version

openjdk version "1.8.0_222"

OpenJDK Runtime Environment (build 1.8.0_222-b10)

OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode)

（2）解压ZooKeeper软件包

# tar -zxvf zookeeper-3.4.14.tar.gz

（3）创建myid文件

创建myid文件，命令如下：

zookeeper1节点：

[root@zookeeper1 ~]# mkdir /tmp/zookeeper

[root@zookeeper1 ~]# vi /tmp/zookeeper/myid

[root@zookeeper1 ~]# cat /tmp/zookeeper/myid

zookeeper2节点：

[root@zookeeper2 ~]# mkdir /tmp/zookeeper

[root@zookeeper2 ~]# vi /tmp/zookeeper/myid

[root@zookeeper2 ~]# cat /tmp/zookeeper/myid

zookeeper3节点：

[root@zookeeper3 ~]# mkdir /tmp/zookeeper

[root@zookeeper3 ~]# vi /tmp/zookeeper/myid

[root@zookeeper3 ~]# cat /tmp/zookeeper/myid

（4）修改3个节点配置文件

[root@zookeeper1 conf]# vi zoo.cfg

[root@zookeeper1 conf]# grep -n '^'[a-Z] zoo.cfg

2:tickTime=2000

5:initLimit=10

8:syncLimit=5

12:dataDir=/tmp/zookeeper

14:clientPort=2181

29:server.1=172.16.51.23:2888:3888

30:server.2=172.16.51.32:2888:3888

31:server.3=172.16.51.41:2888:3888

命令解析：

l initLimit：ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。

l syncLimit：配置follower和leader之间发送消息，请求和应答的最大时间长度。

l tickTime：tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms * 5 = 10秒。

l dataDir：其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。

注意：zookeeper2和zookeeper3节点的操作与修改的配置和zookeeper1节点一样。