Redis高可用-主从复制、哨兵模式与集群模式详解

redis高可用-主从复制、哨兵模式与集群模式

概要

redis作为一款内存数据库，凭借其极高的性能和丰富的功能，已经成为了很多互联网应用的核心组件。然而，单机redis虽然性能卓越，但存在着单点故障、扩展性差等问题，限制了它在高可用性和高扩展性方面的应用。

为了提升redis的可用性和扩展性，redis提供了多种架构模式：主从复制、哨兵模式和集群模式。每种模式都在不同的场景中发挥着重要作用。

一、主从复制（master-slave replication）

1、概述

redis的主从复制（master-slave replication）是最基础的高可用架构之一。

在这种架构中，redis部署了一个主节点和多个从节点。

主节点负责处理所有的写操作（如set、del等），而从节点则通过同步主节点的数据来进行数据备份和提供读操作服务。

2、工作原理

• 主节点（master）是数据的来源节点，所有写操作都首先执行在主节点上。
• 从节点（slave）通过复制主节点的数据来保证数据一致性。从节点定期从主节点获取数据的快照（rdb）或增量数据（aof）进行同步。
• 同步方式 从节点与主节点之间的同步分为全量同步和增量同步。在第一次连接时，执行全量同步，将主节点的数据完整复制到从节点；后续的增量同步则只同步主节点上的变更数据。

3、优缺点

优点：

• 读写分离：主从复制可以将读请求分配到从节点，从而减轻主节点的压力，提高系统的并发能力。
• 数据冗余：从节点提供了数据的备份，增强了系统的容错性。

缺点：

• 单点故障：主节点故障后，系统会面临数据不可用的情况。虽然从节点可以恢复数据，但需要手动将从节点提升为主节点。
• 同步延迟：主从同步可能存在延迟，尤其是在写操作频繁时，从节点的数据同步可能会滞后，导致读请求不一致。

4、适用场景

主从复制适用于读操作远大于写操作的场景，比如缓存系统、日志系统等。

在这些场景下，可以将从节点作为读副本，减少主节点的压力，提高读取性能。

5、配置步骤

5.1 配置主节点

在redis中，主节点默认配置就可以作为主节点工作，因此启动主节点非常简单。

# 启动主节点
redis-server /etc/redis/redis.conf

5.2 配置从节点

从节点的配置稍微复杂一些，主要是需要告诉redis自己是一个从节点，并指定要复制的主节点信息。

在从节点的redis.conf配置文件中添加以下内容：

# 配置从节点，指定主节点
slaveof 192.168.1.1 6379

这里的192.168.1.1是主节点的ip地址，6379是主节点的端口。通过这行配置，从节点会自动与主节点建立连接，开始同步数据。

配置好从节点后，启动从节点：

# 启动从节点
redis-server /etc/redis/redis.conf

5.3 验证主从复制

在主节点上执行info replication命令查看复制状态：

127.0.0.1:6379> info replication
# 输出：
# role:master
# connected_slaves:1
# slave0:ip=192.168.1.2,port=6379,state=online,offset=12345,lag=0

在从节点上执行相同的命令，查看从节点的状态：

127.0.0.1:6380> info replication
# 输出：
# role:slave
# master_host:192.168.1.1
# master_port:6379
# master_link_status:up

二、哨兵模式（sentinel）

1、概述

为了弥补主从复制的单点故障问题，redis引入了哨兵模式。redis哨兵是一个高可用解决方案，通过自动故障转移和主从监控来保证redis集群的高可用性。

在哨兵模式下，除了主节点和从节点外，还需要部署多个哨兵节点（sentinel）。哨兵节点的主要职责包括：

• 监控主节点和从节点的健康状态。
• 当主节点宕机时，自动进行故障转移，将某个从节点提升为主节点。
• 在故障恢复后，更新主从关系，重新配置从节点。
• 提供服务发现功能，客户端可以通过哨兵获取到当前的主节点信息。

2、工作原理

• 监控：哨兵节点周期性地向主节点和从节点发送ping请求，监测节点的健康状态。
• 故障转移：当多个哨兵节点确认主节点不可用时，哨兵将自动选举一个从节点并将其提升为新的主节点。之后，新的主节点会开始接收写操作，其他从节点会开始同步新的主节点数据。
• 配置更新：哨兵节点会向所有从节点广播新的主节点信息，从节点会自动向新的主节点同步数据。

3、优缺点

优点：

• 自动故障转移：当主节点发生故障时，哨兵会自动检测并将一个从节点提升为主节点，无需人工干预，保证了系统的高可用性。
• 高可用性：多个哨兵节点提供了高可靠性，避免了单个哨兵故障导致的影响。
• 服务发现：哨兵能够动态地向客户端提供当前的主节点信息，确保客户端总是访问到最新的主节点。

缺点：

• 复杂性高：哨兵模式相比单纯的主从复制更加复杂，配置和运维难度较大。
• 故障恢复时间较长：虽然哨兵能够自动故障转移，但在发生故障时，故障转移的过程仍然会有一定的延迟，导致短时间内系统不可用。

4、适用场景

哨兵模式适用于对高可用性有较高要求的场景，比如实时业务系统、在线服务等。

它能保证redis集群在主节点故障时依然能够提供稳定的服务。

5、配置步骤

5.1 配置哨兵文件

哨兵的配置通常在sentinel.conf文件中进行。在文件中需要指定要监控的主节点，设置监控参数等。

以下是一个简单的sentinel.conf配置文件示例：

# sentinel.conf
port 26379
sentinel monitor mymaster 192.168.1.1 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
sentinel parallel-syncs mymaster 1

• sentinel monitor mymaster <master_ip> <master_port> ：监控名为mymaster的主节点，ip为192.168.1.1，端口为6379，需要至少2个哨兵确认主节点故障。
• sentinel down-after-milliseconds mymaster 5000：主节点在5000毫秒内未响应时判定为故障。
• sentinel failover-timeout mymaster 60000：故障转移的超时时间为60秒。

启动哨兵

启动哨兵时，执行以下命令：

redis-sentinel /etc/redis/sentinel.conf

5.2 验证哨兵模式

可以通过以下命令查看哨兵的状态：

127.0.0.1:26379> info sentinel
# 输出：
# sentinel_masters
# name=mymaster
# ip=192.168.1.1
# port=6379
# quorum=2
# status=ok

三、集群模式（cluster）

1、概述

对于需要大规模分布式部署和水平扩展的应用，redis提供了集群模式（redis cluster）。与主从复制和哨兵模式不同，redis集群采用了分片的方式将数据分布到多个节点上，从而支持更高的数据存储能力和更强的扩展性。

redis集群中，数据会按照**哈希槽（hash slots）**的方式进行分配。redis集群总共有16384个哈希槽，集群中的每个节点负责一部分哈希槽。数据的分配和管理是自动完成的，客户端可以直接连接到集群中的任何节点，集群会根据请求的数据哈希值将请求路由到正确的节点。

2、工作原理

• 分片：redis cluster将所有的键值对按哈希算法分成16384个哈希槽，并将这些哈希槽分配到多个节点上。每个节点存储一部分数据，并负责该哈希槽范围内的键。
• 数据复制：每个主节点都有一个或多个从节点进行数据备份，从节点可以在主节点故障时接管。
• 故障转移：当主节点故障时，集群会自动将该主节点的从节点提升为新的主节点，确保数据的可用性。

3、优缺点

优点：

• 高扩展性：集群模式支持水平扩展，可以根据需要动态增加或减少节点，轻松处理海量数据。
• 自动故障转移：redis集群提供了自动故障转移机制，保证节点宕机时系统能够自动恢复。
• 分布式存储：数据被分片存储在不同的节点上，可以支持超大规模的数据存储。

缺点：

• 复杂性高：与主从复制和哨兵模式相比，redis集群的配置和运维复杂度更高，要求对分片、数据迁移、集群管理等有较深入的理解。
• 跨节点操作性能差：如果客户端的操作涉及多个哈希槽，redis集群需要跨节点进行通信，性能会有所下降。

4、适用场景

集群模式适用于需要大规模数据存储和高并发的场景，如社交媒体、电子商务、广告投放等场景。

对于需要支持数十亿键的数据存储和快速读写操作，redis集群是最合适的架构模式。

5、配置步骤

5.1 配置集群节点

在集群模式下，每个redis节点的配置文件中需要启用集群相关的参数：

# redis.conf
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000

• cluster-enabled yes：启用集群模式。
• cluster-config-file nodes.conf：指定集群配置文件，保存集群的节点信息。
• cluster-node-timeout 5000：设置节点超时时间。

5.2 启动集群节点

启动多个redis实例，每个实例都要使用上述配置文件。假设我们有6个节点（3个主节点，3个从节点）：

# 启动每个节点
redis-server /etc/redis/redis.conf

5.3 创建集群

使用redis-cli工具来创建集群，并为每个主节点分配从节点：

# 创建集群
redis-cli --cluster create <node1>:6379 <node2>:6379 <node3>:6379 <node4>:6379 <node5>:6379 <node6>:6379 --cluster-replicas 1

这条命令会创建一个包含3个主节点和3个从节点的集群。

5.4 验证集群状态

通过以下命令来验证集群状态：

redis-cli -c -h <node_ip> -p 6379 cluster info

总结

在redis的高可用架构中，主从复制、哨兵模式和集群模式各自有不同的适用场景和优势。选择合适的架构模式，需要根据业务的需求、系统规模、数据量和故障恢复时间的要求来决定。

• 主从复制 适用于读操作较多，写操作较少的场景，能够有效实现读写分离，提高系统性能。
• 哨兵模式 通过自动故障转移和监控，保障了redis系统的高可用性，适用于高可用性要求较高的业务场景。
• 集群模式 提供了水平扩展的能力，适用于大规模数据存储和高并发请求的场景。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持代码网。