Redis持久化

Redis之所以快，是因为读写操作都是在内存中进行的，但是我们无法避免某些原因导致Redis宕机，所以某些数据需要按照一定的策略保存到硬盘上，也就是持久化了。

两种方式

Redis 提供了 2个不同形式的持久化方式。

• RDB（Redis DataBase）
• AOF（Append Of File）

RDB（Redis DataBase）

RDB是什么意思？

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的 Snapshot 快照，它恢复时是将快照文件直接读到内存里（说起来还是有点抽象，不急，慢慢来！）

备份是如何执行的

Redis 会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。

整个过程中，主进程是不进行任何 I/O 操作的，这就确保了极高的性能，如果需要进行大规模的数据恢复，且对于数据恢复的完整性不是非常敏感，那 RDB 方式要比 AOF 方式更加的高效。RDB 的缺点就是最后一次持久化后的数据可能丢失（我们肯定很关心这是为什么，简单，待会儿就知道了）。

dump.rdb 文件

在 redis.conf 配置文件中有一项配置：dbfilename，默认是 dump.rdb 它就是 RDB 持久化方式来保存数据的文件的名称，也就是说 dump.rdb文件中保存的就是数据。

rdb 文件的保存路径默认为 Redis 启动命令行所在的目录下 dir “/” 可以看到，dump.rdb 和 redis.conf 在同一级目录下

配置文件中默认的快照配置

我们先看一眼这个配置 save 3600 1代表的意思就是：3600秒之内，至少有一个 key 发生了改变进行一次快照，之后重新计时下一个3600秒 save 300 100代表的意思就是：300秒之内，至少有100个 key 发生了改变进行一次快照，之后重新计时下一个300 秒 save 60 10000 同上 这就是 3 种不同的快照策略。

那么这时候咱应该明白 RDB 方式为什么会存在最后一次快照可能丢失数据的原因了吧？ 比如：save 300 100，在300秒之内，当时间到了200秒的时候，有50个键发生了改变，这时候还没有触发快照命令，但是突然宕机了，那么这 200 秒内发生改变的 50 的 key 的数据不是就丢失了吗？

RDB 持久化流程

命令 save 和 bgsave

save：save 时只管保存，其他不管，全部阻塞。手动保存，不建议。 bgsave：Redis 会在后台异步进行快照操作，快照同时还可以相应客户端请求。 可以通过 lastsave 命令获取最后一次成功执行快照的时间

关于 RDB 的其他配置 stop-writes-on-bgsave-error

当 Redis 无法写入磁盘的话，直接关掉 Redis 的写操作。推荐 yes

rdbcompression 压缩文件

对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis 会采用 LZF算法进行压缩。

如果不想消耗 CPU 来进行压缩的话，可以设置为关闭此功能。推荐 yes。

rdbchecksum 检查完整性

在存储快照之后，还可以让 Redis 使用 CRC64 算法来进行数据校验，但是这样做会增加大约 10% 的性能消耗，如果希望获取到最大性能的提升，可以关闭此功能。推荐 yes

优劣势

优势：

• 适合大规模的数据恢复。
• 对完整性和一致性要求不高的话更适合使用。
• 节省磁盘空间。
• 恢复速度快。

劣势：

• Fork 的时候，内存中的数据被克隆了一份，大致 2倍的膨胀性需要考虑
• 虽然 Redis 在 fork 时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能
• 如果Redis出现意外宕机的话，就会丢失最后一次快照的所有修改。

AOF（Append Only File）

AOF 又是什么意思？ 以日志的形式来记录每个写操作（增量保存），将 Redis 执行过的所有写指令记录下来（读操作不记录），只许追加文件但不可以改写文件，Redis 启动之初会读取改文件重新构建数据，换言之，Redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

AOF 持久化流程

1. 客户端的请求写命令会被 append 追加到 AOF 缓冲区内；
2. AOF 缓冲区根据 AOF持久化策略（always、everysec、no）将操作 sync 同步到磁盘的 AOF文件中；
3. AOF 文件大小超过重写策略或手动重写时，会对 AOF 文件 rewrite 重写，压缩 AOF 文件容量；
4. Redis 服务重启时，会重新 load 加载 AOF 文件中的写操作达到数据恢复的目的；

AOF 配置

默认不开启，appendonly no，改为 yes；

配置文件名称，默认为：appendonly.aof

AOF 文件的保存路径和 RDB 一致。

AOF 同频率设置

• appendfsync always：始终同步，每次 Redis 的写入都会like计入日志；性能较差但数据完整性比较好
• appendfsync everysec：每秒同步，每秒计入日志一次，如果宕机，本秒的数据可能丢失。
• appendfsync no：Redis 不主动进行同步，把同步时机交给操作系统。

AOF 和 RDB 同时开启，Redis 听谁的？

AOF 和 RDB 同时开启，重启 Redis 的时候系统默认取 AOF 的数据，因为 AOF 的数据不会丢失

aof 文件异常恢复

如遇到 AOF 文件损坏，通过 /usr/local/bin/redis-check-aof–fixappendonly.aof 进行恢复

aof 文件压缩 什么是压缩

AOF 采用文件追加方式，文件会越来越大，为了避免这种情况，新增了重写机制，当 AOF 文件的大小超过所设定的阈值时，Redis 就会启动 AOF 文件的内容压缩，只保留可以恢复数据的最小指令集，可以使用命令 bgrewriteaof

重写（压缩）的原理

AOF 文件持续增长而过大时，会 fork 出一条新的进程来将文件重写（也是先写临时文件再 rename），redis4.0 版本之后的重写，就是把 rdb 的快照以二进制的形式附在新的 aof 头部，作为已有的历史数据，替换掉原来的流水账操作。

no-appendfsync-on-rewrite： 如果为 yes ，不写入 aof 文件，只写入缓存，用户请求不会阻塞，但是在这段时间如果宕机，会丢失这段时间的缓存数据。（降低数据安全性，提高性能） 如果为 no，还是会把数据往磁盘里刷，但是遇到重写操作，可能发生阻塞。（数据安全，性能降低）

触发机制，何时重写？

Redis 会记录上次重写时的 AOF 大小，默认是当 AOF 文件大小是上次 rewrite 后大小的一倍且文件大于 64M 时触发

重写虽然可以节约大量磁盘空间，减少恢复时间。但是每次重写还是有一定的负担的，因此设定 Redis 要满足一定条件才会重写。

auto-aof-rewrite-percentage：设置重写的基准值，文件达到100% 时开始重写（文件是原来重写后文件的 2 倍时触发） auto-aof-rewrite-min-size：设置重写的基准值，最小文件 64M。达到这个值开始重写。 例如：文件达到 70M 开始重写，降到 50M，下次什么时候开始重写？100M。 系统载入时或者航次重写完毕时，Redis 会记录此时 AOF 大小，设为 base_size，如果 Redis 的 AOF 当前大小>= base_size + base_size*100%(默认)且当前大小>64M(默认)的情况下，Redis 会对 AOF 进行重写。

重写流程

• bgrewriteaof 触发重写，判断是否当前有 bgsave 或 bgrewriteaof 在运行，如果有，则等待该命令结束后再继续执行。
• 主进程 fork 出子进程执行重写操作，保证主进程不会阻塞。
• 子进程遍历redis内存中数据到临时文件，客户端的写请求同时写入aof_buf缓冲区和aof_rewrite_buf重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失
• 子进程写完新的AOF文件后，向主进程发信号，父进程更新统计信息。2).主进程把aof_rewrite_buf中的数据写入到新的AOF文件。
• 使用新的AOF文件覆盖旧的AOF文件，完成AOF重写。

优劣势

优势：

• 备份机制更稳健，丢失数据概率更低。
• 可读的日志文本，通过操作 AOF 文件，可以处理误操作。

劣势：

• 比起 RDB 占用更多的磁盘空间。
• 恢复备份速度要慢。
• 每次读写都同步的话，有一定的性能压力。
• 存在个别 BUG，造成恢复不能。

用哪个好

官方推荐两个都启用。

如果对数据不敏感，可以选单独用 RDB。

不建议单独用 AOF，因为可能会出现 BUG。

如果只是做内存缓存，可以都不用。