AOF介绍

AOF持久化会把被执行的写命令写到AOF文件的末尾,记录数据的变化。默认情况下,Redis是没有开启AOF持久化的,开启后,每执行一条更改Redis数据的命令,都会把该命令追加到AOF文件中,这是会降低Redis的性能,但大部分情况下这个影响是能够接受的,另外使用较快的硬盘可以提高AOF的性能

默认情况下,redis是没有开启AOF的。开启AOF功能需要设置配置:appendonly yes

AOF持久化工作流程

  1. Client作为命令的来源,会有多个源头以及源源不断的请求命令。

  2. 在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中进行保存。这里的AOF缓冲区实际上是内存中的一片区域,存在的目的是当这些命令达到一定量以后再写入磁盘,避免频繁的磁盘IO操作。

  3. AOF缓冲会根据AOF缓冲区同步文件的三种写回策略将命令写入磁盘上的AOF文件。

  4. 随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称AOF重写),从而起到AOF文件压缩的目的。

  5. 当Redis Server服务器重启的时候会队AOF文件载入数据。

AOF缓冲区三种写回策略

  • ALways:同步写回,每个写命令执行完立刻同步地将日志写会磁盘

  • everysec:每秒写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,每隔1秒把缓冲区中的内容写入到磁盘

  • no:操作系统控制的写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘

配置项 写回时机 优点 缺点
Always 同步写回 可靠性高,数据基本不丢失 每个写命令都要落盘,性能影响较大
Everysec 每秒写回 性能适中 宕机时会丢失一秒内的数据
No 操作系统控制的写回 性能好 宕机时丢失的数据较多

AOF配置及说明

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# appendonly参数开启AOF持久化
appendonly no

# AOF持久化的文件名,默认是appendonly.aof
appendfilename "appendonly.aof"

# AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的
dir ./

# 同步策略
# appendfsync always
appendfsync everysec
# appendfsync no

# aof重写期间是否同步
no-appendfsync-on-rewrite no

# 重写触发配置
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

# 加载aof出错如何处理
aof-load-truncated yes

# 文件重写策略
aof-rewrite-incremental-fsync yes

Redis7 Multi Part AOF的设计


MP-AOF实现 方案概述 顾名思义,MP-AOF就是将原来的单个AOF文件拆分成多个AOF文件。在MP-AOF中,我们将AOF分为三种类型, 分别为:

  • BASE: 表示基础AOF,它一般由子进程通过重写产生,该文件最多只有一个。

  • INCR:表示增量AOF,它一般会在AOFRW开始执行时被创建,该文件可能存在多个。

  • HISTORY:表示历史AOF,它由BASE和INCR AOF变化而来,每次AOFRW成功完成时,本次AOFRW之前对应的BASE和INCR AOF都将变为HISTORY,HISTORY类型的AOF会被Redis自动删除。

为了管理这些AOF文件,我们引入了一个manifest (清单)文件来跟踪、管理这些AOF。同时,为了便于AOF备份和拷贝,我们将所有的AOF文件和manifest文件放入一个单独的文件目录中,目录名由appenddirname配置(Redis 7.0新增配置项)决定。

Redis7.0config 中对应的配置项

正常恢复

  1. 修改默认的appendonly no,改为yes
  2. 写操作继续,生成aof文件到指定目录(然后将appendonly文件备份,使用flushdb+shutdown服务器来模拟redis宕机数据丢失,删除生成的新AOF文件(flushdb+shutdown会写入AOF文件,重启时加载AOF文件会丢失数据),然后将备份的AOF文件恢复
  3. 恢复:重启redis然后重新加载,结果OK,将数据重新写入到了redis

异常恢复

  1. 故意胡乱改动正常的AOF文件,模拟网络闪断文件写入不完整等其他异常情况
  2. 重启Redis之后就会进行AOF文件的载入,发现无法连接上Redis
  3. 异常修复命令:redis-check-aof –fix进行修复
  4. 启动后OK

AOF重写机制

由于AOF持久化是Redis不断将写命令记录到 AOF 文件中,随着Redis不断的进行,AOF 的文件会越来越大,文件越大,占用服务器内存越大以及 AOF 恢复要求时间越长。 为了解决这个问题,Redis新增了重写机制,当AOF文件的大小超过所设定的峰值时,Redis就会自动启动AOF文件的内容压缩.只保留可以恢复数据的最小指令集或者可以手动使用命令 bgrewriteaof 来重新。

启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集。

AOF重写配置文件

1
2
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

注意,只有同时满足,才会触发,上述配置表示同时满足AOF的配置文件相较上次是否增长一倍,满足此时AOF大小64MB。

  • 自动触发 ,满足配置文件中的选项后,Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时
  • 手动触发,客户端向服务器发送bgrewriteaof命令

启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集,比如有个key 开始你 set k1 v1 然后改成 set k1 v2 最后改成 set k1 v3 如果不重写,那么这3条语句都在aof文件中,内容占空间不说启动的时候都要执行一遍,共计3条命令但是,我们实际效果只需要set k1 v3这一条,所以, 开启重写后,只需要保存set k1 3就可以了只需要保留最后一次修改值,相当于给aof文件瘦身减肥,性能更好。 AOF重写不仅降低了文件的占用空间,同时更小的AOF也可以更快地被Redis加载。

重写的流程

  1. 在重写开始前,redis会创建一个“重写子进程”,这个子进程会读取现有的AOF文件,并将其包含的指令进行分析压缩并写入到一个临时文件中。
  2. 与此同时,主进程会将新接收到的写指令一边累积到内存缓冲区中,一边继续写入到原有的AOF文件中,这样做是保证原有的AOF文件的可用性,避免在重写过程中出现意外。
  3. 当“重写子进程”完成重写工作后,它会给父进程发一个信号,父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中
  4. 当追加结束后,redis就会用新AOF文件来代替旧AOF文件,之后再有新的写指令,就都会追加到新的AOF文件中
    重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似

AOF优劣

优势

更好的保护数据不丢失、性能高、可做紧急恢复

  • 使用AOF Redis 更加持久: 您可以有不同的fsync 策略: 根本不fsync、每秒 fsync、每次查询时fsync。使用每秒fsync的默认策略,写入性能仍然很棒。fsync 是使用后台线程执行的,当没有fsync正在进行时,主线程将努力执行写入,因此您只能丢失一秒钟的写入。
  • AOF 日志是一个仅附加日志,因此不会出现寻道问题,也不会在断电时出现损坏问题。即使由于某种原因(磁盘已满或其他原因) 日志以写一半的命令结尾,redis-check-aof 工具也能够轻松修复它。
  • 当AOF 变得太大时,Redis 能够在后台自动重写AOF。重写是完全安全的,因为当 Redis继续附加到旧文件时,会使用创建当前数据集所需的最少操作集生成一个全新的文件,一旦第二个文件准备就绪,Redis 就会切换两者并开始附加到新的那一个。
  • AOF以易于理解和解析的格式依次包含所有操作的日志。您甚至可以轻松导出AOF文件。例如,即使您不小心使用孩FLUSHALL命令刷新了所有内容,只要在此期间没有执行日志重写,您仍然可以通过停止服务器、删除最新命令并重新启动 Redis 来保存您的数据集。

劣势

相同数据集的数据而言AOF文件要远大于RDB文件,恢复速度慢于RDB

AOF运行效率要慢于RDB,每秒同步策略效率较好,不同步效率和RDB相同

OF文件通常比相同数据集的等效 RDB 文件大。
根据确切的 fsync策略,AOF可能比 RDB 慢。一般来说,将fsync 设置为每秒性能仍然非常高,并且在禁用 fsync的情况下,即使在高负载下它也应该与 RDB 一样快。即使在巨大的写入负载的情况下,RDB仍然能够提供关于最大延迟的更多保证。

RDB和AOF应该怎么选择

怎么选?用哪个?

  • RDB持久化方式能够在指定的时间间隔对你的数据进行快照存储。
  • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾。

同时开启两种持久化方式

  • 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。
  • RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。但是作者也不建议只使用AOF方式备份,因为RDB更适合用于备份数据库(AOF在不断的变化不好备份),留着RDB作为一个万一的手段。

推荐方式

RDB+AOF混合方式

  1. 开启混合方式设置 aof-use-rdb-preamble为yes,
  2. RDB镜像做全量持久化,AOF做增量持久化 先使用RDB进行快照存储,然后使用AOF持久化记录所有的写操作,当重写策略满足或手动触发重写的时候,将最新的数据存储为新的RDB记录。这样的话,重启服务的时候会从RDB和AOF两部分恢复数据,既保证了数据完整性,又提高了恢复数据的性能。

参考文章

Redis持久化机制:RDB和AOF
尚硅谷学习视频