• 沒有找到結果。

RDB 文件结构

4.4 慢查询日志

5.2.4 RDB 文件结构

前面介绍了保存和读取 RDB 文件的两个函数,现在,是时候介绍 RDB 文件本身了。

一个 RDB 文件可以分为以下几个部分:

+---+---+---+---+---+---+

| REDIS | RDB-VERSION | SELECT-DB | KEY-VALUE-PAIRS | EOF | CHECK-SUM | +---+---+---+---+---+---+

|<--- DB-DATA --->|

以下的几个小节将分别对这几个部分的保存和读入规则进行介绍。

REDIS

文件的最开头保存着 REDIS 五个字符,标识着一个 RDB 文件的开始。

在读入文件的时候,程序可以通过检查一个文件的前五个字节,来快速地判断该文件是否有可 能是 RDB 文件。

RDB-VERSION

一个四字节长的以字符表示的整数,记录了该文件所使用的 RDB 版本号。

目前的 RDB 文件版本为 0006 。

因为不同版本的 RDB 文件互不兼容,所以在读入程序时,需要根据版本来选择不同的读入方 式。

SELECT-DB

这域保存着跟在后面的键值对所属的数据库号码。

在读入 RDB 文件时,程序会根据这个域的值来切换数据库,确保数据被还原到正确的数据库 上。

KEY-VALUE-PAIRS

因为空的数据库不会被保存到 RDB 文件,所以这个部分至少会包含一个键值对的数据。

每个键值对的数据使用以下结构来保存:

+---+---+---+---+

| OPTIONAL-EXPIRE-TIME | TYPE-OF-VALUE | KEY | VALUE | +---+---+---+---+

OPTIONAL-EXPIRE-TIME 域是可选的,如果键没有设置过期时间,那么这个域就不会出现;反 之,如果这个域出现的话,那么它记录着键的过期时间,在当前版本的 RDB 中,过期时间是 一个以毫秒为单位的 UNIX 时间戳。

KEY 域保存着键,格式和 REDIS_ENCODING_RAW 编码的字符串对象一样(见下文)。

TYPE-OF-VALUE 域记录着 VALUE 域的值所使用的编码,根据这个域的指示,程序会使用不同的 方式来保存和读取 VALUE 的值。

Note: 下文提到的编码在《对象处理机制》章节介绍过,如果忘记了可以回去重温下。

保存 VALUE 的详细格式如下:

• REDIS_ENCODING_INT 编码的 REDIS_STRING 类型对象:

如果值可以表示为 8 位、16 位或 32 位有符号整数,那么直接以整数类型的形式来保存 它们:

+---+

| integer | +---+

比如说,整数 8 可以用 8 位序列 00001000 保存。

当读入这类值时,程序按指定的长度读入字节数据,然后将数据转换回整数类型。

另一方面,如果值不能被表示为最高 32 位的有符号整数,那么说明这是一个 long long 类型的值,在 RDB 文件中,这种类型的值以字符序列的形式保存。

一个字符序列由两部分组成:

+---+---+

| LEN | CONTENT | +---+---+

其中,CONTENT 域保存了字符内容,而 LEN 则保存了以字节为单位的字符长度。

当进行载入时,读入器先读入 LEN ,创建一个长度等于 LEN 的字符串对象,然后再从文 件中读取 LEN 字节数据,并将这些数据设置为字符串对象的值。

• REDIS_ENCODING_RAW 编码的 REDIS_STRING 类型值有三种保存方式:

128 Chapter 5. 内部运作机制

Redis 设计与实现, 第一版

1. 如果值可以表示为 8 位、16 位或 32 位长的有符号整数,那么用整数类型的形式来 保存它们。

2. 如果字符串长度大于 20 ,并且服务器开启了 LZF 压缩功能,那么对字符串进行压 缩,并保存压缩之后的数据。

经过 LZF 压缩的字符串会被保存为以下结构:

+---+---+---+

| LZF-FLAG | COMPRESSED-LEN | COMPRESSED-CONTENT | +---+---+---+

LZF-FLAG 告知读入器,后面跟着的是被 LZF 算法压缩过的数据。

COMPRESSED-CONTENT 是被压缩后的数据,COMPRESSED-LEN 则是该数据的字节长度。

3. 在其他情况下,程序直接以普通字节序列的方式来保存字符串。比如说,对于一个 长度为 20 字节的字符串,需要使用 20 字节的空间来保存它。

这种字符串被保存为以下结构:

+---+---+

| LEN | CONTENT | +---+---+

LEN 为字符串的字节长度,CONTENT 为字符串。

当进行载入时,读入器先检测字符串保存的方式,再根据不同的保存方式,用不同的方法 取出内容,并将内容保存到新建的字符串对象当中。

• REDIS_ENCODING_LINKEDLIST 编码的 REDIS_LIST 类型值保存为以下结构:

+---+---+---+---+---+

| NODE-SIZE | NODE-VALUE-1 | NODE-VALUE-2 | ... | NODE-VALUE-N | +---+---+---+---+---+

其中 NODE-SIZE 保存链表节点数量,后面跟着任意多个节点值。节点值的保存方式和字 符串的保存方式一样。

当进行载入时,读入器读取节点的数量,创建一个新的链表,然后一直执行以下步骤,直 到指定节点数量满足为止:

1. 读取字符串表示的节点值

2. 将包含节点值的新节点添加到链表中

• REDIS_ENCODING_HT 编码的 REDIS_SET 类型值保存为以下结构:

+---+---+---+---+---+

| SET-SIZE | ELEMENT-1 | ELEMENT-2 | ... | ELEMENT-N | +---+---+---+---+---+

SET-SIZE 记录了集合元素的数量,后面跟着多个元素值。元素值的保存方式和字符串的 保存方式一样。

载入时,读入器先读入集合元素的数量 SET-SIZE ,再连续读入 SET-SIZE 个字符串,并 将这些字符串作为新元素添加至新创建的集合。

• REDIS_ENCODING_SKIPLIST 编码的 REDIS_ZSET 类型值保存为以下结构:

其中 ELEMENT-SIZE 为有序集元素的数量, MEMBER-i 为第 i 个有序集元素的成员,

SCORE-i 为第 i 个有序集元素的分值。

当进行载入时,读入器读取有序集元素数量,创建一个新的有序集,然后一直执行以下步 骤,直到指定元素数量满足为止:

1. 读入字符串形式保存的 member

2. 读入字符串形式保存的 score ,并将它转换为浮点数 3. 添加 member 为成员、score 为分值的新元素到有序集

• REDIS_ENCODING_HT 编码的 REDIS_HASH 类型值保存为以下结构:

+---+---+---+---+---+---+---+---+

| HASH-SIZE | KEY-1 | VALUE-1 | KEY-2 | VALUE-2 | ... | KEY-N | VALUE-N | +---+---+---+---+---+---+---+---+

HASH-SIZE 是哈希表包含的键值对的数量,KEY-i 和 VALUE-i 分别是哈希表的键和值。

载入时,程序先创建一个新的哈希表,然后读入 HASH-SIZE ,再执行以下步骤 HASH-SIZE 次:

1. 读入一个字符串 2. 再读入另一个字符串

3. 将第一个读入的字符串作为键,第二个读入的字符串作为值,插入到新建立的哈希 中。

• REDIS_LIST 类 型、 REDIS_HASH 类 型 和 REDIS_ZSET 类 型 都 使 用 了 REDIS_ENCODING_ZIPLIST 编码,ziplist 在 RDB 中的保存方式如下:

+---+---+

| LEN | ZIPLIST | +---+---+

载入时,读入器先读入 ziplist 的字节长,再根据该字节长读入数据,最后将数据还原 成一个 ziplist 。

• REDIS_ENCODING_INTSET 编码的 REDIS_SET 类型值保存为以下结构:

+---+---+

| LEN | INTSET | +---+---+

载入时,读入器先读入 intset 的字节长度,再根据长度读入数据,最后将数据还原成 intset 。

EOF

标志着数据库内容的结尾(不是文件的结尾),值为 rdb.h/EDIS_RDB_OPCODE_EOF (255)。

CHECK-SUM

RDB 文件所有内容的校验和,一个 uint_64t 类型值。

REDIS 在写入 RDB 文件时将校验和保存在 RDB 文件的末尾,当读取时,根据它的值对内容 进行校验。

130 Chapter 5. 内部运作机制

Redis 设计与实现, 第一版

如果这个域的值为 0 ,那么表示 Redis 关闭了校验和功能。

5.2.5 小结

• rdbSave 会将数据库数据保存到 RDB 文件,并在保存完成之前阻塞调用者。

SAVE 命令直接调用 rdbSave ,阻塞 Redis 主进程;BGSAVE 用子进程调用 rdbSave , 主进程仍可继续处理命令请求。

SAVE 执行期间,AOF 写入可以在后台线程进行,BGREWRITEAOF 可以在子进程进 行,所以这三种操作可以同时进行。

• 为了避免产生竞争条件,BGSAVE 执行时,SAVE 命令不能执行。

• 为了避免性能问题,BGSAVE 和 BGREWRITEAOF 不能同时执行。

• 调用 rdbLoad 函数载入 RDB 文件时,不能进行任何和数据库相关的操作,不过订阅与 发布方面的命令可以正常执行,因为它们和数据库不相关联。

• RDB 文件的组织方式如下:

+---+---+---+---+---+---+

| REDIS | RDB-VERSION | SELECT-DB | KEY-VALUE-PAIRS | EOF | CHECK-SUM | +---+---+---+---+---+---+

|<--- DB-DATA --->|

• 键值对在 RDB 文件中的组织方式如下:

+---+---+---+---+

| OPTIONAL-EXPIRE-TIME | TYPE-OF-VALUE | KEY | VALUE | +---+---+---+---+

RDB 文件使用不同的格式来保存不同类型的值。