Python标准库之pickle

1. pickle标准库简介

• pickle，作为名词表示泡菜，作为动词表示用醋或盐水保存食物。由此不难联想到，用存储设备持久化保存数据。而pickle标准库恰是一个 Python 对象结构的二进制序列化和反序列化的核心库，专用于表示Python语言大量数据类型，是序列化 Python 对象时的首选。
• pickle标准库是一个纯Python实现的标准版本，cPickle标准库(Python 3.x更名为_pickle)则是C语言实现的加速版本，读写效率较高。
• 实际使用Python3.x过程中，我们直接导入标准版本即可，源代码最后部分会尝试导入加速版本对应函数，不必单独导入pickle模块，如下所示：

# Use the faster _pickle if possible
try:
    from _pickle import (
        PickleError,
        PicklingError,
        UnpicklingError,
        Pickler,
        Unpickler,
        dump,
        dumps,
        load,
        loads
    )
except ImportError:
    Pickler, Unpickler = _Pickler, _Unpickler
    dump, dumps, load, loads = _dump, _dumps, _load, _loads
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

1.1 预备知识

• 数据持久化(Data Persistence)：将内存中的数据模型转换为存储模型，以及将存储模型转换为内存中的数据模型的统称，一般是指把瞬时数据（如内存中的对象）转换为持久数据永久保存到存储设备中（如磁盘）。

• 序列化\反序列化分类：二进制序列、文本序列

• 序列化(Serialization)：将对象的状态信息转换为可以存储或传输的形式的过程，目的是使内存中的状态信息持久化便于以后恢复、

  方便在网络传输以实现跨平台数据交互。

• 反序列化(Deserialization)：将序列重新恢复成对象的过程，是序列化的逆过程

1.2 pickle与json的对比

2. pickle常用函数

2.1 pickle.dump(obj, file, protocol=None, *, fix_imports=True)

将 Python 对象写入已打开的二进制文件

# define a dict object
obj={
    "name":"Bonnie",
    "isAGirl":True,
    "age":22,
    "hobbies":["guitar","singing","traveling"]
}
# 将obj写入已打开的二进制文件，序列化
with open("puppy_love.pkl","wb") as f:
    pickle.dump(obj,f,protocol=pickle.HIGHEST_PROTOCOL) # 设置为可用的最高协议
1
2
3
4
5
6
7
8
9
10

2.2 pickle.load(file, *, fix_imports=True, encoding='ASCII', errors='strict')

从已打开的二进制文件中读取打包后的对象，重建其中特定对象的层次结构并返回

# 从打开的二进制文件重建对象，反序列化
with open("puppy_love.pkl","rb") as f:
    obj_again=pickle.load(f)
print("反序列化后的对象为{}".format(obj_again))
1
2
3
4

2.3 pickle.dumps(obj, protocol=None, *, fix_imports=True)

将 obj 打包以后的对象作为bytes 类型直接返回，而不是将其写入到文件

# 将Python对象直接转为bytes类型，不写入文件
bytes_obj=pickle.dumps(obj,protocol=pickle.HIGHEST_PROTOCOL) # 设置为可用的最高协议
print("obj转换为bytes类型后为{}".format(bytes_obj))
1
2
3

2.4 pickle.loads(data, *, fix_imports=True, encoding='ASCII', errors='strict')

重建并返回一个对象的封存表示形式 data 的对象层级结构，bytes类型将反序列化为Python对象

# bytes类型将反序列化为Python对象
obj_origin=pickle.loads(bytes_obj)
print("bytes类型将反序列化为obj后{}".format(obj_origin))
1
2
3

3.参考文献

• pickle —— Python 对象序列化 — Python 3.7.13 文档