python开发模块基础:序列化模块json,pickle,shelve

一,为什么要序列化

# 将原本的字典、列表等内容转换成一个字符串的过程就叫做序列化
'''
比如,我们在python代码中计算的一个数据需要给另外一段程序使用,那我们怎么给?
现在我们能想到的方法就是存在文件里,然后另一个python程序再从文件里读出来。
但是我们都知道,对于文件来说是没有字典这个概念的,所以我们只能将数据转换成字典放到文件中。
你一定会问,将字典转换成一个字符串很简单,就是str(dic)就可以办到了,为什么我们还要学习序列化模块呢?
没错序列化的过程就是从dic 变成str(dic)的过程。现在你可以通过str(dic),将一个名为dic的字典转换成一个字符串,
但是你要怎么把一个字符串转换成字典呢?
聪明的你肯定想到了eval(),如果我们将一个字符串类型的字典str_dic传给eval,就会得到一个返回的字典类型了。
eval()函数十分强大,但是eval是做什么的?e官方demo解释为:将字符串str当成有效的表达式来求值并返回计算结果。
BUT!强大的函数有代价。安全性是其最大的缺点。
想象一下,如果我们从文件中读出的不是一个数据结构,而是一句"删除文件"类似的破坏性语句,那么后果实在不堪设设想。
而使用eval就要担这个风险。
所以,我们并不推荐用eval方法来进行反序列化操作(将str转换成python中的数据结构)
'''
# 序列化的目的
# 1、以某种存储形式使自定义对象持久化;
# 2、将对象从一个地方传递到另一个地方。
# 3、使程序更具维护性。
# 数据结构 --> 序列化 --> str
# str --> 反序列化 --> 数据结构

二,json模块

json 不是python发明的,所有的语言都在用,语言之间用字符串传递
json 字符串 字典 列表可以的
json 模块提供四个功能:dumps,dump,loads,load

# 将PYTHON基本数据类型转化为字符串形式
import json
ret_s = json.dumps(d)
print(ret_s,type(ret_s)) # 将PYTHON字符串形式转化成基本数据类型
ret_d = json.loads(ret_s)
print(ret_d,type(ret_d)) import json
# li = "['alex','eric']" 报错,因为其他语言的原因,''在其他语言里面是字符
li = '["alex","eric"]'
ret = json.loads(li)
print(ret,type(ret)) # ['alex', 'eric'] <class 'list'> #注意字符串必须是一个双引号,单引号就会报错
f = open('json_file')
d_s = f.read()
print(json.loads(d_s))
f.close() # 小结 内存操作
#dumps 结构化的数据类型转字符串
#loads 字符串转结构化数据类型 结构化数据类型中的所有字符串必须是双引号引用 # 写回文件 dump load 操作文件跟序列化的关系
f = open('json_file','w')
dic = {'k1':'v1','k2':'v2','k3':'v3'}
json.dump(dic,f) # 先序列化,在写文件
# f.write(json.dumps(dic)) #是先dumps转成字符串在写入文件
f.close() f = open('json_file')
dic2 = json.load(f) # 打开文件,然后转化成数据类型,load在你打开过程中帮你loads了
print(dic2,type(dic2)) #直接就是一个字典类型,不需要转化
f.close()

四,shelve模块

shelve也是python提供给我们的序列化工具,比pickle用起来更简单一些。
shelve只提供给我们一个open方法,是用key来访问的,使用起来和字典类似

 #!/usr/bin/env python
#_*_coding:utf-8_*_ import shelve
f = shelve.open('shelve_file')
f['key'] = {'int':10, 'float':9.5, 'string':'Sample data'} #直接对文件句柄操作,就可以存入数据
f.close() import shelve
f1 = shelve.open('shelve_file')
existing = f1['key'] #取出数据的时候也只需要直接用key获取即可,但是如果key不存在会报错
f1.close()
print(existing) #注意:这个模块有个限制,它不支持多个应用同一时间往同一个DB进行写操作。
# 所以当我们知道我们的应用如果只进行读操作,我们可以让shelve通过只读方式打开DB
import shelve #只读模式,就不会影响写的人了
f = shelve.open('shelve_file', flag='r')
existing = f['key']
f.close()
print(existing) #注意:由于shelve在默认情况下是不会记录待持久化对象的任何修改的,
# 所以我们在shelve.open()时候需要修改默认参数,否则对象的修改不会保存。
import shelve
f1 = shelve.open('shelve_file') #没有改
print(f1['key'])
f1['key']['new_value'] = 'this was not here before'
f1.close() f2 = shelve.open('shelve_file', writeback=True) #改了
print(f2['key'])
f2['key']['new_value'] = 'this was not here before'
f2.close() # 小结:writeback方式有优点也有缺点。优点是减少了我们出错的概率,并且让对象的持久化对用户更加的透明了;
# 但这种方式并不是所有的情况下都需要,首先,使用writeback以后,shelf在open()的时候会增加额外的内存消耗,
# 并且当DB在close()的时候会将缓存中的每一个对象都写入到DB,这也会带来额外的等待时间。
# 因为shelve没有办法知道缓存中哪些对象修改了,哪些对象没有修改,因此所有的对象都会被写入。
上一篇:python开发模块基础:collections模块¶miko模块


下一篇:[分享]4412开发板Android教程——Android开发环境搭建