numpy用savez_compressed压缩数据

[1] 展示了用 scipy.io.savemat 压缩数据的写法，且在压缩二进制数据时优于 numpy.packbits。其实 numpy.savez_compressed 也能压缩，本文记录用之存压缩数据的写法，并比较其与 numpy.save 和 scipy.io.savemat 压缩效果。

用到 TotalSegmentator^[2] 的数据，一些预处理见 [3]。

Code

import os, os.path as osp
import numpy as np
import scipy.io as sio
import nibabel as nib

P = "totalsegmentator/data"

# nibabel 读 .nii.gz
img = nib.load(osp.join(P, "s0000", "ct.nii.gz"))
print(img.shape) # (294, 192, 179)
lab = nib.load(osp.join(P, "s0000", "comb_label.nii.gz"))
print(lab.shape) # (294, 192, 179)
# 转为 numpy 数组
img_np = img.get_fdata().astype(np.float32)
lab_np = (lab.get_fdata() > 0.5).astype(np.uint8)

# numpy.save
np.save("img_np", img_np)
np.save("lab_np", lab_np)

# numpy.savez_compressed
np.savez_compressed("img", img=img_np)
np.savez_compressed("lab", lab=lab_np)
np.savez_compressed("img_lab", img=img_np, lab=lab_np)

# scipy.io.savemat + do_compression
sio.savemat("img.mat", {"img": img_np}, do_compression=True)
sio.savemat("lab.mat", {"lab": lab_np}, do_compression=True)
sio.savemat("img_lab.mat", {"img": img_np, "lab": lab_np}, do_compression=True)

然后 ls -lh 查看各文件大小：

-rw-r--r--    1 itom Research  39M Jun 17 10:11 img_np.npy
-rw-r--r--    1 itom Research 9.7M Jun 17 10:11 lab_np.npy

-rw-r--r--    1 itom Research  13M Jun 17 10:11 img.npz
-rw-r--r--    1 itom Research 101K Jun 17 10:11 lab.npz
-rw-r--r--    1 itom Research  13M Jun 17 10:11 img_lab.npz

-rw-r--r--    1 itom Research  13M Jun 17 10:11 img.mat
-rw-r--r--    1 itom Research 101K Jun 17 10:11 lab.mat
-rw-r--r--    1 itom Research  13M Jun 17 10:11 img_lab.mat

结论：numpy.savez_compressed 与 scipy.io.savemat 压缩效果一样。

References

1. 压缩二进制numpy数据
2. wasserth/TotalSegmentator
3. iTomxy/data/totalsegmentator