多线程解压缩 pigz
-
pigz支持多线程并行处理
之前处理好的数据大约50G左右,记得用zip压缩差不多要1个小时,用pigz不到10分钟,8w条数据,大文件压缩速度效果挺明显的sudo apt-get update -y sudo apt-get install -y pigz
用coco数据集测试一下
经过测试,
pigz 大约1分钟压缩 1.3g左右
zip 大约1分钟压缩 1.1g左右
因为colab这个cpu只有2个线程,而推荐的是8个线程起步,所以速度差距没有那么明显参考:
https://wangchujiang.com/linux-command/c/pigz.html
https://zoomadmin.com/HowToInstall/UbuntuPackage/pigz -
这个方法挺实用的~