menu Chancel's blog
rss_feed
Chancel's blog
有善始者实繁,能克终者盖寡。

加速tar压缩速度(pigz)

作者:Chancel Yang, 创建:2023-08-25, 字数:466, 已阅:76, 最后更新:2023-08-28

这篇文章更新于 245 天前,文中部分信息可能失效,请自行甄别无效内容。

在默认情况下,tar是单线程压缩的,对cpu的利用率并不高,当需要压缩一些大型内容时不是很方便,我们可以借助pigz来压榨所有CPU性能进行压缩

pigzgzip 命令的多线程版本,可以加速压缩过程,安装如下

Bash
sudo apt install -y pigz

首先确认自己的核心数量,$(nproc)是你的核心数

Bash
echo $(nproc)

压缩方式如下,根据需要替换压缩文件夹source_directory和压缩文件输出名archive.tar.gz,根据需要修改$(nproc)的大小(100%cpu的话则直接使用$(nproc)即可)

Bash
tar cf - <source_directory> | pigz -p $(nproc) > archive.tar.gz

解压方式如下

Bash
pigz -d -p $(nproc) -c archive.tar.gz | tar xf -

[[replyMessage== null?"发表评论":"发表评论 @ " + replyMessage.m_author]]

account_circle
email
web_asset
textsms

评论列表([[messageResponse.total]])

还没有可以显示的留言...
[[messageItem.m_author]] [[messageItem.m_author]]
[[messageItem.create_time]]
[[getEnviron(messageItem.m_environ)]]
[[subMessage.m_author]] [[subMessage.m_author]] @ [[subMessage.parent_message.m_author]] [[subMessage.parent_message.m_author]]
[[subMessage.create_time]]
[[getEnviron(messageItem.m_environ)]]