作家
登录

使用parallel 利用起你的所有CPU资源

作者: 来源: 2017-12-25 11:03:20 阅读 我要评论

| parallel cjpeg -outfile LoRes/{} {}

下面这些实际的应用 parallel 的例子可能会更轻易懂得一些。

应用 parallel 来进行 JPEG 紧缩

parallel 是一款异常好用的对象,应当参加到你的体系治理对象包中,在合适的场合它能帮你节俭大年夜量的时光。

此次紧缩所有图像的时光缩减到了 0m10.814s。大年夜 top 显示中可以很清跋扈地看出不合:

所有 CPU 核都满负荷运行,有 8 个线程对应应用 8 个 CPU 核。

parallel 与 gzip 连用

如不雅你须要紧缩多个文件而不是一个大年夜文件,那么 parallel 就能用来进步处理速度。如不雅你须要紧缩单个文件而同时又想要应用所有的 CPU 核的话,那么你应当 gzip 的多线程替代品 pigz。

起首,我用随机数据创建了 100 个大年夜约 1GB 的文件:

  1. for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done

然而我用 find -exec 敕令来进行紧缩:

  1. find . -type f -name "file*" -exec gzip {} ';'

总共耗时 0m28.028s,并且也是只应用了单核。

换成 parallel 版本:

  1. find . -type f -name "file*" | parallel gzip {}

耗时削减到了 0m5.774s



  推荐阅读

  视频市场竟如此暴利,你知道吗?

互联网视频流量毕竟有多大年夜?视频类B端企业每年要消费若干成本?为什么会有这么高的成本?今天图鸭君就和大年夜家来谈一>>>详细阅读


本文标题:使用parallel 利用起你的所有CPU资源

地址:http://www.17bianji.com/lsqh/40129.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)