CentOS 6.5 x86-64上的Linux壓縮工具大比拼

作者：布加迪編譯 2014-07-04 11:29:52

文件壓縮是老把戲：最先能夠壓縮文章的軟件之一是“SQ”，其歷史可以追溯到上世紀(jì)80年代初期，而第一款廣泛使用、眾所周知的壓縮工具恐怕非1989年發(fā)布的ZIP莫屬。

【51CTO精選譯文】今年，我想為各位讀者轉(zhuǎn)發(fā)Gionatan Danti所寫的一篇饒有意思的文章，這篇文章***發(fā)表于其個(gè)人博客http://www.ilsistemista.net/，但愿大家也與我一樣很喜歡這篇文章。

文件壓縮是老把戲：***能夠壓縮文章的軟件之一是“SQ”，其歷史可以追溯到上世紀(jì)80年代初期，而***款廣泛使用、眾所周知的壓縮工具恐怕非1989年發(fā)布的ZIP莫屬。

換句話說，壓縮文件以節(jié)省存儲(chǔ)空間不是什么新鮮事；雖然目前TB級(jí)別的低成本磁盤提供了龐大空間，但有時(shí)壓縮還是頗受歡迎，因?yàn)榧用懿粌H縮減了存儲(chǔ)數(shù)據(jù)所需的空間，由于減少了寫入到存儲(chǔ)子系統(tǒng)或從存儲(chǔ)子系統(tǒng)讀取的數(shù)據(jù)量，甚至還能提升輸入/輸出性能。如果將越來越快的處理器速度與多少停滯不前的機(jī)械磁盤性能（當(dāng)然固態(tài)硬盤是另一碼事）相比較，更是如此。

雖然壓縮算法和軟件各不一樣，但我們基本上可以分成兩大類：普通的無損壓縮工具和專門的有損壓縮工具。

后一類包括壓縮系數(shù)相當(dāng)高的壓縮工具，只有當(dāng)你想保護(hù)整個(gè)一般的信息，你又沒有興趣想準(zhǔn)確呈現(xiàn)原始數(shù)據(jù)的每個(gè)比特，才通常使用它們。換句話說，你可以使用有損壓縮工具，用來存儲(chǔ)高分辨率照片或歌曲，而不是用來將壓縮后的可執(zhí)行文件存儲(chǔ)到磁盤上（可執(zhí)行文件需要逐個(gè)比特地***存儲(chǔ)），或者用來存儲(chǔ)文本日志文件（我們不想丟失文本文件方面的信息，是吧？）。

所以，如果是一般的使用場(chǎng)合，無損壓縮工具是不二的選擇。但是面對(duì)那么多可用的壓縮工具，該選擇哪個(gè)是好？有時(shí)候，不同的壓縮軟件使用同一種基本算法，或者甚至同一種庫(kù)實(shí)現(xiàn)方法，于是到底使用哪一種壓縮工具是相對(duì)不大重要的選擇。不過，在比較使用不同壓縮算法的壓縮工具時(shí)，選擇勢(shì)必是加權(quán)的選擇：你看重的是高壓縮比還是壓縮速度？換句話說，你是需要一種速度快、壓縮比低的算法，還是一種速度快，但壓縮比高的算法？

我們?cè)诒疚闹袑⒔榻B多款基于幾種不同壓縮庫(kù)的不同壓縮工具：

•lz4：一種新的高速壓縮軟件和算法。

•lzop：基于快速的lzo庫(kù)，實(shí)現(xiàn)了LZO算法。

•gzip和pigz（多線程gzip）：基于zip庫(kù)，實(shí)現(xiàn)了ZIP算法。

•bzip2和pbzip2（多線程bzip2）：基于libbzip2庫(kù)，實(shí)現(xiàn)了Burrows–Wheeler壓縮方法。

•7-zip：主要（但不是完全）基于LZMA算法。

•xz：另一種基于LZMA的軟件。

軟件、實(shí)現(xiàn)、庫(kù)和算法

在講解壓縮未經(jīng)處理的原始數(shù)據(jù)之前，不妨先闡述一下相關(guān)術(shù)語。

無損壓縮算法是一種數(shù)學(xué)算法，它定義了如何將特定的數(shù)據(jù)集縮減（壓縮）成比較小的數(shù)據(jù)集，但又不丟失信息。換句話說，它需要使用比原始版本更少的比特編碼信息，但又不丟失信息。要想做到有用，壓縮算法必須是可逆的――它應(yīng)該讓我們能夠還原壓縮后的數(shù)據(jù)集，獲得原始源數(shù)據(jù)集的精確副本。不難看到基本功能（壓縮、壓縮比和壓縮速度）如何根源于算法本身，而不同算法的壓縮結(jié)果和適應(yīng)范圍大不一樣。

下一步就是算法實(shí)現(xiàn)――簡(jiǎn)而言之，用來表示壓縮算法的數(shù)學(xué)行為的實(shí)際代碼。這是另一個(gè)關(guān)鍵的步驟：比如說，向量化代碼或多線程代碼的速度比普通的單線程代碼要快得多。

如果某種代碼實(shí)現(xiàn)被認(rèn)為足夠好，它常常以一種獨(dú)立的方式來封包化，形成壓縮庫(kù)。以一種獨(dú)立的庫(kù)來分化算法實(shí)現(xiàn)的優(yōu)點(diǎn)在于，你可以編寫好多不同的壓縮軟件，而不需要多次重新實(shí)現(xiàn)基本的算法。

***，我們有了壓縮軟件本身。壓縮軟件提供了命令行接口（CLI）或圖形用戶界面（GUI），把用戶和壓縮庫(kù)“結(jié)合”起來。

有時(shí)候，算法、庫(kù)和程序有同一個(gè)名稱（比如：zip）。而有時(shí)候，我們沒有獨(dú)立的庫(kù)，但它完全是在壓縮軟件里面編制的。雖然這有點(diǎn)讓人混淆，但上述內(nèi)容仍然適用。

總而言之，我們的基準(zhǔn)測(cè)試將涵蓋算法、庫(kù)和軟件，如下所示：

測(cè)試平臺(tái)和方法

基準(zhǔn)測(cè)試在搭載如下配置的系統(tǒng)上進(jìn)行：

•PhenomII 940處理器（四核@ 3.0 GHz，1.8 GHz北橋和6 MB三級(jí)緩存）

•8 GB DDR2-800 DRAM（雙通道內(nèi)存模式）

•華碩M4A78 Pro主板（采用AMD 780G + SB700芯片組）

•4只500 GB硬盤（1只西部數(shù)據(jù)綠盤，3只希捷魚子醬），4只硬盤采用高級(jí)主機(jī)控制器接口（AHCI）模式，配置方式采用了軟件RAID 10“near”布局。

•操作系統(tǒng)CentOS 6.5 x64

我對(duì)兩種不同數(shù)據(jù)集的壓縮和解壓縮進(jìn)行了計(jì)時(shí)：

1.含有未經(jīng)壓縮的CentOS 6.5 最小安裝/（root）映像（/boot不包括在內(nèi)）的tar文件

2.含有Linux 3.14.1穩(wěn)定內(nèi)核的tar文件

為了避免磁盤子系統(tǒng)帶來的任何影響，我將兩個(gè)數(shù)據(jù)集都移到了使用內(nèi)存作為后備存儲(chǔ)器的/dev/shm目錄（你可以將它視作內(nèi)存虛擬盤）。

如果可能，我盡量將單線程結(jié)果與多線程結(jié)果分開來。不過，7-zip似乎沒有線程選擇選項(xiàng)；默認(rèn)情況下，處理器提供多少硬件線程，它就能生成多少線程。于是，我用星號(hào)（*）來標(biāo)記7-zip的結(jié)果。

許多壓縮工具可以進(jìn)行某種調(diào)優(yōu)――比如說，選擇“-1”通常意味著比“-9”更快（但效果較差）的壓縮。我還在適用的地方試用了這些標(biāo)記。

壓縮CentOS 6.5根映像文件

不妨先壓縮主要含有大量可執(zhí)行文件的數(shù)據(jù)集：最小的CentOS 6.5根映像文件來開始我們的分析。可執(zhí)行文件和二進(jìn)制文件常常可以縮減，盡管壓縮低有點(diǎn)偏低。

如你所見，無論是壓縮還是解壓縮，lz4和lzop都兌現(xiàn)了速度很快這一承諾――不過lz4是絕對(duì)的贏家。另一方面，它們的壓縮系數(shù)比較低。不過，要求它們提高壓縮比（通過“-9”參數(shù)選項(xiàng)符），它們的速度就會(huì)大幅慢下來，并不生成明顯更小的文件。

Gzip、尤其是bzip2的表現(xiàn)不是很好；雖然它們的壓縮系列更高（3X），但它們存在性能嚴(yán)重下降的不足。

7-zip和xz都有非常慢的壓縮速度，但有著很高的壓縮比和尚可接受的解壓縮速度。

切記：這些是單線程結(jié)果。可以使用一些多線程壓縮軟件，讓擁有多核的現(xiàn)代處理器充分利用起來：