[linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較

xz は圧縮時間より圧縮率、圧縮展開時間比が重要な場合 (アーカイブを多数に配布する場合等) に適し、bzip2 は圧縮展開時間比より圧縮率、圧縮時間が重要な場合 (圧縮展開を繰り返す場合) に適し、gzip は圧縮率より、圧縮展開時間比が重要な場合 (xz と同様) に適すということが言える。

テストに使ったファイルは 1 つ 4.5MB 程度のテキストファイルを 22 個アーカイブした 100MB の tar ファイル。詳細は以下。

$ tar tvf log.tar
-rw-r--r-- hoge/hoge  4478655 2009-05-04 23:59 2009-05-04.log
-rw-r--r-- hoge/hoge  4544114 2009-05-05 23:59 2009-05-05.log
-rw-r--r-- hoge/hoge  4631386 2009-05-06 23:59 2009-05-06.log
-rw-r--r-- hoge/hoge  4596132 2009-05-07 23:59 2009-05-07.log
-rw-r--r-- hoge/hoge  4621793 2009-05-08 23:59 2009-05-08.log
-rw-r--r-- hoge/hoge  4415000 2009-05-09 23:59 2009-05-09.log
-rw-r--r-- hoge/hoge  4569259 2009-05-10 23:59 2009-05-10.log
-rw-r--r-- hoge/hoge  4466073 2009-05-11 23:59 2009-05-11.log
-rw-r--r-- hoge/hoge  4783604 2009-05-12 23:59 2009-05-12.log
-rw-r--r-- hoge/hoge  4636846 2009-05-13 23:59 2009-05-13.log
-rw-r--r-- hoge/hoge  4605847 2009-05-14 23:59 2009-05-14.log
-rw-r--r-- hoge/hoge  4533941 2009-05-15 23:59 2009-05-15.log
-rw-r--r-- hoge/hoge  4393997 2009-05-16 23:59 2009-05-16.log
-rw-r--r-- hoge/hoge  4879404 2009-05-17 23:59 2009-05-17.log
-rw-r--r-- hoge/hoge  4715859 2009-05-18 23:59 2009-05-18.log
-rw-r--r-- hoge/hoge  4416494 2009-05-19 23:59 2009-05-19.log
-rw-r--r-- hoge/hoge  4594489 2009-05-20 23:59 2009-05-20.log
-rw-r--r-- hoge/hoge  4469918 2009-05-21 23:59 2009-05-21.log
-rw-r--r-- hoge/hoge  4707008 2009-05-22 23:59 2009-05-22.log
-rw-r--r-- hoge/hoge  4572997 2009-05-23 23:59 2009-05-23.log
-rw-r--r-- hoge/hoge  5089547 2009-05-24 23:59 2009-05-24.log
-rw-r--r-- hoge/hoge  4631351 2009-05-25 23:59 2009-05-25.log
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge 101376000 May 28 17:52 log.tar

xz による圧縮と展開。これを含めて以降は圧縮率は最高のものを使用。

$ time xz -9 log.tar

real    497m31.607s
user    5m53.382s
sys     81m34.590s
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge  23211216 May 28 17:54 log.tar.xz
$ time xz -d log.tar.xz

real    0m8.739s
user    0m3.876s
sys     0m0.432s

bzip2 による圧縮と展開。

$ time bzip2 -9 log.tar

real    0m42.859s
user    0m21.101s
sys     0m0.280s
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge  27761964 May 28 17:54 log.tar.bz2
$ time bzip2 -d log.tar.bz2

real    0m17.876s
user    0m8.317s
sys     0m0.580s

gzip による圧縮と展開。

$ time gzip -9 log.tar

real    0m28.624s
user    0m13.961s
sys     0m0.336s
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge  41040119 May 28 17:54 log.tar.gz
$ time gzip -d log.tar.gz
-rw-r--r-- 1 hoge hoge 101376000 May 28 17:52 log.tar

xz による圧縮と展開。これを含めて以降は圧縮率が最高となるオプションを使用。

$ time xz -9 log.tar

real    497m31.607s
user    5m53.382s
sys     81m34.590s
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge  23211216 May 28 17:54 log.tar.xz
$ time xz -d log.tar.xz

real    0m8.739s
user    0m3.876s
sys     0m0.432s

bzip2 による圧縮と展開。

$ time bzip2 -9 log.tar

real    0m42.859s
user    0m21.101s
sys     0m0.280s
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge  27761964 May 28 17:54 log.tar.bz2
$ time bzip2 -d log.tar.bz2

real    0m17.876s
user    0m8.317s
sys     0m0.580s

gzip による圧縮と展開。

$ time gzip -9 log.tar

real    0m28.624s
user    0m13.961s
sys     0m0.336s
$ ls -la log.tar*
-rw-r--r-- 1 hoge hoge  41040119 May 28 17:54 log.tar.gz
$ time gzip -d log.tar.gz

real    0m3.544s
user    0m1.324s
sys     0m0.196s

まとめると以下のようになる。time コマンドの出力では user 部分がコマンドにより CPU が使用された時間。圧縮速度については xz は bzip2 と gzip に比べて 1 桁遅い。展開速度については xz は gzip と同程度、bzip2 はこれらより 1 桁遅い。xz は圧縮に CPU 時間を消費するが、圧縮ファイルを展開する回数が多いほど効率が良くなる。bzip2 は xz に圧縮時間で 1 桁短く、圧縮率で迫り、圧縮展開時間比で劣る。gzip は xz と同様の特徴を持つが、xz に比べて圧縮速度が 1 桁早く、圧縮率が悪い。

ここで圧縮速度 = (圧縮後ファイルサイズ - 圧縮前ファイルサイズ) / 圧縮時間。展開速度 = (展開後ファイルサイズ - 展開前ファイルサイズ) / 展開時間。

今回、xz, bzip2, gzip 圧縮で効率の比較を行った。その結果、xz は圧縮時間より圧縮率、圧縮展開時間比が重要な場合 (アーカイブを多数に配布する場合等) に適し、bzip2 は圧縮展開時間比より圧縮率、圧縮時間が重要な場合 (圧縮展開を繰り返す場合) に適し、gzip は圧縮率より、圧縮展開時間比が重要な場合 (xz と同様) に適すということが言える。

ダミーファイルの場合

圧縮元ファイルを圧縮に適さないランダムな内容のファイルにすることで、処理速度自体を比較できないかなぁ。

/dev/urandom をソースにして 1GB のダミーファイルを作成

$ dd if=/dev/urandom of=./dummy_file.dat count=1000 bs=1000000
1000+0 records in
1000+0 records out
1000000000 bytes (1.0 GB) copied, 129.265 s, 7.7 MB/s

gzip で圧縮展開。時間は time で計測。圧縮展開の結果は /dev/null に捨てる

$ time --verbose gzip --verbose --stdout --best ./dummy_file.dat > /dev/null
./dummy_file.dat:        -0.0%
        Command being timed: "gzip --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 79.57
        System time (seconds): 1.24
        Percent of CPU this job got: 97%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 1:22.47
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 1860
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 1
        Minor (reclaiming a frame) page faults: 137
        Voluntary context switches: 319
        Involuntary context switches: 518
        Swaps: 0
        File system inputs: 1945608
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose gzip --verbose --stdout --best ./dummy_file.dat > ./dummy_file.dat.gz
./dummy_file.dat:        -0.0%
        Command being timed: "gzip --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 80.76
        System time (seconds): 14.42
        Percent of CPU this job got: 92%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 1:42.79
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 1860
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 1
        Minor (reclaiming a frame) page faults: 137
        Voluntary context switches: 602
        Involuntary context switches: 372
        Swaps: 0
        File system inputs: 1945160
        File system outputs: 1953448
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose gzip --verbose --stdout --decompress ./dummy_file.dat.gz > /dev/null
./dummy_file.dat.gz:     -0.0%
        Command being timed: "gzip --verbose --stdout --decompress ./dummy_file.dat.gz"
        User time (seconds): 12.38
        System time (seconds): 1.20
        Percent of CPU this job got: 62%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:21.71
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 1748
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 1
        Minor (reclaiming a frame) page faults: 97
        Voluntary context switches: 1739
        Involuntary context switches: 47
        Swaps: 0
        File system inputs: 1953456
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.gz
-rw-r--r-- 1 u00 u00 1000000000 14:08 ./dummy_file.dat
-rw-r--r-- 1 u00 u00 1000161997 14:11 ./dummy_file.dat.gz

bzip2 で圧縮展開。時間は time で計測。圧縮展開の結果は /dev/null に捨てる

$ time --verbose bzip2 --verbose --stdout --best ./dummy_file.dat > /dev/null
  ./dummy_file.dat:  0.996:1,  8.035 bits/byte, -0.44% saved, 1000000000 in, 1004435202 out.
        Command being timed: "bzip2 --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 474.61
        System time (seconds): 1.30
        Percent of CPU this job got: 98%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 8:04.99
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 7596
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 0
        Minor (reclaiming a frame) page faults: 1695
        Voluntary context switches: 1368
        Involuntary context switches: 2434
        Swaps: 0
        File system inputs: 1945096
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose bzip2 --verbose --stdout --best ./dummy_file.dat > ./dummy_file.dat.bz
  ./dummy_file.dat:  0.996:1,  8.035 bits/byte, -0.44% saved, 1000000000 in, 1004435202 out.
        Command being timed: "bzip2 --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 472.55
        System time (seconds): 16.34
        Percent of CPU this job got: 97%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 8:23.94
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 7624
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 0
        Minor (reclaiming a frame) page faults: 1698
        Voluntary context switches: 2298
        Involuntary context switches: 1135
        Swaps: 0
        File system inputs: 1945152
        File system outputs: 1961792
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose bzip2 --verbose --stdout --decompress ./dummy_file.dat.bz > /dev/null
  ./dummy_file.dat.bz: done
        Command being timed: "bzip2 --verbose --stdout --decompress ./dummy_file.dat.bz"
        User time (seconds): 173.11
        System time (seconds): 1.88
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 2:56.65
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 4684
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 0
        Minor (reclaiming a frame) page faults: 970
        Voluntary context switches: 174
        Involuntary context switches: 669
        Swaps: 0
        File system inputs: 1961792
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.bz
-rw-r--r-- 1 u00 u00 1000000000 14:08 ./dummy_file.dat
-rw-r--r-- 1 u00 u00 1004435202 14:28 ./dummy_file.dat.bz

xz で圧縮展開。時間は time で計測。圧縮展開の結果は /dev/null に捨てる

$ time --verbose xz --verbose --stdout --best ./dummy_file.dat > /dev/null
./dummy_file.dat (1/1)
  100 %       953.7 MiB / 953.7 MiB = 1.000   1.0 MiB/s      15:32
        Command being timed: "xz --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 930.47
        System time (seconds): 2.10
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 15:32.80
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 691096
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 0
        Minor (reclaiming a frame) page faults: 172372
        Voluntary context switches: 23
        Involuntary context switches: 3258
        Swaps: 0
        File system inputs: 1945136
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose xz --verbose --stdout --best ./dummy_file.dat > ./dummy_file.dat.xz
./dummy_file.dat (1/1)
  100 %       953.7 MiB / 953.7 MiB = 1.000   925 KiB/s      17:35
        Command being timed: "xz --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 1042.30
        System time (seconds): 12.19
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 17:35.57
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 690900
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 15
        Minor (reclaiming a frame) page faults: 172356
        Voluntary context switches: 209
        Involuntary context switches: 3756
        Swaps: 0
        File system inputs: 1946456
        File system outputs: 1953224
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose xz --verbose --stdout --decompress ./dummy_file.dat.xz > /dev/null
./dummy_file.dat.xz (1/1)
  100 %       953.7 MiB / 953.7 MiB = 1.000    48 MiB/s       0:19
        Command being timed: "xz --verbose --stdout --decompress ./dummy_file.dat.xz"
        User time (seconds): 3.61
        System time (seconds): 1.42
        Percent of CPU this job got: 25%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:19.82
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 67684
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 15
        Minor (reclaiming a frame) page faults: 16486
        Voluntary context switches: 2684
        Involuntary context switches: 50
        Swaps: 0
        File system inputs: 1954184
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.xz
-rw-r--r-- 1 u00 u00 1000000000 14:08 ./dummy_file.dat
-rw-r--r-- 1 u00 u00 1000049572 15:04 ./dummy_file.dat.xz

元ファイルの内容が十分にランダムなので、圧縮されることはないわけだけど、生成されたファイルは以下。

$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.bz ./dummy_file.dat.gz ./dummy_file.dat.xz
-rw-r--r-- 1 u00 u00 1000000000 14:08 ./dummy_file.dat
-rw-r--r-- 1 u00 u00 1004435202 14:28 ./dummy_file.dat.bz
-rw-r--r-- 1 u00 u00 1000161997 14:11 ./dummy_file.dat.gz
-rw-r--r-- 1 u00 u00 1000049572 15:04 ./dummy_file.dat.xz

cvs ファイルの場合

適当に同じような内容が連続するファイルとして CSV ファイルをテストに使ってみた。1GB のダミーファイルを作成

$ dd if=/usr/share/mecab/dic/unidic/lex.csv of=./dummy_file.dat.tmp count=100 bs=1000000
100+0 records in
100+0 records out
100000000 bytes (100 MB) copied, 1.99075 s, 50.2 MB/s
$ cat ./dummy_file.dat.tmp > ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat
$ cat ./dummy_file.dat.tmp >> ./dummy_file.dat

gzip で圧縮展開。時間は time で計測。圧縮展開の結果は /dev/null に捨てる

$ time --verbose gzip --verbose --stdout --best ./dummy_file.dat > /dev/null
./dummy_file.dat:        91.0%
        Command being timed: "gzip --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 143.88
        System time (seconds): 1.36
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 2:26.58
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 1844
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 1
        Minor (reclaiming a frame) page faults: 148
        Voluntary context switches: 149
        Involuntary context switches: 690
        Swaps: 0
        File system inputs: 1898208
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose gzip --verbose --stdout --best ./dummy_file.dat > ./dummy_file.dat.gz
./dummy_file.dat:        91.0%
        Command being timed: "gzip --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 134.52
        System time (seconds): 1.69
        Percent of CPU this job got: 97%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 2:20.34
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 1848
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 1
        Minor (reclaiming a frame) page faults: 148
        Voluntary context switches: 181
        Involuntary context switches: 520
        Swaps: 0
        File system inputs: 1898208
        File system outputs: 175840
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose gzip --verbose --stdout --decompress ./dummy_file.dat.gz > /dev/null
./dummy_file.dat.gz:     91.0%
        Command being timed: "gzip --verbose --stdout --decompress ./dummy_file.dat.gz"
        User time (seconds): 9.49
        System time (seconds): 0.10
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:09.69
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 1756
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 1
        Minor (reclaiming a frame) page faults: 99
        Voluntary context switches: 14
        Involuntary context switches: 74
        Swaps: 0
        File system inputs: 79872
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
+ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.gz
-rw-r--r-- 1 u00 u00 1000000000 16:45 ./dummy_file.dat
-rw-r--r-- 1 u00 u00   90027408 16:50 ./dummy_file.dat.gz

bzip2 で圧縮展開。時間は time で計測。圧縮展開の結果は /dev/null に捨てる

$ time --verbose bzip2 --verbose --stdout --best ./dummy_file.dat > /dev/null
  ./dummy_file.dat: 13.852:1,  0.578 bits/byte, 92.78% saved, 1000000000 in, 72192757 out.
        Command being timed: "bzip2 --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 250.11
        System time (seconds): 1.43
        Percent of CPU this job got: 95%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 4:23.11
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 7668
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 2
        Minor (reclaiming a frame) page faults: 1692
        Voluntary context switches: 1890
        Involuntary context switches: 1807
        Swaps: 0
        File system inputs: 1898384
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose bzip2 --verbose --stdout --best ./dummy_file.dat > ./dummy_file.dat.bz
  ./dummy_file.dat: 13.852:1,  0.578 bits/byte, 92.78% saved, 1000000000 in, 72192757 out.
        Command being timed: "bzip2 --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 259.72
        System time (seconds): 1.88
        Percent of CPU this job got: 96%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 4:31.72
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 7624
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 2
        Minor (reclaiming a frame) page faults: 1692
        Voluntary context switches: 1787
        Involuntary context switches: 1385
        Swaps: 0
        File system inputs: 1898232
        File system outputs: 141008
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose bzip2 --verbose --stdout --decompress ./dummy_file.dat.bz > /dev.null
  ./dummy_file.dat.bz: done
        Command being timed: "bzip2 --verbose --stdout --decompress ./dummy_file.dat.bz"
        User time (seconds): 37.68
        System time (seconds): 0.26
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:37.98
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 4668
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 2
        Minor (reclaiming a frame) page faults: 966
        Voluntary context switches: 4
        Involuntary context switches: 158
        Swaps: 0
        File system inputs: 71968
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.bz
-rw-r--r-- 1 u00 u00 1000000000 16:45 ./dummy_file.dat
-rw-r--r-- 1 u00 u00   72192757 16:59 ./dummy_file.dat.bz

xz で圧縮展開。時間は time で計測。圧縮展開の結果は /dev/null に捨てる

$ time --verbose xz --verbose --stdout --best ./dummy_file.dat > /dev/null
./dummy_file.dat (1/1)
  100 %        59.6 MiB / 953.7 MiB = 0.062   870 KiB/s      18:42
        Command being timed: "xz --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 1117.20
        System time (seconds): 2.90
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 18:42.47
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 691008
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 0
        Minor (reclaiming a frame) page faults: 172413
        Voluntary context switches: 227
        Involuntary context switches: 7043
        Swaps: 0
        File system inputs: 1954928
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose xz --verbose --stdout --best ./dummy_file.dat > ./dummy_file.dat.xz
./dummy_file.dat (1/1)
  100 %        59.6 MiB / 953.7 MiB = 0.062   981 KiB/s      16:35
        Command being timed: "xz --verbose --stdout --best ./dummy_file.dat"
        User time (seconds): 992.17
        System time (seconds): 3.07
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 16:35.98
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 691200
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 3
        Minor (reclaiming a frame) page faults: 172411
        Voluntary context switches: 81
        Involuntary context switches: 3605
        Swaps: 0
        File system inputs: 1953200
        File system outputs: 121992
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ time --verbose xz --verbose --stdout --decompress ./dummy_file.dat.xz > /dev/null
./dummy_file.dat.xz (1/1)
  100 %        59.6 MiB / 953.7 MiB = 0.062    80 MiB/s       0:11
        Command being timed: "xz --verbose --stdout --decompress ./dummy_file.dat.xz"
        User time (seconds): 11.64
        System time (seconds): 0.23
        Percent of CPU this job got: 99%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:11.92
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 67632
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 3
        Minor (reclaiming a frame) page faults: 16502
        Voluntary context switches: 6
        Involuntary context switches: 38
        Swaps: 0
        File system inputs: 113992
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0
$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.xz
-rw-r--r-- 1 u00 u00 1000000000 16:45 ./dummy_file.dat
-rw-r--r-- 1 u00 u00   62456252 17:35 ./dummy_file.dat.xz

$ ls --time-style=+%H:%M --all --format=long ./dummy_file.dat ./dummy_file.dat.bz ./dummy_file.dat.gz ./dummy_file.dat.tmp ./dummy_file.dat.xz
-rw-r--r-- 1 u00 u00 1000000000 16:45 ./dummy_file.dat
-rw-r--r-- 1 u00 u00   72192757 16:59 ./dummy_file.dat.bz
-rw-r--r-- 1 u00 u00   90027408 16:50 ./dummy_file.dat.gz
-rw-r--r-- 1 u00 u00  100000000 16:45 ./dummy_file.dat.tmp
-rw-r--r-- 1 u00 u00   62456252 17:35 ./dummy_file.dat.xz

リファレンス

1. user sys real time - Google 検索
2. 【 time 】 指定したコマンドの実行時間を表示する - Linuxコマンド集：ITpro
3. unix - What do 'real', 'user' and 'sys' mean in the output of time(1)? - Stack Overflow
4. どうすれば本当の'、'ユーザー'と'sysは'時間の出力（1）意味ですか？
5. UNIXの部屋 コマンド検索:time (*BSD/Linux)
6. 404 Blog Not Found:tips - xzってどうよ!?
7. 千年の風に吹かれて : gzip 、 bzip2 、 xz
8. A Quick Benchmark: Gzip vs. Bzip2 vs. LZMA
9. xz bzip2 gzip - Google 検索

関連記事

gzip

1. [linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較

linux

1. [linux] UnixBench 実行用スクリプト
2. [linux] badblocks を使ったディスクの破壊的チェック
3. [linux] 起動時のカーネル及びinitシステムメッセージをコンソールに表示。
4. [linux] vmstat と free の計算
5. [linux] ハードリンクの移動
6. [linux] kernel から perf interrupt took too long と言われる。
7. [linux] WD40EZRX が COMRESET failed (errno=-16) でお亡くなりになった
8. [linux] FD のエラーテスト
9. [linux] ネットワークを再起動
10. [linux] HDD に GPT パーティション作成、reserved block count を 0 で ext4 フォーマット
11. [eth] イーサネット、サーバアダプタの追加とか交換とか
12. [iptables] torrentクライアントをfirewallの内側で快適に使う方法
13. [linux] [irq][ath] イーサネットデバイスのIRQが衝突してるってどうよ。
14. [linux] ext3のhddの予約ブロックを減らし、ext4に変換、デフラグ
15. [linux] g3dataやgraceでスキャナーで画像として取り入れたグラフの数値化
16. [linux] swapパーティションを/homeにマウント
17. [linux] 入れ子状にマウントされたディスクの使用量をduで確認
18. [linux] nfsrootで使う。
19. [linux] Linuxのハブ
20. [linux] whoisコマンドとwhoisサービス
21. [linux] grepやlsをパイプしてlessを色付きで
22. [linux] nfsのレスポンスが遅くなり、set_rtc_mmss: can't update from ** to **のエラー
23. [date] W3CDTFフォーマットでdateコマンド
24. [linux] 今まで使っていたディレクトリをシンボリックリンクにする
25. [linux] CDやDVDをddやdvdbackupを使いiso形式でバックアップ
26. [linux] 空きメモリ確認はvmstatのfreeではなくfreeの-/+ buffers/cacheのfree
27. [linux] テキスト処理のカンニングペーパー
28. [linux] 終了しないプログラムを定期的に起動チェックして起動する。
29. [vnc] vncサーバの起動と接続
30. [linux] 異なるデバイスを跨いだ mv で inter-device move failed エラー
31. [linux] mv と cp の違い
32. [linux] date コマンドでUNIX時間をローカル時刻に変換する
33. [メモ] linuxサーバをブリッジにする。
34. [linux] md5sumでファイルの同一性チェック
35. [linux] wodimでコマンドラインからcdRWの消去とisoファイルの書き込み
36. [linux] muninで死活確認、監視など
37. [linux] fork爆弾をpkillで処理
38. [linux] プロセスの死活確認、シグナル0は生存確認
39. [linux] watch でコマンドを繰り返し実行、出力の違いを強調表示
40. [linux] while の無限ループでコマンドを繰り返し実行
41. [linux] linux - manで検索するには-kオプション
42. [linux] Ctrl+D(eof)とCtrl+C(intr)をcatコマンドのリダイレクトで実感
43. [linux] cat = concatenate
44. [linux] useraddとadduserの違いはディストリビューションに依存する。
45. [linux] useraddでホームディレクトリが作られないのは-m オプションがついていないから
46. [linux] gpasswdでグループ登録用のパスワード設定、ユーザのグループ登録
47. [linux] ディスク容量が余っていてもiノードが使い果たされているとファイルを作成できない。
48. [linux] suでユーザを変わる
49. [linux] kernel から Disabling IRQ と言われる。
50. [linux] テキスト処理のまとめ
51. [linux] zipで圧縮
52. [linux] grepの結果をパイプでlessに渡して、色を付ける
53. [linux] duでマウント先を辿らずに使用量チェックするには -x オプション
54. [linux] grep で and 検索(パイプ)、or 検索(連続 -e オプション)
55. [linux] grepで設定ファイルからコメントアウトと空行を削除
56. [メモ] ddしたあとは必ずdmesgをチェック。
57. [linux] PPPoEの接続が切れると復帰しない。ifdownとifupで解決
58. [linux] PPPoEの接続が切れると復帰しない。poffとponで解決
59. [linux] PPPoEの接続切断後に自動復帰の方法/etc/network/interfaces
60. [linux] su で変わったユーザのホームディレクトリに飛ぶには su - hoge する。
61. [linux] 任意のプログラムのログファイルを一般ユーザでlogrotateする。
62. [linux] seq コマンドで桁を揃えるオプション(--format, --equal-width)
63. [linux] suでパスワード入力後、認証完了まで時間がかかる。
64. [linux] /var/log/auth.log に出る Unable to open env file: /etc/environment: No such file or directory というエラーメッセージは touch /etc/environment することで消える。
65. [linux] update-rc.dでマシン起動と終了時にiptablesルールスクリプトを走らせる。
66. [linux] umountのときにdevice is busyと言われたらumount -l
67. [linux] ジョブ管理システム。cronとかatのように指定時刻に起動するのではなくFIFOで一つ前のjobが終わったら次に進むようなもの
68. [linux] シェルスクリプトで無限ループさせるにはwhileの中で:かtrueを使う。
69. [linux] whoisとかしてみる
70. [linux] パイプ|は出力をバッファリングしない
71. [linux] ジョブキューシステムはジョブ管理システムと違うのかGearmanやTheSchwartzの話。
72. [linux] マルチメディアプレイヤーmplayerのフォークmplayer2
73. [linux] atdの-lオプションでマルチコア、マルチプロセッサ用のload factorを設定
74. [linux] atのジョブを全削除
75. [linux] tarでCannot connect to hoge:fuga.tar resolve failedエラーの解決法
76. [linux] perlの正規表現が使えるrenameコマンド
77. [linux] "sh -c"を使ってみる。
78. [linux] psで特定のプロセスのメモリ使用量を確認
79. [linux] ファイル検索するならfindの前にlocate
80. [linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較
81. [linux] XP Homeの簡易ファイル共有ディレクトリをsmbfsマウントしてユーザ権限で読み書き
82. [linux] md5sumで文字列のチェックサム確認
83. [CAD] linuxで使える3D CADシステムの下調べ。
84. [linux] fetchmailの代替
85. [linux] ファイルやディレクトリの文字化けをconvmvで修正
86. [linux] 再帰的にファイルのパーミッションを変更
87. [linux] xargsでプログラムを並列起動することによる実行速度測定
88. [linux] ネットワークスピードをnetcatとddで測定する方法
89. [linux] fsck died with exit status 8
90. [iptables] ログからIPアドレスとMACアドレスに基づくdrop
91. [linux] pgrepとpkillでプロセスをフィルタリングして一括kill
92. [linux] cronからのメールが文字化けする場合はcrontabの先頭にCONTENT_TYPE=text/plain; charset=UTF-8
93. [bash] 定期的なディスク使用量監視
94. [linux] findとxargsとmvで高速ファイル移動
95. [linux] sshを使ってsftpマウント
96. [linux] ext2でフォーマットしたusbにgrubをインストールして、usbに入れたisoから起動
97. [linux] grubのディスクを作る
98. [linux] LiveCD等を作るときの参考文献
99. [linux] aptitudeで自動的にyesを選択させるには-y、設定の選択に自動的に回答するには--force-confnew
100. [linux] sedでn行目を削除
101. [linux] sedでログに含まれるプログレスバーの整形
102. [linux] liveCD等リンクまとめ
103. [linux] pngcrushでpngのメタ情報を削除
104. [linux] optipngでpngの最適化、ファイルサイズ縮小
105. [linux] super grub2 diskをfdで利用する
106. [wget] ftpからミラーリングダウンロード
107. [GRUB] HDDのヘッダではなくパーティションにインストールしたGRUBを起動する
108. [linux] swapper: page allocation failureを解決するにはvm.min_free_kbytesを設定
109. [linux] fast boot させない
110. [linux] find や xargs で柔軟にコマンドを実行するには {} を使う
111. [linux] wodim で CD の書き込みチェック (Verify)
112. [linux] badblocks で不良ブロックを有無を確認
113. [linux] 無線 LAN アクセスポイントになる
114. [linux] mvで同じファイル名のファイルを移動させないためには-nオプション
115. [linux] find で壊れたシンボリックリンクを探す
116. [linux] j-comiから交通事故鑑定人 環倫一郎のpdfをダウンロード
117. [linux] 簡単なジョブスケジューラ
118. [linux] atとrlwrapを組み合わせて使う
119. [linux] hddの速度が遅すぎ
120. [linux] 標準出力に含まれるキーワードをsedで色付け
121. [linux] コマンド出力にタイムスタンプをつける

圧縮

1. [linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較

bzip

1. [linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較

xz

1. [linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較
2. [xz] Cannot allocate memory と言われたら --memlimit で使用メモリを制限
3. [xz] 並列数の選定

ソーシャルブックマーク

1. はてなブックマーク
2. Google Bookmarks
3. del.icio.us

日付の近い記事

1. [ssh] ssh-keygen で公開鍵と秘密鍵を作る
2. [git] ビルドプロセッサなどが生成するファイルをレポジトリから削除
3. [git] revertでpush以降のレポジトリの内容を過去のcommitまで戻す
4. [git] それぞれのレポジトリで別の名前とメールアドレスを設定する
5. [scp] ディレクトリを再帰的にコピーするには-rオプション
6. [linux] xz、bzip2、gzip の圧縮率、圧縮展開速度の比較
7. [git] レポジトリの一部だけをcloneする
8. [wanderlust] 本文がtext/html; shift_jis (quoted-printable)なメールの全文表示
9. [debian] webwmlの匿名CVSレポジトリURIがalioth.debian.orgから変更
10. [programming] プログラミング作法など
11. [debian] 新規メンテナに関するページまとめ

ChangeLog

1. Posted: 2010-01-01T13:18:18+09:00
2. Modified: 2010-01-01T13:18:18+09:00
3. Generated: 2025-05-05T23:09:09+09:00