gzipの巨大なファイル（〜30G）

Question

"gzcompress"を使って巨大なファイルを圧縮する経験がありますか？ より効率的ですtarを使って同じファイルをシェルで圧縮しますか？ もっと正確には： そのような巨大なファイルは、PHPで直接gzipされています。 PHPスクリプトは毎日cronジョブで実行されています。 私の直感は、これがシステムシェルで直接tarを実行するよりも遅いことを伝えています。 これはまだ私の直感です:)質問はそれが遅い場合ですか？どれくらい大きな差があるのであれば、違いがありますか？特に実行時間について話しているときの違い。

Answer 1

私にはPHPウェブの仕事のようには見えません。これは配信や転送のためにgzipされていますか？シェルのcronジョブで処理するために、この種のものをキューに入れます。

Answer 2

PHPはtar + gzipより高速ではありません。あなたのWebサービスプロセスにはるかに負荷がかかります。私は、アプリケーションを再設計して、キュー（データベース、ファイルシステムなど）にgzipリクエストを追加し、「要求は作業中です...」とすぐに戻り、別のプロセス（cronジョブ）が作業を完了したら、完成したバイナリにダウンロードリンクを返します。