Freeing space Cloudera-QuickStart VM-Cent OS

Question

私はテスト中に少しのスペースを埋めるMRジョブを実行しました。ジョブを実行すると、約20 GBのスペースが確保されます。私はいくつかのハイブテーブルとhdfsファイルを削除しました。しかし、私はまだパーセルディレクトリのしきい値に失敗するなどのエラーに遭遇します。

すべてのノードで未使用領域をクリーンアップするCloudera Managerコマンドがありますか？それとも空き領域を作るために使うべき他の方法がありますか？

Container [pid=10156,containerID=container_1511328141399_0037_01_000004] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 23.1 GB of 2.1 GB virtual memory used. Killing container. 
Dump of the process-tree for container_1511328141399_0037_01_000004 : 

Answer 1

まず、エラーはディスク容量ではなくメモリに関するものです。他にも強制的に起動しない限り、Cloudera Expressデスクトップアプリケーションを起動するには8GBのRAMが必要です

HDFSファイルを削除すると、ユーザのホームフォルダ内のゴミ箱に保存されます。

色相がごみ箱を空にするためのオプションがありますが、コマンドラインオプションが範囲外であるあなたも大きくなるようにVirtualBoxのハードドライブを操作することができ

hdfs dfs -expunge 

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html#expunge

注意、ですクイックスタートVMのただし、Dockerバージョンを使用しているのかどうかは不明です