tez

0熱

1答えて

Tez実行エンジンを使用している間にHiveでVERTEX_FAILUREエラーが発生していると説明できますか？また、それの根本的な原因は何ですか？

0熱

1答えて

Tezに別のHDFSバックエンドをサポートするライブラリを追加するにはどうしたらいいですか？

MapReduceをHiveの背後にある実行エンジンとして使用すると、私はdefaultFS.implに代替バックエンドを使用することができます。似た構文を使用： LOCATION 'protocol://address:port/dir'; 私が代わりのMapReduceのTEZ実行エンジンを使用したいのですが、TEZを認識するためには、私のシムライブラリ（jarファイル）を追加する場所を把握す

0熱

1答えて

はTEZ実行エンジンとハイブにファイルシステムを追加

外部ORCテーブルに対してTEZ実行エンジンにクエリを実行するときに、私は次のエラーが表示されます Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due

1熱

2答えて

ハイブ、TEZでクエリを実行し、オフセット

私は特定のレコードを除外しようとしていますハイブのオフセットクエリを実行しようとしているが、常に下のエラーを取得しています：問合せ： select * from sample order by id limit 1 OFFSET 1; エラー： FAILED: ParseException line 1:41 missing EOF at 'OFFSET' near '1' 私はテーブル

0熱

1答えて

糸のコンテナのサイズとTezコンテナの管理

私は約15 TBの糸資源を持つクラスターを持っています。私はハイブを通してクエリを送信しようとしています。私のデフォルトコンテナサイズは4GBです。そのクエリで割り当てられるマッパーの数は約1000です。私は糸キューに合計10％のリソースが割り当てられています。したがって、単一の時点では430のコンテナしか割り当てられません。各マッパーには合計1個のコンテナが割り当てられます。 HDFSのブロック

0熱

1答えて

各マッパーが実行するタスク

私は複数の結合を持つSQLを持っています。 2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 上記は、過去数時間にわ

0熱

1答えて

TEZ - DAGAppMaster - java.lang.IllegalArgumentExceptionが：無効なContainerIDの

私はMapReduceのジョブを起動しようとしますが、シェルまたはハイブ内のジョブをexcutingながら、私はエラーを取得する：ハイブ> SELECT COUNT（* ）従業員から; で決定削減タスクの1数のうち、クエリID = mapr_20171107135114_a574713d-7d69-45e1-aa73-d4de07a3059b総雇用= 1回の発射仕事を1時間をコンパイル：1（バ

0熱

1答えて

インパラ2.7はTEZ

私はすべての演算子組合の番号を使用しているクエリを使用して、寄木細工の保存形式に分割ハイブテーブルを移入していてハイブから作成された寄木細工のテーブルからデータを読み取ることができません。クエリーはTezを使用して実行されます。デフォルト設定では、複数のTezライターが並行してHDFS構造を作成します。ここでは、パーケットファイルはパーティションフォルダの下に（フォルダ名のTezライターIDを使用

0熱

2答えて

ハイブの参加に時間がかかりすぎるのはなぜですか？

は、私は基本的にこのように書き、コードを実行しています：表2のレコードのTABLE1内のレコードの Create table abc as select A.* from table1 A Left outer join table2 B on A.col1=B.col1 and A.col2=B.col2; 番号= 7009102 番号= 1787493 私は私のスクリプトが、私

-1熱

1答えて

スパークSQLハイブの目的は何ですか？

私は質問が何年も前に尋ねられたことは知っていますが、私はSparkSQL/HiveContextを使用する真の目的がまだ不思議です。スパークアプローチは、組み込みのMapReduceより一般的な分散方法を提供します。私はMR方法がすでに死んでいると主張している多くの記事を読んでおり、Sparkが最高です（私はSparkを通じてMRアプローチを実装できると理解しています）。 HiveContex