yarn

0熱

1答えて

私はJavaでMR2ジョブを持っています。コンテナ内のコンテナキルを検出して処理することは可能ですか？私は Runtime.getRuntime().addShutdownHook(new Hooker(this)); ようなコードを使用しようとしたが、フッカークラスのインスタンスからのログは見つからなかったがありました。このコンテナのJavaヒープダンプを取得することは可能でしょうか？

0熱

1答えて

リモート展開によるHadoop Key-Valueストア

私のアプリケーションは、Kerberos keytabを使用した糸クラスターモードのspark-submitと、このガイドのプリンシパル（https://spark.apache.org/docs/latest/running-on-yarn.html）を経由してリモートからPCから起動されます。この方法の利点は、自分のバージョンのスパークがどのクラスタにもあることです。 HADOOP_CONF_

0熱

2答えて

'gradlew assembleRelease'を使ってネイティブAndroidビルドに失敗する

私のアプリはGenymotionエミュレータで完全に動作します。しかし、私はapp-release.apkの構築に直面しています。 React native version: 0.46.x そしてbuild.gradleファイル：また ... android { compileSdkVersion 26 buildToolsVersion "26.0.2" .

1熱

1答えて

最後のタスクでPysparkジョブが滞っています

私のプログラムの流れは次のようなものです： 1.寄木細工のファイルからデータフレームに40億行（〜700GB）のデータを読み込みます。使用されるパーティションサイズは2296 2.クリーニングして25億行を除外します。 3.残りの15億行をパイプラインモデルと訓練モデルを使用して変換します。モデルは、ロジスティック回帰モデルを使用して訓練され、0または1を予測し、データの30％が変換されたデータフ

2熱

1答えて

ウェブパックとヤーンワークスペース/ Lerna

ヤーンワークスペースを使用するようにlernaの設定を変更しました。今私はすべてのパッケージの依存関係を持つルートnode_modulesを持っています。各パッケージのnode_modulesには.binフォルダーのみがあります。この設定では、webpackは依存関係を解決できません。私はシンボリックリンクのプロパティを追加する必要があるのはなぜ：この設定について resolve: {

0熱

1答えて

ワーカーマシン上のディスクを増やした場合の青写真/ ambariクラスタを更新する方法

我々は、各労働者が5枚のディスクを持っている3マスター機、2カフカさんと3台の労働者のマシンとambariクラスタを持っているとして： /dev/sdb 200G 477M 200G 3% /gr/sdb /dev/sdc 200G 183M 200G 1% /gr/sdc /dev/sdd 200G 283M 200G 2% /gr/sdd /dev/sde

1熱

1答えて

SparkアプリケーションがYARNで起動する前にすべてのエグゼキュータが割り当てられるまで待つ方法を教えてください。

私たちは糸クラスター上でスパークジョブを実行し、十分なリソースがない場合でもスパークジョブが開始することを発見しました。極端な例として、スパークジョブは1000人のエグゼキュータ（4つのコアと20GB RAM）を要求します。そしてクラスタ全体では、r3.xlarge（4コアと32GB RAM）のノードが30個しかありません。実際には、30人のエグゼキュータだけで作業を開始して実行できます。動的

0熱

1答えて

git commitコマンドを発行するときにヤーンエラーが発生しました

私は反応したネイティブプロジェクトフォルダで作業しており、シミュレータに正しく読み込むことができます。しかし、私がgitHubに私の変更をコミットしようとすると、私はこのエラーが出てきています。が失敗コミット - 終了コード1が出力して、受信された：「ハスキー> NPM実行-sプリコミット（ノードv8.9.3）糸ランv1.3.2デベロッパー $の冗談& & eslintを。 FAIL SRC

0熱

1答えて

なぜflinkコンテナのvcoreサイズは常に1

私は糸（より正確にはAWS EMR糸クラスター）でflinkを実行しています。私はflinkドキュメントとソースコードを読んで、各タスクマネージャコンテナのデフォルトでは、スレッドからリソースを要求するときに、タスクマネージャごとのスロット数をvcoresの数として要求します。そして、私はまた、ソースコードから確認：私は-yn 1 -YS 3が、私は、糸が唯一のタスクマネージャコンテナの3 v

0熱

1答えて

非常に多くのタスクが紡績糸に掛かる

私はspark-sqlを使用して大きなテーブルを読み込み、10万のタスクを生成します。私はnum_of_partitionsを設定できることは分かっていますが、小さなテーブルにも同じことがあります。 Is there any way to limit the size of each partition ?