emr

1熱

1答えて

Amazon EMR - Yum Update Boostrapの処理がスレーブで失敗する

多くの更新情報がありますので、この質問を書き直すつもりです。私は1つのマスターノードと1つのスレーブノードとEMRクラスタを持って次のように私の問題があります。スレーブノードは開いているインターネットに自由にアクセスできるように設定されています（これはセキュリティリスクです）。場合は単にSSHスレーブノードにあれば、しかし（それは常にマスターに成功）ブートストラップアクションは、スレーブノ

1熱

1答えて

S3へのEMR出力

私はEMRオンデマンドサーバでPythonスクリプトを実行しています（EMRクラスタという名前はありません）。それは、ローカルシステムとして入力&出力を与えてもうまく動作します。私はS3バケツを入力&出力として使いたいと思う。以下の私のコマンドを見てください。 S3バケットファインから入力を受け取ります。しかし、S3ではなく私のローカルシステムにのみ出力を表示します。手伝っていただけませんか？ $

0熱

2答えて

AWS EMRクラスタのディスクスペース問題

AWSに11ノード（1つのマスター+ 10コア）のEMRクラスタをプロビジョニングしました。各ノードのディスク容量を100 GBとしました。クラスタをプロビジョニングすると、EMRは自動的にルートパーティション（/ dev/xvda1）に10GBしか割り当てませんでした。 rootパーティションのディスクスペースが一杯になった後、私たちはジョブを実行できなかったし、yumコマンドを使ってgitの

1熱

1答えて

AWS EMRでPrestoのメモリ割り当てを設定する際に問題が発生する

AWS EMRのETLパイプラインでPrestoを使用することを本当に望んでいますが、クラスタのリソースを最大限に活用するためにPrestoを設定する際に問題があります。このクラスタは、この1つのクエリに対してのみ存在し、それ以上のものは存在しません。したがって、私はquery.max-memory-per-nodeとquery.max-memoryを増やすことによって、各ノードと1つのクエリの最

0熱

1答えて

EMR Hue：カスタムサーバー認証はサポートされていません。有効な値は['NONE'、 'KERBEROS'、 'PAM'、 'NOSASL'、 'LDAP']

Hiveに対して「CUSTOM」認証を有効にすると、HueはHiveServer2に接続できません。 CUSTOM server authentication not supported. Valid are ['NONE', 'KERBEROS', 'PAM', 'NOSASL', 'LDAP']. カスタム認証プロバイダでHiveを設定すると、Hueは機能しませんか？ハイブ自体は正常に動作

0熱

1答えて

Terraformを使用してAWS EMRで複数のブートストラップアクションを渡すにはどうすればよいですか？

AWS EMRクラスタ用のテラフォームモジュールを作成しようとしています。私はエラーが発生しているEMRで複数のブートストラップスクリプトを実行する必要があります。たとえば： main.tf ... variable bootstrap_actions { type = "list"} ... resource "aws_emr_cluster" "emr-clu

2熱

1答えて

HDFSで__spark_config__.zipのFileNotFoundExceptionを使用して、EMR 5.5.0で簡単なspark-submitジョブが失敗する

AWS ERM 5.5.0でPython 3 Sparkアプリケーションをデプロイしようとしています。私はPython 3を必要とするようにクラスタを設定する方法についていくつかの記事を読んでいます。私はそれが正しく設定されているので、私はsys.versionを印刷する単純なアプリケーションを作成してテストしたいです。それから私はこの仕事をクラスターに提出します。 spark-submit --

0熱

1答えて

AWS SimpleWorkflowServiceとElasticMapReduceのモック

AWS SWFまたはEMRのモックはどこにもありますか？私はhttps://github.com/atlassian/localstack/またはhttps://github.com/treelogic-swe/aws-mockのような他のAWS APIモックを見てみましたが、SWFやEMRがありません。これは実際には苦痛を伴うものです。これらのサービスに依存するものをローカルでテストする方法につ

0熱

1答えて

デバッグSparkアプリケーションはEMRで稼動しています

スパイクジョブのシーケンスはLuigi経由で接続され、定期的にさまざまな段階でハングする30台のマシンクラスタ（それぞれ15GB RAM）でS3上で実行されます。今日は5GBのデータを処理するときでした。ステージは既に3,5hをとりますハングするこのステージは、単純にデータを処理し、後でgroupByKey（ユーザーID、1L）とreduceGroupsのデータセットにユーザーイベント数を取得す

0熱

1答えて

EMR/Sparkを使用してJSONをパーケットに変換

Parquetに変換する必要があるファイルは、沢山あるJSONです。この（ネストされたプロパティがトップレベルを作り、接尾辞として_を取得している）されて { "foo": "bar", "props": { "prop1": "val1", "prop2": "val2" } } そして私は、その構造Parquetファイルにそれらを変換する