emr

0熱

1答えて

EMRのpresto-connector-mysql設定オプションを使用して、自分のEMRにmysqlというカタログを作成できます。でも、私は複数のmysqlデータソースに接続したいと思います。 /etc/presto/conf/catalogに第二データソースを追加してからrestart presto-serverを行うと、私が正しくMySQLのデータソースを照会することができる一方であるため

0熱

1答えて

EMR - MapReduceのメモリエラー

私は自分の減速で、このメモリエラーを取得しています： Container is running beyond physical memory limits. Current usage: 6.1 GB of 6 GB physical memory used; 10.8 GB of 30 GB virtual memory used. はそうそう、物理メモリの問題がmapreduce.reduce

0熱

1答えて

TalendジョブとAmazon EMRを統合する良い方法はありますか？

現在、AWS EMRとTalendを統合しようとしています。私の目的は、TalendスタジオによってエクスポートされたTalendジョブをAWS EMRで実行することです。私はすでに "カスタムjarとしてステップを追加"しようとしましたが、それはまた、エクスポートされたlibフォルダとスクリプトを使用してTalendジョブが実行されるようです。私はfat jarで実行したいと思いますが、この

0熱

2答えて

AWS EMR上のSpark 2.1.0でのAWS-SDKアライメントエラー？

私はAWS上でspark 2.1.0を使用してemr-5.3.1を実行しています。私は私のJAR（FATのJAR）私は、次のエラーを取得していて、スパークタスクを提出しています： user class threw exception: java.lang.NoSuchMethodError: com.amazonaws.auth.DefaultAWSCredentialsProviderChai

0熱

1答えて

EMRとS3ソース上でスパークストリーミング

EMRのzeppelinノートブックを使用して、s3をソースとして使用してストリームを印刷しようとしています。 %pyspark from pyspark.streaming import StreamingContext from pyspark.sql import Row, SparkSession ssc = StreamingContext(sc, 45) streams=ssc

1熱

1答えて

EMRで色相を再起動できません

AWS EMR Hadoopクラスタで色相を再開できません。私はhue.iniファイルを変更し、適用する変更のために色相を再開したいと思った。「サービス色相再始動」を実行したとき、「コマンドが見つかりません」というエラーが出ている。色相が環境のパスに追加されないため、これが必要であることを理解できます。しかし、bin/hueを実行すると、入力として再起動されません。色相を再開する方法はありますか

1熱

1答えて

EMRとしてHDFSコマンドを実行してください。

hdfsコマンドをEMRクラスタのステップとして発行するにはどうすればよいですか？ステップをscript_runner.jarというタスクとして追加すると、奇妙なことに失敗するようです。

0熱

1答えて

AWSのEMRとEC2の価格混乱

EMRとEC2の価格がそれほど違う理由を説明できる人がいますか？EMRでスパーククラスターを構築するのか、EC2でClourderaを使用するのかを検討しています。私は明白な何かを見逃したか？ありがとう

0熱

1答えて

クラスタ上の正常でないノード

クラスタ上のノードが正常でない状態になる理由は何ですか？私の限られた理解に基づいて、特定のノードのHDFSの使用率がしきい値を超えた場合、一般的に発生します。このしきい値は、max-disk-per-disk-percentageプロパティで定義されます。メモリ集中型のスパークジョブがspark-sqlで起動されるか、またはpysparkノードを使用して異常な状態になることがありました。さらに

1熱

2答えて

AWS上でスパークする理由EMRはアプリケーションのfat jarからクラスをロードしませんか？

私のsparkアプリケーションはAWS EMRクラスタ上で動作しません。私は、これは、いくつかのクラスが私のアプリケーションjarではなく、EMRによって設定されたパスからロードされていることに気づきました。ファイル：：！/usr/lib/spark/jars/avro-1.7.7.jar/orgの例ここで java.lang.NoSuchMethodError: org.apache.avro.