hadoop

0熱

1答えて

最近ハイブの学習を始めました。私は次の値を持つpythonリストを持っています list=['hello:struct', 'env:string', 'element:struct','AppId:string','processId:string'] したがって、上記の値を使用してハイブDDLを作成する必要があります。これに似ています。 create table demo { he

0熱

1答えて

プレミアムHDInsightの逆DNS参照ゾーンを作成するにはどうすればいいですか？

私は紺碧の中にDNSゾーンを作成しました。たとえば、IP範囲192.0.2.128/26の場合、私は128-26.2.0.192.in-addr.arpaを作成しています。 Hdinsight VMを作成するためにPTRレコードを作成するにはどうすればよいですか？

-2熱

2答えて

HDFSブロックサイズ

デフォルトのブロックサイズは128MBまたは64MBですか？hadoop明確なガイドでは、「HDFSもブロックの概念はありますが、デフォルトでは128MBです」どの人がデフォルトのサイズであるかを誰でも知ることができますか？

0熱

1答えて

ハイブウィンドウの範囲でテーブルの列を使用

私はウィンドウ上でcollect_listを作成しようとしていますが、同じテーブルの1つのカラムの値に基づいてウィンドウのサイズを動的に制限します。 select concat_ws('->', collect_list(CASE WHEN b.colA IN ("bla", "blabla") THEN concat_ws("-", colB,colC) END) OVER (PARTITION

0熱

1答えて

生年月日を使用している年齢グループ

お客様の誕生日を使用して、以下の各年齢グループにカウントを取得したいと考えています。顧客はまた、特定の条件を満たす必要があります。私は2つのテーブルを使用する必要があります。次の表と列を使用して 18 to 25 26 to 35 36 to 45 46 to 55 56 to 65 65 and over ： BRTH_DT - birthday MSTR_CUST - cust

0熱

1答えて

Apache Nutchでクロール中のエラー

Hadoop（2.5.2）マルチノードクラスタ（AWS EC2マシン）の上にApache Nutch 2.3.1をインストールしました。 Nutchファイルを適切に設定しました（マスターノード上）。私はseed.txtファイル（urlがクロールされる）をmasterからHdfsファイルシステムに移動しました。今度は、次のコマンドを実行してクロールします。 bin/hadoop jar /home/

2熱

1答えて

Sparkを使用してデータセットをキャッシュしてクエリを並列に実行する

データセットをキャッシュし、そのデータセットで「N」個のクエリを並列に実行していくつかのメトリックを計算する必要があります。フィルタが変更され、これらのクエリを並行して実行する必要があります。これは、応答時間が重要で、キャッシュするデータセットのサイズが常に1 GB未満になるためです。私はSparkでデータセットをキャッシュし、その後それをクエリする方法を知っていますが、同じデータセットでクエリ

1熱

1答えて

日付/タイムスタンプ文字列をOracle DBの日付タイムスタンプ列に書き込む方法は？

AVROファイル形式とHive外部表を使用してデータにアクセスするために、いくつかのOracle表をHadoopに保管しました。私はインポート時にOracleのTO_CHAR関数を使用して、書式設定されたStringとしてDateおよびTimestampの値を格納しました。ここで、この正確なデータをSparkで日付列を持つOracleテーブルにエクスポートしたいとします。私は、次のコマンドを使

0熱

1答えて

Hiveテーブル、フレークなメタストア接続を作成できません

私は、HiveとEMRを使用してS3アクセスログを分割するthis blog postに従っています。私は大丈夫アクセスログの小さなバケツに対してこのスクリプトを実行することができましたが、テーブルの作成、大きなバケツ（〜1.5 TB）の上に、次のエラーで失敗します FAILED: Execution Error, return code 1 from org.apache.hadoop.hive

0熱

1答えて

EMRでMultipleOutputsを使用するHadoop JAVA

3つの出力ファイルを作成するプログラムを作成するHadoop 2.6.5を使用しています。ローカルを実行すると、プログラムはうまく動作し、3つの出力ファイルを作成します。 EMRで実行すると、この行がクラッシュする - ファイルが既に存在する：O EMRでHadoopを使用する方法ではないことを理解しています。私はこの記事を見てきました： https://forums.aws.amazon.c