hadoop

    0

    1答えて

    rdd.saveAsTextFile("s3n://bucket-name/path)に$フォルダ$はフォルダ名を持つ空のファイルを作成しているように - [folder-name]_$folder$ は、HadoopのファイルシステムとしてS3ファイルシステムを模倣するためにhadoop-aws jar (of org.apache.hadoop)で使用中に、この空のファイルのように思えます。

    0

    1答えて

    ThriftSerDeを通じて生成されるスキーマを持つ外部ハイブ・テーブルを作成したいとします。私はそれを行う例を見つけることができません。私が考えたことは、それは何かのようになる可能性があります CREATE EXTERNAL TABLE IF NOT EXISTS <table name> ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.th

    0

    2答えて

    私はflumeからkafkaにストリーミングアプリを移しています。 私はkafkaを初めて利用しているので、私は助けが必要です。 私は、CSVファイルが特定の場所(D:/ Folderなど)のIOTセンサーによって継続的に生成されているWindowsマシンを持っています。 ハープループクラスタに転送したいです。 1)ログファイルの転送の間にkafkaクラスタ/ブローカが必要ですか、またはWindo

    0

    1答えて

    私はHadoopの緑の手だ動作しません: hdfs namenode ‐format となった出力: 2017-12-26 00:20:56,255 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting

    0

    1答えて

    Hadoopの新機能で、プロジェクトのレコードを要約しようとしました。 select ops, ops_desc, count (*)from scm_cso_me.dailyparameters122117 Group by ops_desc where oh in (0); 私は、次のエラーが表示されます java.lang.Exception: org.apache.hive.ser

    0

    1答えて

    SparkコンテキストとREST APIを接続しようとしています。だから私の流れは、私は私のUI- nodejsからREST APIに必要な応答を含むsparkコンテキスト(Sparkジョブはハイブテーブルの上で動作します)とやりとりし、UIの表示に戻す必要があるREST APIにリクエストを送ります。これを達成する方法はありますか? UI < - > RESTのAPI < - >スパーク(HDF

    0

    1答えて

    特定の条件に基づいて、ハイブの列の最後の文字だけを置きたい状況があります。 次のように私のコードは、このコードのためので、 select case when amtsv111 >= 0 then case when substring(amtsv111,-1,1) = '0' then regexp_replace(amtsv111,substring(amtsv

    0

    2答えて

    私はハイブテーブルを照会し、出力結果を変数として保存するためにbeeline cliを試行しています。 真っすぐコマンドを使用する:このコマンドを使用 beeline -u connection_string -n user_name -w password_file \ -e "select count(*) from db.table_name" 、私は、現在の出力結果を得る:私は必要な

    0

    1答えて

    カラム値defaultをNULLとしてテーブルを作成しているときにSpark(1.6)SQLのエラーが下になりました。例:select column_aとしてテーブルテストを作成し、test_tempからcolumn_bとしてNULLを作成します。 同じことがHiveで動作し、データ型が "void"の列が作成されます。 例外を避けるためにNULLの代わりに空の文字列を使用し、文字列データ型を取得

    1

    1答えて

    私はAzure Data Lakeを使用してファイルをアップロードしていますが、既存のData Lakeテキストファイルのテキストファイルの内容を追加します。 Web HDFS REST API(C#)を使用してテキストファイルのデータを追加するオプションはありますか。 私はenter link description here コードこのリンクを参照しています:私はアペンドURLを取得し、上記の