sequencefile

0熱

1答えて

私はHadoopを初めて使用しており、いくつかのシーケンスファイルに遭遇しました。 Sequence Fileを読むと、シーケンスファイルを作成する3つの方法があります。今、私はシーケンスファイルを持っています、どのようなシーケンスファイルであるかをどのように知っていますか？それについてのメタ情報をどのように読むのですか？私はシーケンスファイルを持っており、同様のシーケンスファイルを作成する必要が

1熱

2答えて

スパークJavaを使用したシーケンスファイルの読み込み問題

sparkを使ってハイブで生成されたシーケンスファイルを読み込もうとしています。私がファイルにアクセスしようとすると、私はorg.apache.spark.SparkExceptionに直面しています：ジョブがステージの失敗によって中断されました：タスクがシリアライズできません：java.io.NotSerializableException：私はこの問題の回避策クラスはシリアライズ可能ですが、

1熱

1答えて

HDFS上の構造化されていないデータ行のデータ格納形式

私たちは受け取ったものと同じ速さで書かれなければならない非常に大量のデータを消費しており、HDFSを使用しています。データはほとんど構造化されておらず、基本的なクエリはまれにしか実行されません。データは一部のフィールドでフラットで、各行は別のデータを表します。 key1=str key2=30.3 key3=longtexthere 別のデータ行： key1=3 key5=abc Sequ

0熱

1答えて

HbaseエクスポートテーブルでMapReduceを実行しています。値クラスのデシリアライザが見つかりませんでした： 'org.apache.hadoop.hbase.client.Result

Hbaseエクスポートユーティリティツールを使用してHbaseテーブルバックアップを取得しました。 hbase org.apache.hadoop.hbase.mapreduce.Export "FinancialLineItem" "/project/fricadev/ESGTRF/EXPORT" これはmapreduceを起動し、すべてのテーブルデータを出力フォルダに転送しました。ドキュ

0熱

1答えて

Sparkでシーケンスファイルを作成できますか？

現在、レコードの属性の一部がシーケンスファイルのキーとして扱われ、そのキーに対応するすべてのレコードが1つのシーケンスファイルに格納されているレコードからシーケンスファイルを生成するための実装がpigで行われています。私たちが火花を上げるように動いているとき、私はこれが火花でどのようにできるのか知りたいですか？

1熱

1答えて

HDFS以外のファイルシステムでサポートされているHadoopシーケンスファイル

シーケンスファイル形式は、HDFS以外のファイルシステムでもサポートされていますか？私は特に、シーケンスファイル形式をファイルシステム上の小さなファイルをマージして格納するために使用できるかどうかに興味を持っています。 HFS +またはNTFS。ご協力いただきまして誠にありがとうございます。

0熱

1答えて

既存のシーケンスファイルに追加

ファイルを既存のシーケンスファイルに追加する方法のサンプルコードスニペットを提供できますか？//ユーザ/ {に、HomeDirectory}：以下私は既存のシーケンスファイルOUTPUTFILEに追加するために使用されるコードであるが、シーケンスファイルを読みながら後にチェックサムエラー投げている追加：問題開くチェックサムファイルをデスクトップ/サンプル/シーケンスファイル/出力ファイル。無視

0熱

2答えて

mavenプロジェクトでインポートエラーが発生する

を取得するすべての必要な依存関係がpom.xmlに追加されているにもかかわらず、mavenプロジェクトのエラーを解決できません。ここは、エラーが発生したばかりされて輸入されている。 import org.apache.hadoop.fs.CreateFlag; import org.apache.hadoop.fs.FileContext; import org.apache.hadoop.

0熱

1答えて

既存のシーケンスファイルに追加すると内容が上書きされます

シーケンスファイルライターに以下のコードスニペットを使用していますが、シーケンスファイルが存在しない場合はうまく動作しますが、追加するのではなく内容を上書きします。 SequenceFile.Writer writer = SequenceFile.createWriter(FileContext.getFileContext(conf), conf, sequenceFile, Text.cla

1熱

1答えて

gzipからシーケンスファイルに変換します。 Hive on spark

私はHiveに大きなgzipファイルを効率的に読み込もうとしています。私が最近質問した限り、SparkはtextFileなので、1つのgzipファイルに対して1つのマッパーしかサポートしません。 gzipファイルのマッパー数を変更する方法は何ですか？別のデータ形式を選択する必要があります。寄木細工？私は現在、ファイルをSequenceFileに変換しようとしています。問題は、私のログファイルが