avro

0熱

2答えて

私はそうのような構造のファイルの非常に迷惑なセットを持っている： userId string, eventType string, source string, errorCode string, startDate timestamp, endDate timestamp 各ファイルは様々で、イベントIDあたりのレコードの任意の数を含むことができeventTypesとsources

0熱

1答えて

Jsonが適合しないAvroのシーンは

私はAvroを使用してカフカシステムを供給しています。なぜAvroが作成されたのかと疑問に思っています。 JsonがRESTfulなリクエストのようなインターネット通信のためのものであり、AvroがHadoopエコシステムのためのものであることは間違いありませんか？私はいくつかの回答をGoogle検索し、圧縮されたデータサイズと効率を比較しますが、新しいものを作成するには十分ではありません。

0熱

1答えて

AvroTypeExceptionを取得する：不明なユニオンブランチ

実際、私はjsonペイロードを検証するためにAVROを使用しています。私はフィールド（レコードとして定義）を宣言しようとしていますが、動作しません。スキーマ ... { "name" : "buildarea", "type" : "com.data.Area", "type" : ["null","com.data.Area"], "d

1熱

2答えて

Apache SparkなしのParquetファイルへのメモリオブジェクトの複素数

これらのリストのそれぞれに寄木張りファイルを作成するオブジェクトがあります。そのオブジェクトは、次のようになります。 case class ProgramsData(programs: List[Program], switches: List[Switch], paths: List[Path], activities: List[Activity], enactments:

1熱

1答えて

プログラムでJSONをAVRO Schmaに変換する方法はありますか？これらの2つの要件から 1）JSON 2）アブロスキーマ - 私はJSONがあります：

私はAVROファイルを作成する必要がありますが、そのために、私は2つのことが必要 {"web-app": { "servlet": [ { "servlet-name": "cofaxCDS", "servlet-class": "org.cofax.cds.CDSServlet", "init-param": { "config

1熱

1答えて

フィールド順が変更された場合、Avroスキーマは互換性がありません

シナリオ - クライアントはAvro Reflect Datum Writerを使用してPOJOをシリアル化し、GenericRecordをファイルに書き込みます。反射により得られたスキーマが、このような（順序A、B、D、C注） - で { "namespace": "storage.management.example.schema", "type": "record", "doc":

0熱

1答えて

Kafka Avroデコードメッセージを印刷できません

コンフルエントなAvroスキーマレジストリ形式をサポートするバイナリエンコードAvroデータを吐き出すレガシーC++ベースのシステムがあります。私のJavaアプリケーションでは、KafkaAvroDeserializerクラスを使用してメッセージを正常に非直列化しましたが、メッセージを印刷できませんでした。 private void consumeAvroData(){ String g

1熱

2答えて

複数の配列を含むAvro共用体

私は私たちのソフトウェアでC++ avroライブラリを使用しようとしています。私は、ある範囲の型をラップする "Value"クラスを持っています。そして、それを読み書きするためにavroを使いたいと思います。これには単純な型だけでなく、型のベクトル、任意のクラスなどが含まれます。 "値"クラスのavroスキーマを指定しようとしています。私の例では、空、int、long、intの配列とlongの配列

1熱

1答えて

HDFSの小さなファイルデザイン

HDFSに何百万もの小さなファイル（バイナリファイル、イメージ、exeなど）（〜1Mb）を保存したいのですが、私の要件は基本的にはランダムファイルをクエリでき、MapReduceジョブは実行できません。私の主な問題は、MapReduceマッパーではなく、ネームノードのメモリの問題です。だから私のオプションは以下のとおりです。 HARファイル - 集約小さなファイルのみそのHARでそれらを保存す

0熱

1答えて

avroは未知のフィールドを無視またはスキップできますか？

avroはレコードを復号するときに未知のフィールドを無視またはスキップできますか？これまでのところ、私はこれに関する情報を見つけることができません。