avro

0熱

1答えて

範囲外のインデックスthis.buf.utf8Slice

私は、confluent.io kafkaパッケージを使用してavroメッセージを含むカフカストリームを持っています。これはJavaアプリケーションにとってうまくいきます。しかし、私は今、これらのメッセージをjavascriptで読み込もうとしています。私はkafka-node + avscパッケージを使用して、スキーマを使用してバッファ配列から文字列にメッセージをデコードしようとしました。コン

0熱

1答えて

amqpでシリアル化プロトコルとしてapache avroを使用

異種アプリケーションがAMQPを使用して通信する場合、シリアル化ライブラリとしてapache avroを使用する方法はありますか？可能であれば、リンクや例が非常に役立ちます。「私はないAMQPはアブロのバイナリ表現を含むペイロードのいずれかの形式を運ぶことができない理由が表示されません。」：事前

1熱

1答えて

寄木細工をAvroに変換する

Avroファイルを寄木細工に変換する方法の例がたくさんあります。ただし、反対の変換を行う簡単な方法がある場合は、私は混乱しています - パーケットをAvroに変換する。それの例は何ですか？

3熱

3答えて

HbaseへのJavaオブジェクト

私は現在KITE API + AVROを使用して、HBaseへのJavaオブジェクトを処理しています。しかし、さまざまな問題のために私は代替案を探しています。私は約読んでいる：フェニックスネイティブHBaseのAPIです。しかし、もっと多くの選択肢がありますか？。アイデアは、保存して、Hbaseにjavaオブジェクトをロードし、それらをJavaアプリケーションで使用することです。

6熱

3答えて

アブロスキーマが後方compatibiltyに

を尊重していない私は、このアブロスキーマここ { "namespace": "xx.xxxx.xxxxx.xxxxx", "type": "record", "name": "MyPayLoad", "fields": [ {"name": "filed1", "type": "string"}, {"name": "filed2", "type": "long"},

5熱

1答えて

jsonドキュメントのAvroシリアル化で問題が発生しました

私はApache Searchを使用して、Elastic SearchからエクスポートされたデータのスキーマをHDFS内の多くのAvroドキュメントに適用しようとしています。私はこのスキーマを考えるとアブロデフォルトといくつかの問題を抱えている： { "namespace" : "avrotest", "type" : "record", "name" :

7熱

1答えて

Kafka Avroコンシューマ（デコーダー付）

Kafka Consumer with Avroをそれぞれのスキーマでデータに実行しようとすると、「AvroRuntimeException：不正なデータ：長さが負の値：-40」というエラーが返されます。私は他の人が同様の問題を抱えているのを見る。coverting byte array to json、Avro write and read、およびKafka Avro Binary *coder

1熱

1答えて

java.lang.NoClassDefFoundError：com/databricks/spark/avro/package $

私はspark 1.3.0とspark-avro 1.0.0を使用しています。私のbuild.sbtファイルは次のようになります libraryDependencies ++=Seq( "org.apache.spark" % "spark-core_2.10" % "1.3.0" % "provided", "org.apache.spark" % "spark-sql_2.1

2熱

1答えて

Spark Hive Context - パーティションと大文字のフィールド名を持つAvroテーブル

パーティション化されたAvro Hiveテーブルの場合、Avroスキーマの大文字を持つフィールド名はnullとして取り戻されます。私はいくつかの設定/回避策があるかどうか、またはこれがHive Contextのバグに過ぎないかどうか疑問に思っていました。私はすでにDDLに次の追加しようとしました： WITH SERDEPROPERTIES ('casesensitive'='FieldName'

0熱

1答えて

FlinkでRollingSinkを使用してAvroでシリアル化されたオブジェクトを書き込む[Scala]

FlinkでRollingSinkを使用してAVROからHDFSにシリアル化されたケースクラスを作成しようとしています。 avroファイルをHDFSでデシリアライズ可能にするために、FSDataOutputStreamをラップするDataFileWriterを使用します。 HDFSでデータファイルを閉じるためにDataFileWriterとFSDataOutputStreamの間で同期しようとする