マップリバースでAvroを使うのはかなり混乱しています。プレーンテキスト入力とavro出力を持つmapreduceジョブ
AvroJobやAvroMapperのようなクラスは、入力と出力の両方がAvroデータファイルである場合に問題が発生するようです。あなたの入力が普通のテキストの場合はどうですか?
具体的に:
私のマッパーは、入力としてLongWritableキーとテキストの値をとります。テキストキーとMyAvroRecord値を出力します。
マイレクサーはテキストキーとMyAvroRecordsのイテレータを入力として受け取り、テキストキーとMyAvroRecord値を出力します。
これらのテキストキーとMyAvroRecord値をファイルに書き込むOutputFormatを取得するにはどうすればよいですか?
乾杯、 デイブ
こんにちはデイブ、私は反対でSTHをやろうとしています。私の入力はテキストで、出力は汎用レコードです。私はAvroJob用のAvro入力スキーマを設定して、出力スキーマをGeneric Recordのスキーマに設定しようとしています。しかし、私はAvroJobがそれがプレーンテキストであることを理解できるように、入力スキーマをどのようにまとめなければならないのか分かりません。私は何もしないでsetInputSchema()を使用する必要がありますか? –