2016-04-20 14 views
2

の違いメタデータファイルを書き込み、ThriftParquetWriterは、実際には2つのファイルを生成します。_metadata_common_metadata寄木細工:メタデータとcommon_metadata

https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetFileWriter.java#L404

をいただきました。この2つのファイル間の違いは?

_common_metadataは、そのディレクトリ内の寄木細工のファイル用のマージされたスキーマが含まれていますhttps://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetFileWriter.javaでソースコードを見て

おかげ

答えて

1

違いがなければならないので、彼らは別のファイルサイズを持っている、ように私には思えます

_metadataには、そのディレクトリに最近書き込まれた寄せ木馬ファイルのスキーマのみが含まれます

関連する問題