ハイブテーブルの作成と削除の繰り返しの影響

Question

私は、約200のハイブの寄木張りテーブルを必要とするユースケースを持っています。 これらの寄木細工テーブルをフラットテキストファイルから読み込む必要があります。しかし、私たちはフラットテキストファイルから直接寄木張りテーブルを読み込むことはできません。 次のアプローチを使用しています

1. 一時的な管理対象テキストテーブルを作成しました。
2. テキストデータを含む一時テーブルをロードしました。
3. 作成された外部寄木細工テーブル。
4. 選択クエリを使用して、テキストテーブルを含む寄木細工テーブルを読み込みました。
5. テンポラリテキストテーブルのテキストファイルをドロップします（しかし、メタストア内にテーブルを保持します）。

このアプローチでは、一時的なメタデータ（200個のテーブル用）をメタストアに保持しているためです。だから私は2番目のアプローチは、hdfsからのテキストファイルと一緒に一時的なテキストテーブルをドロップするということです。そして、次回は一時テーブルを再作成して、寄木細工が作成されたら削除します。

2時間ごとに200個のテーブルすべてに対して上記の手順を実行する必要があるため、メタストアからテーブルを作成して削除すると、運用中のクラスタに何か影響がありますか？

一時的なメタデータをメタストアに保存し、ハイブメタストアからテーブル（メタデータ）を作成および削除することは、どのような方法で生産に影響を与えることができますか？

Answer 1

アプローチは、ハイブ メタストアから メタストア、テーブルの作成と削除（メタデータ）に一時的なメタデータを保ち、生産に影響を与える可能性がどの？

いいえ、影響はありません。HiveMetastoreのバックエンドは200 * n回の変更を簡単に処理できるはずです。あなたの不確かな場合は、50のテーブルで開始し、バックエンドのDBのパフォーマンスを監視します。