列の内容が長すぎる場合、spark-redshiftで列をトランケートする方法はありますか？

Question

spark-redshiftで列を切り捨てる方法については、エラーを返すのではなく、列の内容が長すぎる場合には不思議です。

Answer 1

spark-redshiftコネクタは、フードの下のredshift-jdbcコネクタを使用します。このコネクタは、適切なCOPYおよびUNLOADコマンドをAWS Redshiftに自動的にトリガーするために使用されます。

しかし、あなたは、例えば、データをロードするときにAWS赤方偏移COPYコマンドに追加する余分なオプションのリストであるextracopyoptionsを指定することができますあなたの場合はTRUNCATECOLUMNSです。

これらのオプションはCOPYコマンドの最後に追加されているので、コマンドの最後に意味をなすだけのオプションを使用することができることを注意、それは最も可能性のユースケースをカバーする必要があります。