Spark 2.0でユーザー定義型を使用するには？

Question

Spark 2.0では、ScalaでUDTを作成したことがわかりましたが、もはや適用されないようです。 UserDefinedTypeクラスはprivateと設定されており、コメントは

です。注：以前はSpark 1.xの開発者APIでした。これをSpark 2.0で非公開にしているのは、データセットでうまく機能する新しいバージョンを作成する可能性が非常に高いからです。

UDTを宣言する新しいメカニズムであることがUDTRegistrationの意図かもしれないが、それはまた、privateです。

これまでのところ、Spark 2.0で独自のUDTを宣言する方法はないことがわかりました。この結論は正しいのですか？

Answer 1

Spark 2.xにはSpark 1.xのようなAPIとして使用するUDTはありません。

このチケットSPARK-14155には、新しいAPIを作成するためにprivetが作成されています。私たちが望むSpark 1.5以降のチケットは、Spark 2.2 SPARK-7768で閉店する予定です。

あなたのUDTを作成するには今はタイプが良くありませんが、カスタムオブジェクトをDataSetに設定できるトリックはありません。 Hereがその一例である。