データフレームのorg.apache.spark.mllib.linalg.Vectorをcassandraに保存する方法

Question

org.apache.spark.mllib.linalg.Vectorを含むデータフレームを列の1つに保存する必要があります。データフレームからcassandraにテーブルを作成している間、エラーが発生しています。

java.lang.Exception: Cassandra Writer Failed. java.lang.IllegalArgumentException: Unsupported type: org.apache.spark.mllib.linalg.VectorUDT@f71b0bce 
     at com.datastax.spark.connector.types.ColumnType$.unsupportedType$1(ColumnType.scala:132) 
     at com.datastax.spark.connector.types.ColumnType$.fromSparkSqlType(ColumnType.scala:155) 
     at com.datastax.spark.connector.mapper.DataFrameColumnMapper$$anonfun$1.apply(DataFrameColumnMapper.scala:18) 
     at com.datastax.spark.connector.mapper.DataFrameColumnMapper$$anonfun$1.apply(DataFrameColumnMapper.scala:16) 
     at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
     at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
     at scala.collection.immutable.List.foreach(List.scala:318) 
     at scala.collection.TraversableLike$class.map(TraversableLike.scala:244) 
     at scala.collection.AbstractTraversable.map(Traversable.scala:105) 
     at com.datastax.spark.connector.mapper.DataFrameColumnMapper.newTable(DataFrameColumnMapper.scala:16) 
     at com.datastax.spark.connector.cql.TableDef$.fromDataFrame(Schema.scala:206) 

Answer 1

このタイプのバイナリ値を保存する場合は、バイト配列に変換してからblobカラムに保存する必要があります。

値のセットとして保存する場合は、Scalaコレクションに適切な変換を行う必要があります。