RDBMSからCassandraへの移行

Question

5 TBのイメージデータをRDBMSからcassandraに移行する必要があります。私はsqoopを試しましたが、遅すぎます。誰でも移行のためのツールを提案できますか？

ありがとうございました

Answer 1

システム間の大きなデータ移動にはスパークを使用してください。 分散型で復元力があります。あなたは、オープンソースのApache SparkまたはDataStax Enterpriseを使用することができます

val jdbcDF = sqlContext.load("jdbc", Map(
    "url" -> "jdbc:postgresql:dbserver", 
    "dbtable" -> "schema.tablename")) 

http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#jdbc-to-other-databases

jdbcDF.write.format("org.apache.spark.sql.cassandra").\ 
      options(keyspace="ks", table="tablename").\ 
      save(mode="append") 

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

。 Datastax Enterpriseは、SparkとCassandra間の完全な分散処理とデータローカリティのために、各ノードにApache Cassandra + Apache Spark +その他の多くのものをインストールしています。 私はDataStaxの従業員です。