スパークは、私は、SQLを経由して、再びそれを照会する目的で一時ビューを永続化しようとしている一時ビュー

Question

を持続します.csvと：

spark.sql("select * from xxx") 

「CACHE TABLE xxx」にはコピーが保存されています。私は間違って何をしているのですか？ DISK_ONLYクエリ可能なビュー/テーブル？

Answer 1

まずキャッシュは、それは、df.cacheとして、その後の永続性を心配しないでください、あなたは（実際にそれをキャッシュしますdf1に第一アクション）をメモリから読み込みますdfTEMPなどval df1 = spark.sql("select * from dfTEMP)ように、今、すべての時間はあなたが照会されます、df.createOrReplaceTempView("dfTEMP")として登録しますあたかもdfがメモリに収まらないかのように、残りをディスクにこぼしてしまいます。