Datastaxエンタープライズ・ファイル・システム（DSEFSに）：エラー

Question

ストリーミングスパークで使用している間、私はDSE fsのシェルを使用することができる午前リンク

https://docs.datastax.com/en/latest-dse/datastax_enterprise/ana/enablingDsefs.html

次のデータSTAXエンタープライズファイルシステムを可能にしました。私はフォルダ/チェックポイントを作成しました。私は次のエラーを取得していますストリーミングスパーク中（5598 /チェックポイント：// dsefs）：私は、チェックポイントディレクトリとして、このフォルダを使用する場合

Exception in thread "main" java.io.IOException: No FileSystem for scheme: dsefs 
     at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644) 
     at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651) 
     at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92) 
     at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687) 
     at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669) 
     at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371) 
     at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295) 
     at org.apache.spark.streaming.StreamingContext.checkpoint(StreamingContext.scala:234) 
     at org.apache.spark.streaming.api.java.JavaStreamingContext.checkpoint(JavaStreamingContext.scala:577) 
     at com.sstech.captiveyes.data.streaming.StreamingVisitClassifierMerge.main(StreamingVisitClassifierMerge.java:96) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:498) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

は、私はいくつかの設定手順をしないのです。

Answer 1

Hadoopの構成の重要な部分は、次のとおりです。

<property> 
    <name>fs.dsefs.impl</name> 
    <value>com.datastax.bdp.fs.hadoop.DseFileSystem</value> 
</property> 

はあなたのHadoop core-site.xmlファイルに入れてください。または、このプロパティをHadoop Configurationオブジェクトで設定することもできます。

これをDSEノードで実行している場合は、ワークロードアナリティクスを有効にしたときに、起動時にこの設定が自動的にdse-core-default.xmlに設定されます。したがって、それはDSE Sparkの箱からうまくいくはずです。

これを外部Sparkクラスタで実行している場合は、DSEドキュメントの「自分のスパークを持って来てください」のセクションをお読みください：https://docs.datastax.com/en/latest-dse/datastax_enterprise/spark/byosIntro.html。 DSEFSだけでなくCassandraにもアクセスできるようにSparkを設定する方法について説明します。