SparkSession構成オプションの印刷

Question

pysparkを開始すると、SparkSessionが自動的に生成され、「スパーク」として利用可能になります。スパークセッションの詳細を印刷したり表示したりしたいのですが、これらのパラメータにアクセスするのは非常に困難です。

Pysparkは自動的にSparkSessionを作成します。これは、次のコードを使用して手動で作成できます。

from pyspark.sql import SparkSession 
spark = SparkSession.builder.appName("PythonSQL")\ 
     .config("spark.some.config.option", "some-value")\ 
     .getOrCreate() 

appnameとconfigオプションを表示/印刷したいと思います。私がこれらを見たい理由は、私が経験している別の問題の結果であり、これが光を当てるかもしれないからです。

spark.sparkContext.appName 

設定がRuntimeConfigを使用してアクセスできます：

Answer 1

アプリケーション名はSparkContextを使用してアクセスすることができます

from py4j.protocol import Py4JError 

try: 
    spark.conf.get("some.conf") 
except Py4JError as e: 
    pass