OutOfMemory Spark Scalaシェルで実行中の例外

Question

私のクラスタでSparkとHiveを接続するいくつかのSQLコマンドを実行していましたが、このエラーの半分が発生しました。どのようにこれを解決するための任意のアイデア？

java.lang.OutOfMemoryError: PermGen space 
Stopping spark context. 
Exception in thread "main" 
Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main" 

Answer 1

あなたは-XXを追加する必要があります：MaxPermSizeを= 1024メートル-XX：以下のようなspark.driver.extraJavaOptionsでPermSizeを= 256メートル：

./bin/spark-shell --master spark://servername:7077 --driver-class-path 
    $CLASSPATH --conf "spark.driver.extraJavaOptions=-XX:MaxPermSize=1024m -XX:PermSize=256m"