pysparkアプリケーションからローカルまたはhdfsファイルへのログ

Question

pysparkのアプリケーションでロギングステートメントを含むクロージャー機能が含まれているため、pysparkのローカル/ hdfsファイルにメッセージを記録する方法がわかりません。 私は以下のように何かをしようとしたが動作しません：

import json 
from pyspark import SparkContext 
import logging 

def parse_json(text_line): 
    try: 
     return(json.loads(text_line)) 
    except ValueError: 
     # here I need to log a warning message to a local file or even to default spark logs 
     logger.warn("invalid json structure" + text_line) 
     return({}) 

if __name__ == "__main__": 
    my_data = ['{"id": "111", "name": "aaa"}', 
       '{"wrong json", "name": "bbb"}', 
       '{"id": "333", "name": "ccc"}'] 
    sc = SparkContext() 
    logger = logging.getLogger('py4j') 
    lines = sc.parallelize(my_data) 
    my_data_json = lines.map(parse_json).filter(lambda x: x) 
    print(my_data_json.collect()) 

任意の助けてください！

Answer 1

log4jアペンダをlog4j設定で構成し、pysparkアプリケーション内で使用できます。私はHDFSにログを保存しようとはしませんでしたが、この方法は間違いなくコンソールにログオンし、ファイルにローカルでログオンするのに役立ちます。

あなたのソリューションに対処するための小さなブログ記事を書いています。

https://shantanualshi.wordpress.com/2016/07/04/logging-in-pyspark-scripts/

それが動作するかどうか、私に教えてください！