2017-02-16 6 views
2

私はspark elasticsearchコネクタを使用しており、ESからいくつかのフィールドと_idを抽出したいと考えています。等、SOURCEINFO {FIELDB}、{FIELDA} Iは、例えば、文書を選択することができ、このマッピングによりSpark elasticsearch connector:_idフィールドの選択方法?

AnalysisException: u'cannot resolve \'`_id`\' given input columns: 
[query, size, @version, @timestamp, 
sourceinfo, signaletic, document, metadata, fields, aggs] 

はなく_idない:。

myquery = """{"query":..., """ 
val df = spark.read.format("org.elasticsearch.spark.sql") 
       .option("query", myquery) 
       .option("pushdown", "true") 
       .load("myindex/mytype") 
       .limit(10) 
       .select("myfield","_id") 

残念なことに、_idフィールドが認識されません。マッピングのレベルが高レベルにあるような場合です。

この特定のフィールドを取得する方法はありますか?

答えて

0

スパークSQL.pleaseでは、_、likeなどの特殊文字の一部は、特殊文字を "Id"のような別の文字に置き換えようとします。

+0

あなたの助けを借りていただきありがとうございます。@マドフが "置き換えよう"とはどういう意味ですか?私はこのelasticsearch命名法(https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-id-field.html)には支配権がありません。 – Patrick

関連する問題