PySpark - 寄木張り - None.Noneを呼び出すときにエラーが発生しました

Question

私はhdf5ファイルに約200個のグループがあります。だから私はと寄木細工のファイルにそれらを変換コード行われた各グループのために：私はそれらを読むことを試みた

その後

fastparquet.write(dir_name + '/' + metricname + '.parq', groupDataFrame) 

を、それは私がそのエラーメッセージが表示されましたいくつかのメトリックを除き素敵取り組んでいる：（私が使用整数値だけが、そこに何かが間違ってこのメトリックの値にあったが、私は何も見なかったかどうかを確認するためにHDFVIEW）

ERROR:root:Exception while sending command. 
Traceback (most recent call last): 
    File "C:\prog\spark-2.1.0-bin-hadoop2.6\python\lib\py4j-0.10.4-src.zip\py4j\java_gateway.py", line 883, in send_command 
    response = connection.send_command(command) 
    File "C:\prog\spark-2.1.0-bin-hadoop2.6\python\lib\py4j-0.10.4-src.zip\py4j\java_gateway.py", line 1040, in send_command 
    "Error while receiving", e, proto.ERROR_ON_RECEIVE) 
Py4JNetworkError: Error while receiving 
--------------------------------------------------------------------------- 
Py4JError         Traceback (most recent call last) 
C:\Users\uids2739\AppData\Local\Continuum\Anaconda2\lib\site-packages\IPython\core\interactiveshell.pyc in run_code(self, code_obj, result) 
    2896    if result is not None: 
    2897     result.error_in_exec = sys.exc_info()[1] 
-> 2898    self.showtraceback() 
    2899   else: 
    2900    outflag = 0 

C:\Users\uids2739\AppData\Local\Continuum\Anaconda2\lib\site-packages\IPython\core\interactiveshell.pyc in showtraceback(self, exc_tuple, filename, tb_offset, exception_only) 
    1824            value, tb, tb_offset=tb_offset) 
    1825 
-> 1826      self._showtraceback(etype, value, stb) 
    1827      if self.call_pdb: 
    1828       # drop into debugger 

C:\Users\uids2739\AppData\Local\Continuum\Anaconda2\lib\site-packages\ipykernel\zmqshell.pyc in _showtraceback(self, etype, evalue, stb) 
    509    u'traceback' : stb, 
    510    u'ename' : unicode_type(etype.__name__), 
--> 511    u'evalue' : py3compat.safe_unicode(evalue), 
    512   } 
    513 

C:\Users\uids2739\AppData\Local\Continuum\Anaconda2\lib\site-packages\ipython_genutils\py3compat.pyc in safe_unicode(e) 
    63  """ 
    64  try: 
---> 65   return unicode_type(e) 
    66  except UnicodeError: 
    67   pass 

C:\prog\spark-2.1.0-bin-hadoop2.6\python\lib\py4j-0.10.4-src.zip\py4j\protocol.py in __str__(self) 
    419   gateway_client = self.java_exception._gateway_client 
    420   answer = gateway_client.send_command(self.exception_cmd) 
--> 421   return_value = get_return_value(answer, gateway_client, None, None) 
    422   return "{0}: {1}".format(self.errmsg, return_value) 

C:\prog\spark-2.1.0-bin-hadoop2.6\python\lib\py4j-0.10.4-src.zip\py4j\protocol.py in get_return_value(answer, gateway_client, target_id, name) 
    325    raise Py4JError(
    326     "An error occurred while calling {0}{1}{2}". 
--> 327     format(target_id, ".", name)) 
    328  else: 
    329   type = answer[1] 

Py4JError: An error occurred while calling None.None 

はあなたの助けをいただき、ありがとうございます。

Answer 1

寄木張りはすべてをサポートしていないので、タイプの問題でした。 は、私がこのようなSQL形式の読み取り要求をした：

df = spark.sql("SELECT * FROM parquet.`file.parq`") 

は私にエラーメッセージを与える：

AnalysisException: u'Job aborted due to stage failure: Task 0 in stage 46.0 failed 1 times, most recent failure: Lost task 0.0 in stage 46.0 (TID 46, localhost, executor driver): org.apache.spark.sql.AnalysisException: Parquet type not supported: INT32 

をだから私は、この寄木細工のファイルを作成するときに浮いてint32型を変更し、問題が解決されました。