2017-08-01 3 views
0

Dask(Python)とR DrillSergeantパケットを使用)でそれぞれ1つの寄木張りファイルを生成しました。彼らは異なる実装を使用しますparquetsee my other parquet questionRとPython間の読み込み寄木細工ファイル

私たちはファイルを読み飛ばすことができません(PythonはRファイルを読み取ることができず、その逆もありません)。
R環境でPythonのパーケットファイルを読むと、次のエラーが表示されます。system error: Illegalstatexception: UTF8 can only annotate binary filed
DaskでR/Drillパーケットファイルを読むと、FileNotFoundError: [Error 2] no such file or directory ...\_metadata(これは自明です)が表示されます。
RとPythonの間で寄木張りのファイルを読み込むオプションは何ですか?

洞察が得られるでしょう。

答えて

1

がfastparquet/DASKとドリルのような寄木細工のデータ・セットを読み取るには、あなたはバグかもしれない他の方向に行くから、例えばファイル名のリストを、PASする

files = glob.glob('mydata/*/*.parquet') 
df = dd.read_parquet(files) 

エラーを必要とし、または(あなたの他の質問から集まる)は、固定長文字列を使用したが、ドリル/ Rはそれらをサポートしていないことを示している可能性があります。

関連する問題