xarrayを使用してnetCDF4データセットを開きたいとします。Pythonでxarrayにファイルサイズの制限がありますか？
私には2つの例があります。時系列で300万ポイント以上の大きなファイル（3.2GB）。時系列で9999ポイントの小さなファイル（9.8 MB）。 このコードは小さなファイルを開きます。
ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)
大きなファイルを使用すると、不明なエラーが発生します。この動作は、ミニコンダがインストールされた2つの異なるWindowsマシンで一貫しています。
ここでは何が起こっていますか？他に何を確認すべきですか？
ありがとうございます。
xarrayもnetCDF4-Pythonもファイルサイズの制限がありません。彼らは10-100GBの範囲のファイルに対してうまく使用されています。
あなたの問題は、Python 3を使用してWindows上で大きなファイルを読み取るため、このnetCDF4-Pythonの問題で報告されたものと似ています：https://github.com/Unidata/netcdf4-python/issues/535
より広く、あなたがlimitations of the netCDF file format自体に実行される可能性があります。 xarrayがNetCDF4-Pythonとh5netcdfでサポートするバージョン4は、HDF5に基づいており、ファイルサイズの制限はありません。 xarrayがnetCDF4-Pythonとscipyでサポートしているバージョン3は、 "64ビットオフセット"バージョンを使用していない限り、2GBのファイルサイズ制限を持っています（まだ1変数につき<の制限があります）。
サイズが問題ではないことを確認していただきありがとうございます。 –
私は、MATLABが大きなファイルに問題はないと付け加えるべきです。 –