並列txtファイルからdaskデータフレームを読み取る

Question

私は2つ（またはそれ以上）の並列テキストファイルをS3に格納しています - つまり、最初のファイルの1行目は2番目のファイルの1行目に対応します。データフレームを消去します。それを行うには最高の/最も簡単な/最速の方法は何でしょうか？

PS。私はそれぞれを別々のデータフレームに読み込むことができますが、データフレームインデックス値がユニークでも単調でもないように見えるので、インデックスに結合することはできません。同時に、行の対応は各ファイル内の位置によって定義されます。

Answer 1

残念ながら、dask.dataframeは大きなファイルを行単位ではなく、バイト単位で分割します。大きなファイルの特定の行を最初にすべて調べることなく、その行にシークするのはまともです。