パンダのデータフレームを読むときに特定の値を含む特定の行をスキップ

Question

csvコマンドを使用してpd.read_csvを読むと、 行内の特定の値を含む行をスキップするにはどうすればよいですか？ 50行目、55行目、1列目の値が100であるため、csvファイルを読み込むときにその行をスキップします。 どのように私はこれらのコマンドをpd.read_csv（ 'read.csv'）のような読み込みコマンドに入れることができますか？ 値の全長は300です。

Answer 1

後でドロップすることと、それをまったく読まないことの違いは何ですか？あなたは単に次のようにします：

pd.read_csv('file.csv').query('col1 != 100') 

Answer 2

唯一の方法は、ファイルをあらかじめ解析することです。ファイルを読み込むにはジェネレータを使用し、必要な行はyieldにしてください。それを使用して、目的の行をStringIOオブジェクトに読み込み、そのオブジェクトをファイルパスのどこかにread_csvに渡します。

import StringIO 
import pandas as pd 

def read_file(file_name): 
    with open(file_name, 'r') as fh: 
     for line in fh.readlines(): 
      parts = line.split(',') 
      if parts[0] != '100': 
       yield line 

stream = StringIO.StringIO() 
stream.writelines(read_file('foo.txt')) 
stream.seek(0) 

df = pd.read_csv(stream)