Pythonの大きなデータフレームで反復するコードを最適化する方法

Question

私は大きなパンダのデータフレームを持っています。それは何千もの列と100万行以上あります。私は最大値と最小値の間の差を行ごとに計算したいと思います。多くのNaN値があり、いくつかの行はすべてNaN値であることに注意してください（ただし、私はまだそれらを保持したい！）。

私は次のコードを書いています。それは動作しますが、それは時間がかかります：

totTime = [] 
for index, row in date.iterrows(): 
    myRow = row.dropna() 
    if len(myRow): 
     tt = max(myRow) - min(myRow) 
    else: 
     tt = None 
    totTime.append(tt) 

それを最適化する方法はありますか？次のコードを試してみましたが、すべてのNaN行が発生したときにエラーが発生します。

tt = lambda x: max(x.dropna()) - min(x.dropna()) 
totTime = date.apply(tt, axis=1) 

すべての提案があります。

Answer 1

大規模なpandas.DataFrameまたはnumpy.ndarrayを反復するためにpythonforループを使用するために、通常は悪い考えです。使用可能なビルドは、最適化されている関数で使用する必要があります。多くの場合、実際にはPythonではなくコンパイルされた言語で記述されています。あなたの場合、pandas.DataFrame.maxとpandas.DataFrame.minの両方を使用すると、skipnaのnanの値をDataFrameにスキップして、実際に手動で削除する必要はありません。さらに、axisを選択して、最小化することもできます。したがって、axis=1を指定して列に沿って最小値を得ることができます。

これは@EdChumはちょうどコメントで述べたものと同様のものにまで追加されます：

data.max(axis=1, skipna=True) - data.min(axis=1, skipna=True) 

Answer 2

私は反復について同じ問題があります。 2点：

1. なぜNaN値を0に置き換えないのですか？これはdf.replace(['inf','nan'],[0,0])で行うことができます。これは、inf値とnan値を置き換えます。
2. このThisをご覧ください。多分あなたは理解することができます、私は前のものとの実際の行の違いを計算するためにループを最適化する方法について同様の質問があります。