条件に基づいて選択された行セットの要素数を数えるにはどうすればよいですか？

Question

私は多くの重複値を持つ大きなDataFrameを持っています。一意の値はList1に格納されます。次のようにしたいと考えています。

1. リストにある各値を含むいくつかの行を選択してください。
2. 選択した行を繰り返し、非NaN要素の数を数えます。
3. カウント値が2以上の場合は、それを新しいリストに格納します。 List1の各コンポーネントは、すべての場合にのみ、eq_listに追加する必要があります。 'eq'のカウント値は、> 2です。

単純化されたサンプル入力：

List1 = ['A','B','C','D','E','F','G','H','X','Y','Z'] 

Sample DF 'ABC': 

     EQ1 EQ2 EQ3 
0  A NaN NaN 
1  X Y  NaN 
2  A X  C 
3  D E  F 
4  G H  B 

所望の出力：

eq_list = ['B','C','D','E','F','G','H','X','Y'] 

私が試したコードレット：

for eq in List1: 
    MCS=ABC.loc[MCS_old[:] ==eq] 
    MCS = MCS.reset_index(drop=True) 
    for index_new in range(0,len(MCS)-1): 
     if int(MCS.iloc[[index_new]].count(axis=1))>2: 
      eq_list.append(raw_input(eq)) 
      print(eq_list) 

私は問題が明らかにされていることを願っています。

Answer 1

以下は、2つ以上の非NaN値を持つ行で発生する（一意の）値のsetを示し、2未満の行でも発生するものを排除します。NaN。ループの使用を避ける。

まず、欠損値の制限を満たしている（とコメントで述べたデータの問題に対処するために.strip()を追加）しないdfの一部に一意の値のsetを取得：

na_threshold = 1 
not_enough_non_nan = df[df.count(axis=1) <= 1].values.flatten().astype(str) 
not_enough_non_nan = set([str(l).strip() for l in not_enough_non_nan if not l == 'nan']) 

{'A'} 

次に、特定あなたの制限を満たしていない値のsetは：

enough_non_nan = df[df.count(axis=1) > 1].values.flatten().astype(str) 
enough_non_nan = set([str(l).strip() for l in enough_non_nan if not l == 'nan']) 

{'H', 'C', 'E', 'B', 'D', 'X', 'F', 'A', 'Y', 'G'} 

最後に

、常にrestriを満たしていない値を排除するために上記の間set違いを取りますction：

result = sorted(enough_non_nan - not_enough_non_nan) 

['B', 'C', 'D', 'E', 'F', 'G', 'H', 'X', 'Y'] 

Answer 2

はあなたが持っていると仮定します。

df 
    EQ1 EQ2 EQ3 
0 A NaN NaN 
1 X Y NaN 
2 A X C 
3 D E F 
4 G H B 

すると、次のように作業を進めることがあります。

dft = df.T 
output_set = set() 
prune_set = set() 
for column in dft: 
    arr = dft[column].dropna().values 
    if len(arr) >=2: 
     output_set |= set(arr) 
    else: 
     prune_set |= set(arr) 
sorted(output_set - prune_set) 
['B', 'C', 'D', 'E', 'F', 'G', 'H', 'X', 'Y']