正規表現と一致する実際の一意の値を見つける方法

Question

私は100万以上の行を持つpandas DataFrameを持っており、データを正規化しようとしている過程で一意の値を見つける必要があります。指定された列のデータは、タイプの文字列（都市名を表す）です - そして、データを正規化する際に、列内のすべての値を小文字にして特定のステップを実行することで、すでに長い道のりを歩み、pandas.core.frame.DataFrame.replace()データのために明らかだった。

のサンプル私が持っている（と私が達成したい）下記見つけたもの：これよりもデータの

In [1018]: sample 
Out[1018]: 
     0 
0  warsaw ## -> warsaw 
1  krakow ## -> krakow 
2 warszawa ## -> warsaw 
3 cracovie ## -> krakow 
4 warsawa ## -> warsaw 
5  krkow ## -> krakow 
6  krąków ## -> krakow 
7 krakowie ## -> krakow 
8  kraków ## -> krakow 
9 varşovia ## -> warsaw 
10 warschau ## -> warsaw 

だけはるかに大きいセット、私はREGを使用して別の都市名のバリエーションを検索する必要があるよう式を使用してデータセットのバージョンに存在するものをすべて見つけ出し、正規化を続行します。

In [1023]: df.column_a.unique() 
Out[1023]: 
array(['warsaw', 'bydgoszcz', 'null', ..., 'kłodawa', 'kościelna wieś', 
    'poznań-jeżyce'], dtype=object) 

In [1024]: len(df.column_a.unique()) 
Out[1024]: 3798 

私は.str.contains()で試してみましたが、私が唯一持っているそれらの指標のためのブール値を取得しています - 定義された列の下に - 指定した正規表現に一致する値：

In [1029]: df.column_a.str.contains(r"\bwar.*") 
Out[1029]: 
0  True 
1  False 
2  False 
3  True 
4  False 
5  False 
6  False 
7  False 
8  False 
9  False 
10  False 
    ... 

しかし、私は何探しているのは正規表現と一致する実際の値を取得することです。上記の例では、次のようなものを得ることができます：

['warsaw','warszawa','warsawa','warschau'] 

Answer 1

使用ブールインデックスはNULL値が、その後これを行うがある場合document

In [143] df[df.column_a.str.contains(r'\bwar.*')] 
    Out [143] 
    0  warsaw 
    2 warszawa 
    4 warsawa 
    10 warschau 

を参照してください。

df[pd.notnull(df.column_a) & df.column_a.str.contains(r'\bwar.*')] 

Answer 2

DataFrame列に一意の値を返す検索を実行する方法が見つかりました。代わりに値をextractに解決することです。上記のような問題については

は、私が代わりに str.contains()

In [1311]: df.column_a.str.extract(r"\b(war.*)").unique() 
Out[1311]: 
array(['warsaw', nan, 'waraszawa', 'warszawskiej', 'warszawy', 'warzawa', 
    'warsza', 'warrszawa', 'warzszawa', 'warszawan', 'warszawie', 
    'warwszawa', 'warszawski', 'warzno 84-208', 'warasza, wola', 
    'warszawskie', 'warzsawa', 'warzno', 'warszawa', 'warszwa', 'warsawa'], dtype=object) 

がよりよい解決策があるかもしれないもののstr.extract()を使用しているが、これは確かです。 -