2012-08-27 15 views
7

データをフラットファイルに入力しました。私はこのデータをテーブルに分割して正規化したい。 pandasでそれをきちんと行うことができます。つまり、フラット化されたデータをDataFrameインスタンスに読み込んだ後、いくつかの関数を適用してDataFrameインスタンスを取得することができますか?pandas:DataFrameを正規化する

例:

データはCSV形式でディスク上の私に与えられている。このようなファイル:

ItemId ItemDescription 
1  scroll of Sneak 
2  scroll of Invisibile 

:私は2つのデータフレームを作成したい

ItemId ClientId PriceQuoted ItemDescription 
1  1   10   scroll of Sneak 
1  2   12   scroll of Sneak 
1  3   13   scroll of Sneak 
2  2   2500   scroll of Invisible 
2  4   2200   scroll of Invisible 

ItemId ClientId PriceQuoted 
1  1   10 
1  2   12 
1  3   13 
2  2   2500 
2  4   2200 

pandasが最も簡単な場合にのみ良い解決策を持っている場合(上記の例のように多対1の関係を持つ2つのテーブルが正規化されます)、現在のニーズに十分対応できる場合があります。しかし、私は将来もっと一般的な解決法が必要かもしれません。

答えて

9
In [30]: df = pandas.read_csv('foo1.csv', sep='[\s]{2,}') 

In [30]: df 
Out[30]: 
    ItemId ClientId PriceQuoted  ItemDescription 
0  1   1   10  scroll of Sneak 
1  1   2   12  scroll of Sneak 
2  1   3   13  scroll of Sneak 
3  2   2   2500 scroll of Invisible 
4  2   4   2200 scroll of Invisible 

In [31]: df1 = df[['ItemId', 'ItemDescription']].drop_duplicates().set_index('ItemId') 

In [32]: df1 
Out[32]: 
      ItemDescription 
ItemId 
1   scroll of Sneak 
2  scroll of Invisible 

In [33]: df2 = df[['ItemId', 'ClientId', 'PriceQuoted']] 

In [34]: df2 
Out[34]: 
    ItemId ClientId PriceQuoted 
0  1   1   10 
1  1   2   12 
2  1   3   13 
3  2   2   2500 
4  2   4   2200