Rでサイズが約1300000 * 10000(約50 GB)のビッグマトリックス(データフレーム)を生成します。この行列を適切な形式で保存したいので、後でPythonや他のプログラムコードにデータを入力して解析を行うことができます。もちろん、私はデータを一度に送ることができないので、マトリックスを部分集合し、少しずつフィードしなければなりません。 しかし、行列の格納方法はわかりません。私は2つの方法を考えていますが、どちらも適切ではないと思います。 サブセット化が非常に難しいため、プレーンテキスト(csvやExcelテーブルを含む)を使用しています(例えば、データの一部の列と一部の行が必要な場合) (2)データベースでは、mysqlとsqliteについての情報を検索しましたが、SQLデータベース(1024)ではカラム数が制限されているようです。 私は、データを格納するための良い戦略があるかどうかを知りたいので、データを行/列のインデックスまたは名前でサブセット化することができます。後で簡単にサブセット化できるビッグマトリックス(データフレーム)の保存方法
0
A
答えて
0
検索/フィルタリングする必要があるいくつかの列ごとに別々の列を作成します。次に、クライアントコードが解析するのに便利ないくつかのデータ形式に10K列全体を置きます。 JSONは一般的な可能性の1つです。多くのデータのデータ型JSON
又はTEXT
として(ソフトウェアバージョンに依存) - id
(AUTO_INCREMENT、主キー)、カラム検索、およびJSONブロブ:
だからテーブルだろう1.3M行及びおそらくは3列値。
関連する問題
- 1. クラスタを可視化した後にデータをサブセット化する最も簡単な方法は何ですか?
- 2. Javaでシリアル化してデータを保存し、後で(少量の)データにアクセスする最も簡単で簡単な方法はありますか?
- 3. 1つのRデータフレームを別のRデータフレームの値でサブセット化する方法は?
- 4. 設定を定数に簡単に保存する方法は?
- 5. 分割後にサブセットをサブセット化する方法
- 6. Rはデータフレームを列でサブセット化する
- 7. HTMLテーブルをSQLファイルに保存する簡単な方法は?
- 8. rubyオブジェクトをコマンドラインに保存する簡単な方法は?
- 9. Tomcatに簡単なカスタム設定を保存する方法
- 10. データフレームのサブセット化に関するヘルプ
- 11. スキャンでデータを読み込んだ後にRでデータフレームをサブセット化する
- 12. pandasデータフレームのデータセットをサブセット化する方法は?
- 13. ツイートをデータベースに保存する簡単な方法は何ですか?
- 14. 外部RSSフィードを保存する最も簡単な方法
- 15. androidで簡単に検索できるようにデータを保存する方法
- 16. パンダのデータフレームを行単位でディスクに保存する
- 17. データフレームをサブセット化するときに文字列をオブジェクトおよびサブセットとして使用する方法
- 18. 問題サブセット化rデータフレーム
- 19. C#で文字列[]のサブセットを取得する簡単な方法
- 20. C#でオブジェクトをシリアライズして保存する最も簡単な方法は?
- 21. 簡単な仮想化の方法
- 22. jsonで簡単に印刷する方法簡単なJavaライブラリ
- 23. 私のUWPアプリケーションに設定を保存する簡単な方法
- 24. MVCのデータベースに画像を保存する最も簡単な方法は
- 25. MySQLデータベースに関するメタデータを保存する簡単な方法
- 26. このheirarchicalテーブルをフラットテーブルに非正規化する最も簡単で簡単な方法は何ですか?
- 27. 別のデータフレーム内の値に基づいてデータフレームをサブセット化
- 28. Googleアプリケーションエンジンでデータを保存して返す最も簡単な方法
- 29. Ionic2にパスワードを保存する簡単な方法はありますか?
- 30. ユーザーデータ/入力をアプリケーションに保存する最も簡単な方法
誰も知らない? –
10K列のいずれかで検索する必要がありますか?それともほんの一部ですか? –
まあ、実際は今私はただ一つの列で検索する必要があります:すべての行にはrownameがあり、私はちょうどrowname/columnnameでサブセット化する必要があります –