large-data

0熱

1答えて

私は、いずれかの列にイメージを含むスプレッドシートを持っています。画像をクリックすると、左上隅に画像名が表示されます。は、画像の代わりに、私は列に表示されるように、その名前をしたいと思います。 10000行以上あるので手動ではできません。列にイメージ名を取得する方法はありますか？

0熱

1答えて

非常に大きなデータリストを格納する

非常に大きなリスト（80MBまでのサイズ）を格納する必要があります。データをチャンク化し、複数のキー（A_1、A_2 ...など）に格納できます。このソリューションは、エレガントなものから遠くに見えます。また、特定のドキュメントのチャンク数を知るために、検索辞書{'A'：[1,2、...]}を維持しなければならないオーバーヘッドがあります。 RedisまたはAerospikeでこれを行う方法は他に

2熱

2答えて

大きな（GB）テキストファイルをすばやく表示するにはどうすればよいですか？

ファイル全体をメモリにロードせずに、大きなテキストファイルの内容をすぐにアプリケーションに表示したいと考えています。どのように他の人がそうしていますか？ Total Commanderそれをしない驚くべき内部ビューアを持っている素晴らしいツールです。どれくらいの大きさ、瞬時に（または私はそれを時間を計ることができないほど）どんなファイルでも開く。私は12GBファイルで試しました。ファイルを表示す

0熱

1答えて

HDF5ファイルに保存されたデータでKerasのニューラルネットワークをトレーニングするにはどうすればよいですか？

私は、回帰タスクの入力とラベルを含むかなり大きなPyTables EArraysを2つ持っています。入力配列は4d（55k x 128 x 128 x 3）で、ラベル配列は1d（55k）です。私はこのデータで訓練したいKerasで指定されたNNアーキテクチャを持っていますが、2つの問題があります。少なくとも入力配列は大きすぎるため、一度にメモリに収まりません。私は電車、テスト、および検証の分割

0熱

1答えて

特定のファイル範囲の後でタール抽出を停止したい

大規模なセクションを一度に1つずつ処理する巨大なtarアーカイブがあります。ディスクをいっぱいにして他のアプリケーションをクラッシュさせないように、それを保守する必要はありません。 --starting-file=を使用してアーカイブ内の任意のファイルから開始できますが、--stopping-file=コマンドがないようです。逆の除外パターンを書いて、それがすべてのファイルを無視するように見える

1熱

1答えて

Magentoの2つの製品は、我々はカタログ検索インデックスの再作成中に見つかりません製品の問題に直面しているMagentoの2.1.0</p> <p>に取り組んでいる

のインデックスを再作成しました。カタログが大規模なので、このプロセスは完了するのに時間がかかり、その間にウェブサイトには製品が表示されません。誰かがこのような問題に直面した場合は、助けてください。前もって感謝します。

1熱

1答えて

大規模データベース上のMongoDB初期同期

3つのノードを持つMongoDBレプリカセットを使用しています。データベースは2億以上のレコードで、ディスク（WiredTiger MongoDBエンジン）で700GBを占めています。ほとんどの場合、文書には挿入物（1日に数百万回）が読み込まれ、更新されます。セカンダリメンバでディスクを交換した後、データフォルダが空で初期同期が開始されました。ログを見て、それがレコードをコピーするのに約7時間か

0熱

2答えて

大規模なデータセットにRの機械学習パッケージを適用する

私はRにLMを適用するとメモリを消費する他の変数も作成するため、約1GBのデータセットがメモリに適合しません）。この状況で分析を行うために、Rでこれらの素晴らしい機械学習パッケージ（例：glm、ランダムフォレスト、ニューラルネットなど）を使用する方法があるのだろうか？何か提案と参考に感謝します。

0熱

1答えて

非常に大きな辞書をPythonでメモリにロードしたままにするには？

私はアルゴリズムのために非常に頻繁に照会する必要がある〜200GBの非常に大きな辞書を持っています。速い結果を得るために、私はそれを可能な限りメモリに入れたいと思います。幸いにも私は500GBのRAMを持っているからです。しかし私の主な問題は、新しいプロセスを作成するたびにコードを繰り返し実行するのではなく、メモリ内に一度だけロードしてから別のプロセスに同じ辞書を照会させたいということです。ス

6熱

1答えて

大きなJavaマップを効率的に保存するにはどうすればよいですか？

私は1つのゲームを強要しています。私はすべてのポジションと結果に対してデータを格納する必要があります。データはおそらく数百GBのサイズになります。私はSQLを考えましたが、タイトなループで検索するとパフォーマンスが低下する恐れがあります。プログラムは可能な位置を反復し、既知の場合は勝利の動きを返し、すべての動きが失われていると分かっていれば最長の失われたシーケンスを返し、未知の動きについて結果をチ