large-files

1熱

1答えて

私は大きなcsvファイル（4GB以上）に取り組んでいます。は、だから私はパンダのチャンク（メモリリーク）に仕事をしなければならない。しかし、私は（、MIN、MAX、パーセンタイル、...カウント）全データの記述取る方法がわかりません。がたくさんありがとうございました私は、この問題のためにいくつかのアドバイスをお願いします。その後 import pandas as pd nr_chunk_

1熱

1答えて

Javaで大きなファイルを読み込んでいるときにOutOfMemory例外を回避する方法

ファイルから大量のデータを読み取るアプリケーションで作業しています。基本的には、私は巨大なファイル（約1.5-2ギグ）を持っていて、さまざまなオブジェクトを含んでいます（ファイルごとに5〜10百万です）。私はそれらのすべてを読んで、それらをアプリ内の別の地図に置く必要があります。問題は、ある時点でオブジェクトを読み取っているときにアプリがメモリ不足になることです。 -Xmx4096mを使用するよう

4熱

1答えて

git repoから大きなフォルダを削除しようとしていますが、長すぎます

git repoには約70,000個のファイルがあるフォルダがあります。これは苦痛だったので、70,000ファイルを使用する代わりに、それらを1つのtar.gzに圧縮しました。私は今、gitリポジトリからディレクトリを削除しようとしていますが、思ったよりも長くかかるようです。私はgitがフォルダを削除しようとするたびにぶら下がっているのだろうかと思います。私はhtopを行うとき、私はGitの実

2熱

1答えて

S3から大きなファイルを1行ずつストリーミングする

私は自分のDBをシードするために使用したいs3に10GBのcsvファイルをいくつか持っています。私はHeroku上でRoRアプリケーションを実行していますが、メモリに収まらないほど大きすぎるため、csvを1行ずつストリーム処理する方法を理解することはできません.File.openを使用して外部ファイルにアクセスすることはできません。 Tempfileを使用して一度にバイトストリームを調べましたが、

4熱

1答えて

C＃でAntlr4で大きなファイルを解析すると、OutOfMemoryExceptionがどのように解決されますか？

私はC＃を使用してAntlr4で大きなファイル（約500MB）を解析しようとしています。しかし、私はOutOfMemoryExceptionを持っています。私の現在のコードを以下に説明する： var path = GetInput(Path.Combine(DatFilePath)); // Build the large file var inputStream = new StreamRe

1熱

3答えて

QTウィンドウに巨大な画像を読み込み、細かく拡大縮小できる

私のアプリケーションは巨大な画像（> 1 GB）を処理する必要があります。私の出発点は、QT5をインストールしたときにウィジェットフォルダにあるイメージビューアの例でした。この例の問題は、私が扱う必要があるような巨大な画像を操作するのには適していないようです。ズームインとズームアウト時には、更新が永遠に行われるため、ユーザーエクスペリエンスが十分ではありません。私はWindowsフォトアプリのよ

0熱

1答えて

大きなデータをPythonでRSAエンコードする方法3

pycryptoライブラリを使用してpython3.xでデータを暗号化しようとしています。短いデータではうまく動作しますが、長い配列ではうまく動作しません。長いデータをどのように暗号化できますか？データを分割するためのラッパーを作成する必要がありますか？または、長いデータを処理できる他の暗号ライブラリがありますか？ from Crypto.PublicKey import RSA from Cr

1熱

2答えて

JavaScriptでコンテンツをメモリにロードせずにファイル内の行数を知る方法は？

ブリーフ：CSVファイルをロードしますが、それらは巨大（+ 1M線）であることが予想されるシステム。私はすでに、キューとバックグラウンドのジョブ/タスクを使ってそれらを処理する方法について考えています。しかし、私は何かのライン、ユーザーに自分のファイルの進捗を表示したい：1246875の2165または多分それの割合。これをアーカイブするには、ファイル内の行数を知る必要がありますが、その内容を

0熱

1答えて

openCV大規模な画像または巨大な画像のimread制限Mat bug＃3258

私はこの問題についての日々を探していて、解決されたスレッドは見つかりませんでした。私は、私は、Visual Studio 2013、C++を使用していますシンプルな src = imread(filepath, 1); によって、OpenCVのコードにかなり大きな画像（4ギガバイトを超えたと、どちらか.TIFF/.PNG）をロードする必要があります。私は96Gb-RAMマシンを使用していま

0熱

1答えて

晴れのテーブルストレージに巨大なバイト配列を保存するには？（ - 別の解決策を提案してください、それが間違っている場合）

私はバイトに変換され、いくつかのファイルを入れたい、このプロパティではbyte[]プロパティ [StorageTableName("TestTable")] public class TestTableEntity : TableEntity { public byte[] Data { get; set; } } が含まれているtableEntityを持っています。インサート