large-files

0熱

2答えて

Javaテキストコンポーネントを作成していますが、速度の理由から、中に大きなテキストファイルを部分的にロードしようとしています。私の質問は、テキストがUTF8、Big5、GBKなどのマルチバイトエンコード形式であるかどうかです。テキストを正しくデコードできるようにバイトをどのように揃えることができますか？

0熱

4答えて

expatパーサー：メモリ消費

私はexpatパーサーを使用して約15GBのXMLファイルを解析しています。問題は、 "メモリ不足"エラーをスローし、プログラムが異常終了することです。私は、expatパーサーで同様の問題に直面しているのか、それとも既知のバグであり、それ以降のバージョンで修正されたのか知りたいですか？

6熱

2答えて

巨大なファイルのバージョン管理システム？

私は約80ギガバイトのファイルの束のスナップショットを行うために、素早く、あまりにも汚い方法を探しています。ここで問題となるのは、ファイルの多くが1GBほどの大きさであるということです。このタイプのもののための最高の無料バージョン管理システムは何ですか？私はZFSがオプションだと知っていますが、まず何か他のものを試してみたいと思います。

7熱

4答えて

大きなファイルをgitで拒否する

最近、gitの使用を開始し、誰かが大きな（約1.5GBのファイル）をコミットしたときに、いろいろな32ビットOSでgitがクラッシュするという問題がありました。これは既知のバグ（gitがメモリにファイルをmmapsしてしまい、十分な連続スペースが得られない場合には動作しません）のようです。すぐには修正されません。私たちにとって簡単な解決策は、gitが100MBほどの大きなコミットを拒否することで

1熱

3答えて

wikipediaデータベースの読み込みをダンプする - navicatを殺す - 誰でもアイデアがありますか？

私はwikipedia xmlダンプをダウンロードしました。そのうち12 GBのデータが1つのテーブルにあります。それをローカルホスト上のmysqlデータベースにインポートしたいのですが、12 GBの巨大なファイルと、それか、その可能性が高いのインポートの時間の絞首刑:(。は、部分的に、ほとんどのあなたは少しずつ知っている、少なくともこのダンプかを含める方法があります。私は正しいみようというそ

1熱

3答えて

Linux/bashでファイルとその行を分割する

かなり大きなファイル（1億5000万行の10文字）があります。私は200万行の150ファイルに分割する必要があり、各出力行はソース行の最初の5文字または最後の5文字です。私はPerlでこれをやや早く行うことができましたが、bashを使って簡単に解決できるかどうか疑問に思っていました。アイデア