大きなCSVファイル(7.3GB; 16,300,000行)がありますが、どのようにしてこのファイルを2つのファイルに分割できますか?大きなファイルを分割するにはどうすればよいですか?
6
A
答えて
16
split
コマンドを見ましたか?詳細については、this男性ページを参照してください。
このpageには、このコマンドの使用例が含まれています。別に
:
man -k
コマンドを使用すると、特定のコマンドが何であるかをかなり確実でない場合は、UNIX/Linuxのコマンドを見つけるためにかなり便利です。 man -kコマンドでキーワードを指定すると、システムは関連するコマンドを引き出します。例えば、
% man -k split
が得られます:
csplit (1) - split a file into sections determined by context lines
dirsplit (1) - splits directory into multiple with equal size
dpkg-split (1) - Debian package archive split/join tool
gpgsplit (1) - Split an OpenPGP message into packets
pnmsplit (1) - split a multi-image portable anymap into multiple single-image files
ppmtoyuvsplit (1) - convert a portable pixmap into 3 subsampled raw YUV files
split (1) - split a file into pieces
splitdiff (1) - separate out incremental patches
splitfont (1) - extract characters from an ISO-type font.
URI::Split (3pm) - Parse and compose URI strings
wcstok (3) - split wide-character string into tokens
yuvsplittoppm (1) - convert a Y- and a U- and a V-file into a portable pixmap
zipsplit (1) - split a zipfile into smaller zipfiles
1
分割-d -n 1/Nのfilename.csvのtempfile.partを。
は、ファイルを分割しないでN個のファイルに分割します。上記のコメントで述べたように、ヘッダーは各ファイルで繰り返されません。
関連する問題
- 1. クライアントコードを壊さずに大きなパッケージを分割するにはどうすればよいですか?
- 2. 大きな「マクロ」クラスを分割するにはどうすればよいですか?
- 3. 巨大なWordPressマルチサイトデータベースを別々のMySQLデータベースに分割するにはどうすればよいですか?
- 4. 大きなCSVファイルを扱うにはどうすればいいですか?
- 5. 大きなXAMLファイルをサブXAMLファイルに分割し、親オブジェクトと子オブジェクト間の通信を維持するにはどうすればよいですか?
- 6. UITableViewでセクションを分割するにはどうすればよいですか?
- 7. ルーチンをスレッドに分割するにはどうすればよいですか?
- 8. 大きなファイルをUNIXで繰り返し分割するにはどうしたらいいですか?
- 9. 大きな画像を1つ使用し、それをウェブサイトの小さな部分に分割するにはどうすればよいですか?
- 10. 検証エラーメッセージを分割するにはどうすればよいですか?
- 11. 大きな数字をiOSで管理しやすい部分に分割するにはどうすればよいですか?
- 12. 大きなデータセットをインポートするにはどうすればよいですか?
- 13. Java:大量のMouseListenersをピクセル/グリッド分割と比較するにはどうすればよいですか?
- 14. Rails 3.1プロダクションアセット:大きなファイルはピースに分割されます
- 15. 大きなテキストファイルを短いファイルに分割する
- 16. 大きなテキストファイルをレコードを切り捨てることなくほぼ均等なサイズに分割するにはどうすればよいですか?
- 17. .sqlスクリプトを複数のファイルに分割するにはどうすればよいですか?
- 18. PyQt:ユーザーからファイル名の大きなリストを取得するにはどうすればよいですか?
- 19. クローラでページ分割を行うにはどうすればいいですか?
- 20. Rubyで大きなファイルを処理するにはどうすればよいですか?
- 21. wsgiで大きなファイルのアップロードを制限するにはどうすればよいですか?
- 22. 水銀で歴史の大きなファイルを削除するにはどうすればよいですか?
- 23. 大きなファイル(> 25MB)をWebサービスにアップロードするにはどうすればよいですか?
- 24. 大きなHTMLファイルをiFrameに挿入するにはどうすればよいですか?
- 25. 文を分割するにはどうすればいいですか?
- 26. 文字列をPerlで2つの部分に分割するにはどうすればよいですか?
- 27. Javaを使用して大きなXMLファイルを解析するにはどうすればよいですか?
- 28. 巨大なgzファイルを分割する
- 29. procファイルから大きなデータを読み取るにはどうすればよいですか?
- 30. mysqlコマンドラインツールを使用して大きなテーブルを複数の小さなテーブルに分割するにはどうすればよいですか?
こんにちは、構文は正しいですか? ** split -lines = 5 1.csv ** – sprabhakaran
@spk:構文は正しいが、ファイルを3,260,000ファイルに分割する。より高い値を選択する必要があります.8,150,000以上16,300,000未満の2つのファイルが作成されます。 – Zeta
@spkと同様に、適切な値を選択すると、あなたが望むことができます。あなたがSOに求めてきました質問のいずれかがあなたの質問に正しい答えを提供した場合は、それらを受け入れる気軽に - http://meta.stackexchange.com/questions/5234/how-does-accepting-an-answer-work – Levon