Python 2.7の文字列の 'join'とファイルの 'read binary'の比較

Question

関数間で情報やデータを保存したり交換するために、たくさんの一時ファイルを生成する古いスクリプトを書き直しています。ファイルを生成する際のオーバーヘッドを避けるために、それらを変数として保持したい。

私の問題：私は2つのファイルがこのコードを使用してバイナリレベルでマージされている機能に遭遇しました：

with open(first_file, "ab") as file1, open(second_file, "rb") as file2: 
     file1.write(file2.read()) 

私は文字列を使用して、同じことをしたいと思っと」.join'関数のようにこれは：

first_file = ''.join([first_file, second_file]) 

私の質問：「読み込みバイナリ」と同じですか？あるいは、 'バイナリ読み出し'モードは.joinにも適用されますか？

私が作業しているデータはバイナリなので、単純な '読み取り'コマンドは内容を変更する可能性があります。

は、これまでのところ私は、公式Pythonドキュメントでこの情報を見つけました：Windows上

Pythonは、テキストとバイナリファイルを区別します。 テキストファイルの行末の文字は、データの読み書き時に自動的に変更されます（ ）。この背後にあるシーン は、ASCIIテキストファイルでは問題ありませんが、 ではJPEGやEXEファイルのようなバイナリデータが破損しています。小規模なテストを作る

Answer 1

： a.txtは'Hello'が含まれているが、 'B.TXTは' 'World'が含まれています。

with open('a.txt', "ab") as file1, open('b.txt', "rb") as file2: 
    file1.write(file2.read()) 

今a.txtは'HelloWorld'が含まれています。 「こんにちは」に戻すa.txtを変更した後、他のスニペットで確認

：

with open('a.txt', "rb") as file1, open('b.txt', "rb") as file2: 
    first_file = file1.read() 
    second_file = file2.read() 

first_file = b''.join([first_file, second_file]) 
with open('a.txt', 'wb') as fp: 
    fp.write(first_file) 

今a.txtの含有量が再び'HelloWorld'あるので、2つの方法は、（少なくとも結果に関して）同等です。明らかに、最初の方法はよりコンパクトです。

Answer 2

読むバイナリは、生の文字列を示すために、R「somestring」を使用してに多少似ている - はバイナリで基礎となるファイル、あなただけのASCIIまたはUTF-にバイナリデータをデコードしようとしているをスキップへのPythonを言っています8またはwhat-have-youの文字。

したがって、このモードは実際には適用されません。

文字列上で動作し、あなたが開いたファイルにを必要があると思い参加しているので、は、元のコードがちょうどBを読んでまでシークする必要があり、一方、その後は、Bのための同じを、文字列としてにそれを読んでファイルAの終わりに書き込みを開始する。だから、あなたは実際にstr.joinを実行することから多くの走行距離を得ていないし、実際にはより多くのメモリを使用しています。メモリ。

最適化したい場合は、B行を1行ずつ読み込むループを作成します。これにより、一度にBファイル全体をダンプするのではなく、一度に1行分のメモリを読み込むことができます。