ファイルを追加するのではなく、スキンがjsonファイルを上書きする

Question

追加する代わりに上記のファイルを上書きする方法はありますか？

例）

scrapy crawl myspider -o "/path/to/json/my.json" -t json  
scrapy crawl myspider -o "/path/to/json/my.json" -t json 

my.jsonファイルを追加する代わりに、それを上書きします。

Answer 1

scrapy crawl myspider -t json --nolog -o - > "/path/to/json/my.json" 

Answer 2

これは古いScrapyのwell-known "problem"です。あなたがクロールを開始し、以前の呼び出しの結果を保持したくないたびににはにファイルを削除する必要があります。この背後にあるアイデアは、異なるサイトまたは同じサイトを別の時間枠でクロールして、誤って収集した結果を失う可能性があるということです。それは悪くなる可能性があります。

'a'の代わりに'w'のターゲットファイルを開く場所に、独自のアイテムパイプラインを作成する方法があります。

のドキュメントで、このようなパイプラインの外観を作成する方法を参照するには、次のhttp://doc.scrapy.org/en/latest/topics/item-pipeline.html#writing-your-own-item-pipeline（特にJSONの輸出用：http://doc.scrapy.org/en/latest/topics/item-pipeline.html#write-items-to-a-json-file）

Answer 3

受け入れ答えは私にunvalid JSONに問題を与えた、ので、これは仕事ができる：

find "/path/to/json/" -name "my.json" -exec rm {} \; && scrapy crawl myspider -t json -o "/path/to/json/my.json" 

Answer 4

この問題を解決するために、myprojectディレクトリにscrapy.extensions.feedexport.FileFeedStorageのサブクラスを作成しました。

これは私のcustomexport.pyです：

"""Custom Feed Exports extension.""" 
import os 

from scrapy.extensions.feedexport import FileFeedStorage 


class CustomFileFeedStorage(FileFeedStorage): 
    """ 
    A File Feed Storage extension that overwrites existing files. 

    See: https://github.com/scrapy/scrapy/blob/master/scrapy/extensions/feedexport.py#L79 
    """ 

    def open(self, spider): 
     """Return the opened file.""" 
     dirname = os.path.dirname(self.path) 
     if dirname and not os.path.exists(dirname): 
      os.makedirs(dirname) 
     # changed from 'ab' to 'wb' to truncate file when it exists 
     return open(self.path, 'wb') 

その後、私が（参照：https://doc.scrapy.org/en/1.2/topics/feed-exports.html#feed-storages-baseを）：私のsettings.pyに以下を追加

今

FEED_STORAGES_BASE = { 
    '': 'myproject.customexport.CustomFileFeedStorage', 
    'file': 'myproject.customexport.CustomFileFeedStorage', 
} 

私が書くたびのため、それが上書きされたファイルにこの。