画像をリモートサーバーに保存するにはどうすればいいですか？

Question

現在、ダウンロードしたイメージはすべてローカルマシンに保存されますが、リモートサーバ（xxx.xxx.xxx.xxx）に直接イメージを保存することは、とにかくScrapyでこれを行うのですか？

Answer 1

すぐに使えるScrapyはAmazon S3にファイルを保存することをサポートしています。その後、あなたはScrapyのFSFileStorehttps://github.com/scrapy/scrapy/blob/master/scrapy/pipelines/files.py#L42 から継承例えばカスタムFileStoreクラスを作成することができますしかし

IMAGES_STORE = 's3://bucket/images' 

https://doc.scrapy.org/en/latest/topics/media-pipeline.html?highlight=image%20pipelines#supported-storage

と：バックエンドの使用、適切なバックエンドの仕組みとパスのいずれかに画像保存を設定するには

例：

class CustomFtpImagePipeline(ImagePipeline): 
    STORE_SCHEMES = { 
     'ftp': MyFTPFilesStore, 
    } 

を使用してカスタム設定 ImagePipelineを作成します。

は、ちょうど適切なスキームでIMAGES_STORE設定を使用します。

IMAGES_STORE = 'ftp://path_to_dir/on_ftp_server