自動データ交換アプリケーションでFTPを使用することは信頼できますか？

Question

私は、定期的に外部ベンダーからデータ（具体的にはトランザクションの詳細なリスト）を取得するバッチアプリケーションを設計するように求められてきました。私たちはデータ交換にXMLを使用することに同意しましたが、実際のデータ転送を容易にするためにさまざまな方法/プロトコルを調査しています。ベンダーは、データを転送する手段として電子メールまたはFTPを提案しましたが、ロジスティクスと信頼性の問題のため、最初のオプションをアウト・オブ・ライトで拒否しました。

第2のFTPについては、信頼性が懸念されるプロダクション環境でFTPを使用することを常に躊躇してきました。ベンダがFTPにファイルをパブリッシュして定期的にプルダウンする設計は、信頼性が低くエラーが発生しやすいように見えます。私の初期の反応は、特定の期間、必要に応じてデータを照会できるWebサービス（この特定のベンダーが提供できる、または提供できないことさえあるかもしれない）のようなものに向かって重力をかけることです。

一般的に、このような状況で使用する最良の方法は何ですか？ FTP（またはSFTP）は一般的に受け入れ可能なオプションと考えられているのですか、それとも良いものがありますか？そのような単純なデータ交換のためのWebサービスの過剰な使用ですか？私は完全に見落としている他の実行可能なオプションはありますか？

Answer 1

ファイル転送にはいくつかの問題があります。

webserviceが好きで、digest/basic authのファイルにhttpsでアクセスできますが、非常に大きなファイルの場合は実用的でない場合があります。

もう1つの答えは、amazon s3で共有バケットを使用することです。そこには読み取りアクセス権があり、書き込みアクセス権があります。私はそれを貧しい人の安全なファイル転送として数回使いました。あなたがしなければ、私はここで、このようにFTPの味を使用している

はいくつかのヒントがあります：

1）sftpのような安全なバージョンを使用する - FTPは単に資格情報またはデータのために確保されていません。

2）セマフォファイルを使用して、最新のファイルがいつ利用可能かを示します。または、FTPディレクトリにファイルを書き込むときに完全に移動するため、不完全なファイルにアクセスしないようにします。

3）処理したファイルと保存していないファイルを追跡できるように、各ファイルに固有のファイル名（タイムスタンプ、シーケンス番号など）があることを確認してください。すでに処理したことがわからないので、ファイル名を再利用しないでください。ファイルの競合状態にアクセスする際に更新される可能性があります。

4）ハッシュ値を使用して転送が成功したかどうかを確認します。彼らは、ファイルのmd5ハッシュを提供することができますし、コピーを完了すると、あなたのバージョンに対してこれをチェックすることができます。私はしばしば、セマフォとしてもmd5ファイルを使用しました。両方のファイルが利用可能であることを示し、転送が完全かつ正確であることを確認する手段を提供します。

Answer 2

AS2を使用できます。

しかし、これはプッシュメカニズムです。 as2 mendelsonは無料のゲートウェイソフトウェアになります。あなたは "チャンネル"を設定し、何もコーディングせずにあなたに転送されます。いくつかの問題がポップアップすると、通知が届きます。

FTPはかなり安全ではありません。しかしそれは信頼できるはずです。

Answer 3

私はパーティーに遅刻していますが、それが価値あるものであれば、上記のすべてを実装しており、これまでAS2（メンデルスンを使用しています）は最も簡単でエラーが起こりにくいものでした。

私の所見：

• SFTP/FTPSの実装は簡単で、エントリへの低障壁とかなり信頼性がある、しかし、あなたは（アンドリューが述べたように）
• 独自のポーリングメソッドを記述する必要が終わりますWebサービスは素晴らしいですが、ベンダーが適切に設計し文書化する場合に限ります。小規模のパートナーは、機能を追加する際にAPIをまとめたり、他の顧客の要求に基づいて転送に情報を追加する傾向がありますが、新しい機能を反映するためにドキュメントを更新することはできません。あるケースでは、これは私たちをsftpに移動させた。
• AS2はメンデルスンで安全でメンテナンスが非常に簡単です。サーバーの出力フォルダにディレクトリウォッチャーを追加すると、リアルタイムでの処理が行われます。

当然のことながら、ベンダーは接続方法の提供にどのくらいの時間を費やしているのかを指示し、提供する最良の方法を選択する必要があります。

リアルタイム処理は実際にはリアルタイム処理ではなく、管理上許容される近似値です。あなたのマネージャーは私と違うかもしれません。