タスクを実行するためのETLツールの提案

Question

私はいくつかのデータを抽出し、それをcsvファイルに保存するpythonスクリプトを持っています。今、このファイルをAzure SQL DBにロードする必要があります。誰かがこれを自動化して比較するのに適したETLツールを提案できますか？

Answer 1

コマンドラインで実行できるBCP（無料のMSツール）、または非常に堅牢なエラー処理、セキュリティ、SQL Serverデータベースなどの強力で非常に多くのパッケージを格納したい場合は、便利な機能SSIS（SQL Server Integration Services）は、ほとんどのバージョンのSQL Serverに付属する無料の製品です。 SSISを使用するのに必要な短い学習曲線があります。

Answer 2

さまざまな抽出トランスフォームツールがあります。あなたはデータセットのサイズや周波数については言及していないので、私はこれを中規模のデータセットとバッチロードとして検討しています。

SSISはSQL Serverとのデータ統合を目的としています。それはそれが癖なので、学習曲線です。

Talendは使いやすい（ETLの概念を知る範囲内で）知られているオープンソースのETLツールです。ジョブを作成して、ロギングとエラー処理を行うことができます。

PentahoはオープンソースのGUI ETLツールです。通常の機能を提供し、MongoDB InputやMerge/Joinなどのあらかじめ構築されたコンポーネントのまん延のライブラリを備えています。また、ジョブを作成して実行する機能もあります。

IBM、Informatica、およびSAPのようないくつかの大きな名前があります。すべてがこれらの機能を果たしますが、あなたの基準に基づいた費用と学習曲線のために、牛乳と卵を購入するタンクを運転するような感じです。

今日、非常に多くの選択肢があり、いくつかの比較を見るのに役立つかもしれません。 ETLTools.netには良い情報があります。