streamsets

0熱

1答えて

OracleからElasticSearchへレコードを取り込むためにStreamsetsを使用します。私は、oracleクエリの各ステップを処理するレコードの数をmaprDB宛先に登録したいと考えています。特定のストリームセットステージでレコードの数を取得するにはどうすればよいですか？

0熱

2答えて

SQlクエリの最適化

*誰でも私はクエリを最適化することができます。私はストリームセットと呼ばれるETLでこのクエリを使用しています。ストリームセットpiplelineを実行したときに70レコードを生成しています。これは非常に遅いです。私たちはSSISパッケージからこのクエリを受け取り、左外部結合を使用して各テーブルを結合しています。私はあなたがテーブルやサブセレクトに参加する場合は、あなたが本当にあなたのインデックス

1熱

1答えて

ストリームセットでJDBCコンシューマジョブをスケジュールする

毎日午前5時に毎日実行するようにJDBCコンシューマジョブをスケジュールする必要があります。私が知る限り、午前5時にジョブを開始すると午前5時にジョブを実行できます。照会間隔に24時間入れてください。しかし、手動で起動することなく、午前5時に開始するように最初のインスタンスをスケジュールする必要があります（私は午前5時に起きるのが怠惰です：P）これを達成する方法はありますか？

1熱

1答えて

StreamSetのテーブルの列をAPIでマッピングできますか？

Stream Setパイプラインで10000のカラムテーブルをマップする必要があり、（csv）ファイルからデータを送信する必要があります。したがって、カラム名に言及してストリームセットアプリケーションの各カラムをマッピングすることは、10000カラムに対して非常に大きな作業です。だから誰もそれを達成するための他の簡単な方法は何ですか？またはREST APIを使用してそれを達成できますか？あり

1熱

2答えて

StreamSetsデータコレクタがKafkaから間違った時刻を読み取る

StreamSetsデータコレクタが誤った日時値を読み取ったようです。私はConfluentから簡単なトピックを読んでみました：Landoop Kafkaトピックでミリ秒単位で日付時刻をチェックすると正確な日時が表示されますが、StreamSetのKafka Consumer 0.10.0.0で読むと、そして20分小さい。私の実際のタイムゾーンはGMT + 03：00です。私のSDCの設定には

3熱

1答えて

StreamSetsアーキテクチャとは何ですか？

チュートリアルを終えてもアーキテクチャについてはあまり明確ではありません。分散環境でストリームセットを拡張するにはどうすればよいですか？たとえば、入力データの速度が原点から増加し、SDCがパフォーマンスの問題を起こさないようにする方法を教えてください。いくつのデーモンが実行されますか？それはマスターワーカーアーキテクチャかピアツーピアアーキテクチャでしょうか？複数のマシンで実行されているデーモン

1熱

1答えて

StreamSetsプレビューデータからMySQLエラー

私は、StreamSetsを使用してMySQLデータベースをクエリし、Elasticsearch（localhost）にデータを公開しようとしていました。 MacでStreamSetsのtarballをダウンロードし、ホームディレクトリに解凍しました。最初にStreamSets dcを起動した後、jdbcドライバを追加するためのここでの指示に従い、次にStreamSetsジョブを設定するための手順

1熱

1答えて

ストリームセットのjdbcプロデューサに関する問題

Streamsetsパイプラインを使用してローカルディレクトリからmysql dbにデータを移行しようとしていました。データをプレビューするのはコンソールにありますが、mysql dbには書き込まれませんでした。 Streamsetsで働いてくれた人が親切にこの問題を解決するのに手伝ってください。

0熱

2答えて

mapr-db jsonテーブル内にrowキーしかありません

mapr-db jsonの一般的な問題かどうかわかりません。 Mapr-DB jsonテーブルであるStreamsetsデスティネーションを使用して、10列のレコードをプッシュします。私は正確に行のキーになる最初の列。私は唯一のJSONの行のキーとなし、他の列 {"_id":"mykey1"} {"_id":"mykey2"} {"_id":"mykey3"} {"_id":"mykey4"

1熱

1答えて

StreamSets Data Collector（SDC）を使用してカフカトピックを作成することは可能ですか？

StreamSets Data Collector（SDC）Webツールを使用して、私のローカルシステムからKafkaプロデューサを介してKafkaにデータを転送するパイプラインを作成しています。ただし、データを保存するトピックを最初に手動で作成する必要があります。 StreamSets経由でトピックを作成することは可能ですか？