ソースをカフカします。問題はデータはうまく動いていますが、5つのレコードをトピックに1つのファイルとして挿入しているときです。Oracleのゴールデンゲートは
グループ化します。 5インサートを製造していた場合、私は、トピックの5つの別々のエントリを必要とする(カフカ)
カフカハンドラ、ビッグデータ12.3.1
はソースにしてkhafka
以下のようにすべての挿入を取得しています中に5つのレコードを挿入アムのバージョンGGそれはそれははるかに簡単(カフカConnectを使用)などElasticsearchとしてターゲットに以降ストリーミングすること、コンフルエントスキーマレジストリとのデータのスキーマを登録するので、{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"I","op_ts":"2017-10-24 08:52:01.000000","current_ts":"2017-10-24T12:52:04.960000","pos":"00000000030000001263","after":{"TEST_ID":2,"TEST_NAME":"Francis","TEST_NAME_AR":"Francis"}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"I","op_ts":"2017-10-24 08:52:01.000000","current_ts":"2017-10-24T12:52:04.961000","pos":"00000000030000001437","after":{"TEST_ID":3,"TEST_NAME":"Ashfak","TEST_NAME_AR":"Ashfak"}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"U","op_ts":"2017-10-24 08:55:04.000000","current_ts":"2017-10-24T12:55:07.252000","pos":"00000000030000001734","before":{"TEST_ID":null,"TEST_NAME":"Francis"},"after":{"TEST_ID":null,"TEST_NAME":"updatefrancis"}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"D","op_ts":"2017-10-24 08:56:11.000000","current_ts":"2017-10-24T12:56:14.365000","pos":"00000000030000001865","before":{"TEST_ID":2}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"U","op_ts":"2017-10-24 08:57:43.000000","current_ts":"2017-10-24T12:57:45.817000","pos":"00000000030000002152","before":{"TEST_ID":3},"after":{"TEST_ID":4}}
あなたはどのハンドラを使用していますか - カフカ、またはカフカ接続?どのバージョンのGoldenGate?あなたはそれを「5つのレコードを1つのファイル」と判断していますか? –
kafkaハンドラ、大きなデータのバージョンgg 12.3.1、ソースに5つのレコードを挿入し、khafkaに上記のようなすべての挿入を取得しています –
私のソースに初期ロードとして100万レコードを挿入しています。 kafkaへのシングルレコードとして行くターゲットファイルで。これを避ける方法は? –