カッサンドラのバッチ制限はどのくらいですか？

Question

レコードをバッチでプッシュ（INSERT）するJavaクライアントがCassandraクラスタにあります。バッチ内の要素はすべて同じ行キーを持つため、すべてが同じノードに配置されます。また、トランザクションをアトミックにする必要はないので、未記録のバッチを使用しています。

各バッチ内のINSERTコマンドの数は、さまざまな要因によって異なりますが、5〜50000の間の値にすることができます。まず、1つのバッチにある数のコマンドを入力して送信します。これはcom.datastax.driver.core.exceptions.InvalidQueryException: Batch too largeを投げた。次に、バッチごとに1000 INSERTのキャップを使用してから300に下がりました。私は、この限界がどこから来ているのかを突き止めるだけで無作為に推測していることに気付きました。

私の質問は、この制限は何ですか？それを変更することはできますか？どのように多くの要素をバッチに配置できるのかを知るにはどうすればよいですか？私のバッチが「満杯」になったら？

Answer 1

キャップを増やさず、複数のリクエストに分割することをおすすめします。巨大な単一の要求にすべてを入れることは、コーディネーターに大きな負の影響を与えます。すべてのパーティションを1つのパーティションにまとめることで、レイテンシを減らすことによって、一部のバッチでスループットを向上させることができますが、パフォーマンスを向上させるためにバッチを使用することは決してありません。したがって、異なるバッチサイズを使用して最大のスループットを得るために最適化しようとすると、ユースケース/スキーマ/ノードに大きく左右され、特定のテストが必要になります。

はそれを増やすが、あなたが実際に助け、あなたはスループットをしている傷つけていないことを確認するためにテストしてくださいにあなたのcassandra.yamlで

# Fail any batch exceeding this value. 50kb (10x warn threshold) by default. 
batch_size_fail_threshold_in_kb: 50 

オプションがあります。

Answer 2

IはCHUNKSIZE = 1 'mybackup' FROM MYTABLE https://docs.datastax.com/en/cql/3.1/cql/cql_reference/copy_r.html

COPY（exemple 1の場合）低い値にCHUNKSIZEを変更することによってこの問題を修正しました。

操作が非常に遅いですが、少なくともそれはカサンドラを見てみると、今

Answer 3

仕事は、あなたがのようなものを見つけることができるでしょう記録します：[マッチ]を

ERROR 19時54分13秒バッチですサイズが103.072KiB、指定したしきい値が50,000KiB、53.072KiBを超えています。ここではどのようにバッチバッチの機能例であり、Javaで同様の問題を越え

Answer 4

蘭を（batch_size_fail_threshold_in_kbを参照してください）：

import com.datastax.driver.core.BatchStatement; 
import com.datastax.driver.core.PreparedStatement; 
import com.datastax.driver.core.Session; 
import com.google.common.collect.Lists; 

import java.util.Collection; 
import java.util.stream.Collectors; 

public class CassandraBatchOfBatchesExample { 

    private final PreparedStatement statement; 
    private final Session session; 
    private final int batchSize; 

    public CassandraBatchOfBatchesExample(Session session, int batchSize) { 
     this.session = session; 
     this.batchSize = batchSize; 
     statement = session.prepare("INSERT_INTO some_table JSON ?"); 
    } 

    public void execute(Collection<String> jsons) { 
     Lists.partition(jsons 
       .stream() 
       .map(statement::bind) 
       .collect(Collectors.toList() 
      ), batchSize).stream() 
      .map(statements -> new BatchStatement().addAll(statements)) 
      .forEach(session::execute); 
    } 
} 

batchSize変数が挿入されている個々のレコードのサイズに基づいて変更する必要があります。