kafkaの「offsets.topic.compression.codec」は実際に何をしていますか？

Question

非常に最近、メタデータでMes​​sageSizeTooLargeExceptionが取得されたため、gzip圧縮を有効にするためにoffsets.topic.compression.codec = 1を有効にしましたが、ブローカへのレート/メッセージの合計バイト数は変更されませんでした。何か不足していますか？変更が必要な他の不動産はありますか？

このコーデックはどのように機能しますか？

コンシューマーとプロデューサにいくつかのプロパティを追加する必要がありますか？私はブローカーでこれを有効にしました。

Answer 1

offsets.topic.compression.codecは、内部オフセットトピック（__consumer_offsets）のみです。これらのユーザーレベルのトピックは役に立ちません。

MessageTooLargeException/RecordTooLargeExceptionを回避する方法については、Kafka: Sending a 15MB messageを参照してください。