partitioning

1熱

1答えて

以下のシナリオでは、複数の大きなファイル（それぞれ200Mレコード）があり、そのファイルをkafkaから送信したいと考えています。パフォーマンスを向上させるために、私はKafkaパーティショニングを使用してデータを送信したかったのです。私のデータ要件は、すべてのメッセージが特定のパーティションに移動する特定のキーに対するものです。現在POCのために私は10カフカのパーティションを使用していて、数値

0熱

1答えて

パーティショニングと追加のデータベース

私が働いているところには、ジレンマがあります。私たちは、1テーブルが非常に大きくなっているデータベース（MariaDB 10）を使用しています（これは107.4GiBなので、1181万行です）。これはもちろん、システムのパフォーマンスに影響します。私と同僚が議論していたので、彼はそのテーブルでパーティションを使用することを提案しました。これにより、パフォーマンスは向上しますが、DBのサイズは縮小

-1熱

1答えて

スカラ：含まれている[一覧[文字列]リスト

の最初の要素に、私はListBuffer[List[String]]を持ってlistbufferをパーティション： List(1,"a",1) List(1,"b",2) List(2,"b",1) List(2,"c",2) List(2,"d",3) List(3,"e",1) List(3,"f",2) 私は最初の要素に依存ListBufferを分割したいので、すべてのリス

0熱

2答えて

ソーステーブルと宛先テーブルのファイルグループの不一致によるスイッチの切り替えが失敗しました

テーブルの1つにスイッチパーティションを実装しようとしていますが、パーティション機能、スキーム、ファイルグループが正常に動作しています。しかし、以下のコマンドを実行すると、ファイルグループエラーが発生します。誰かがあなたの考えを分かち合うことができますか？コマンド： - ALTER TABLE XYZ SWITCH PARTITION 5 TO ABC PARTITION 5; エラー： -

0熱

1答えて

HDFSとHIVEのパーティション分割

これは簡単なことかもしれませんが、私は答えを見つけるのに苦労しています。データがHDFSにロードされると、そのデータは複数のノードに分散されてロードされます。データは分割され、配布されます。 HIVEには、データをPARTITIONするオプションがあります。 PARTITIONオプションについて言及しなくても、ハイブテーブルをロードするときに、クラスタ上の別のノードにデータが分割されて分散されるこ

2熱

1答えて

Oracleパーティション表 - カウント方法

Oracle（11g）にパーティション表（MYTABLE）があります。これは、INSERT_DATE列（時間なし）でパーティション化された非常に大きなテーブルです。問題は、Count（*）が間違った結果を示しますです。戻っ下記の問合せ：5726829673 SELECT count(*) FROM MYTABLE WHERE INSERT_DATE >= TO_DATE('01/01/201

3熱

2答えて

AWS Kinesis Firehoseデータをペイロードでs3に分割

私はAWS-Kinesis-Firehoseを使用してS3にデータを傷付け、その後Athenaで消費します。 Athenaが多くのデータを探索するのを避けるため、異なるゲームのイベントを分析しようとしています。各ゲームの識別子を使用してs3データを分割したいと思いますが、これまでFirehoseは異なるゲーム。誰でもそれを行う方法を知っていますか？ありがとう、 Javi。

0熱

1答えて

テーブルパーティションクリーンアップ

私は日と時間（サブパーティション）に基づいてパーティション化されたテーブルを持っています。いつでも10時間のデータを保持し、以前のパーティションを削除したいと考えています。日付が変わるとこれをどう管理するのですか？たとえば、8月2日の最初の時間に1つのパーティションを保持し、8月1日に9つのパーティションを保持するには？いずれの入力も大きな助けになります。この手順を最初に実行するとき表の定義

0熱

1答えて

ハイブのバケツの数とレデューサーの数を同じにする理由は何ですか？

ハイブでは、なぜバケツの数はレデューサーの数に等しくなければならないのですか？

0熱

1答えて

サービスファブリックアクターパーティショニング

私はInt64 Idを持つ約100人のアクターのセットを持っています。この段階のすべての俳優IDは100歳未満ですが、時間の経過とともにこれを超えて成長します。 Int64の範囲全体をキーとして使用するRanged Partitionsのデフォルトのパーティション構成を使用すると、すべてのアクタが1つのパーティションにまとめられます。名前付きパーティション戦略もありますが、これは展開時に各パーテ