Apache IgniteとApacheのパフォーマンスSQLのドリル

Question

ダッシュボード/ Webポータルに表示するには、いくつかの大きなMySQLテーブルからデータを取得する必要があります。主に、私の焦点は、データセットのサイズを考慮してSQLのパフォーマンスを向上させることです。

また、IgniteはプライマリデータソースとしてRAMを使用しているため、Apache IgniteはApache Drillよりスケーラビリティが劣りますか？

詳細をお知らせください。

私はこれらのリンクをしてきた： http://drcos.boudnik.org/2015/04/apache-ignite-vs-apache-spark.html https://mpouttuclarke.wordpress.com/2016/01/04/why-i-tried-apache-spark-and-moved-on/

IGFとはSparkSQLのレベルにシステムのパフォーマンスが低下下にオプションのHDFS層を使用していますか？また https://ignite.apache.org/features/igfs.html

Answer 1

は、Apacheのドリル未満スケーラブルにApacheのIgniteは、発火がプライマリデータソースとしてRAMを使用して検討していますか？

メモリにデータを格納すると、実際にスケールを改善できます。私はDrillについてよく分かりませんし、比較することはできませんが、Igniteはすべてスケーラビリティとスケーラビリティに関するものです。

オプションのHDFSレイヤーをIGFSの下に使用すると、システムのパフォーマンスがSparkSQLのレベルまで低下しますか？ https://ignite.apache.org/features/igfs.html

HDFSがセカンダリファイルシステムとして使用されている場合、要求されたデータがまだメモリにない場合にのみアクセスされます。だから適切な使用でそれはあなたを遅らせることはありません。

Igniteは非常に豊富なSQL機能[1]を提供します。簡単にメモリにデータをロードし、高速インデックス検索でANSI-99に準拠したクエリを実行することができます。たとえば、SparkSQLはインデックス作成をまったくサポートしていないため、多くの場合（少なくとも私が知っている限り）それはずっと遅くなります。

[1] https://apacheignite.readme.io/docs/sql-queries

Answer 2

ドリルは、単に主のNoSQLデータベースのSQLクエリエンジンです。メモリ処理のため、ハイブや多くのNOSQLデータベースに比べてパフォーマンスが優れています。

ドリルでのクエリの実行方法を確認します。here

スケーラビリティ

Apacheのドリルは非常にスケーラブルでそのことについて心配する必要はありませんです。

理論で重複する2つのツールを比較することはできません。 ツールの両方でサンプルのMySQLデータを取得するPOCを行うことをお勧めします。パフォーマンスは、ユースケースに大きく依存します。

ドリルは、（複数のデータストア間で結合を実行）をポリグロットユースケースを（なぜならその柱状レイアウトのを）複雑なJSONファイルを照会し、解決するための最善の方法です。