SparkのLookupとJoinの違い

SparkのJoinsとLookupの議論について誰かが気づいているのですか？私はこのページを見ました：Lookup in spark dataframes誰もが基本的には、ジョインはルックアップよりはるかに優れていると言います。私はgoogle-fuの試みでそれを裏づけるものを見つけたり、2つのトピックについて議論したりしていませんでした。SparkのLookupとJoinの違い

出典

2017-10-25 Jacob Alley

Spark DataFrameのルックアップなどは存在しないため、他のソリューションや結合（ハッシュまたはブロードキャスト）より劣っているか、ローカルデータ構造を使用することが唯一の選択肢です。

出典

2017-10-25 20:05:40 user8833920

ルックアップと結合は、リレーショナルデータシステムの2つの異なる概念です。したがって、一般的な文脈では、異なる機能を持つため、他のものよりも優れていると言うのは実際には意味をなさない。ルックアップは単にデータを見つけることであり、キーやハッシュ値を使用してクエリ速度を最適化することもあります。結合は、2つのデータセットの共通要素を使用して新しいデータセットを作成しています。

など。

検索クエリ（完全に仮想的な抽象）1

= 'こんにちは'

参加クエリ1、クエリ2

「こんにちは世界

の場合クエリ2はワールド

出典

2017-10-25 20:37:29

SparkのLookupとJoinの違い

答えて

関連する問題