bigdata

1熱

1答えて

Stream Setパイプラインで10000のカラムテーブルをマップする必要があり、（csv）ファイルからデータを送信する必要があります。したがって、カラム名に言及してストリームセットアプリケーションの各カラムをマッピングすることは、10000カラムに対して非常に大きな作業です。だから誰もそれを達成するための他の簡単な方法は何ですか？またはREST APIを使用してそれを達成できますか？あり

1熱

1答えて

Map Reduceに基づいたOWLファイルの推論

私は大きなオントロジー（.owl）を作成しましたが、今は推論のステップに入っています。実際には、問題は私のオントロジーのためのスケーラブルな推論を保証する方法です。私は文献を検索しましたが、Big Dataがそれに適したソリューションであることがわかりました。残念ながら、Map-reduceは入力OWLファイルとして受け入れることができません。さらに、SWRLという意味言語では、SPARQLは使用

0熱

1答えて

2つの異なる車の2つの地理座標xとyが同じ道路にあるかどうかを調べる

私のデータはvehicle_ID、xとyの座標（場所）、車両の速度、走行時間で構成されています。そして、どの車が同じ道路を利用しているのか知りたいですか？これは、ID 1と1台の車両と私のデータのサンプルですが、私はを分析するために、700000の車両IDを持っているので、基本的に私たちは別の道であるかを把握することができますし、どのように我々はseprateできる方法についての洞察を必要とし

0熱

2答えて

S3にスパークストリーミングデータ

S3にデータレイクを構築しています。したがって、私は未加工のデータストリームをs3に保存したいと思います。下は私のコードスニペットです。ここで私はローカルストレージを試しています。 val tweets = TwitterUtils.createStream(ssc, None) val engtweets = tweets.filter(status => status.getLang() =

0熱

1答えて

part-r-00000と成功ファイルはハーフープで地図作成後に0 KBです

17/10/09 19:40:55 INFO input.FileInputFormat: Total input paths to process : 1 17/10/09 19:40:55 INFO util.NativeCodeLoader: Loaded the native-hadoop library 17/10/09 19:40:55 WARN snappy.LoadSnappy

0熱

2答えて

java.lang.ArrayIndexOutOfBoundsException：maploduce、Hadoopで2つのエラー

私はhadoopを使ってこの問題を解決しようとしていました。平均格付けを使用して上位10位の企業を検索します。トップ評価のビジネスが最初に来るでしょう。 review.csvファイルの4番目の列が評価を表していることを思い出してください。私のJavaコードは次のとおりです。 package bd; import java.io.IOException; import java.util.A

0熱

1答えて

SOLRレスポンスでカスタムフィールドを作成する方法は？

2つのフィールド（ラストネームなど）を比較しようとしていますが、照会すると結果が他のフィールドに移動されます。だから私は、フィールドを比較し、照会の結果を与えるsolrのようなカスタムフィールドを作成するオプションを持つことができますか？

-4熱

1答えて

Pythonはどのように大きな数値を処理しますか？

私はC++で作業していて、大量の問題に継続的に直面しています。私は "100の階乗を見つける"のような配列で解決しましたが、大きな数字を扱うPythonの方法を知りたいです。

0熱

3答えて

報告用ハイブまたはHBase？

私は報告目的のための最高のビッグデータソリューションとなるものを理解しようとしていますか？現在、私はHBaseとHiveの両方に絞っています。ユース・ケースでは、数百テラバイトのデータが何百もの異なるファイルに保存されています。データはライブであり、常に更新されます。報告を行う最も効率的な方法を提供する必要があります。各レポートにはさまざまな種類の数値データとグラフデータが含まれています。例え

0熱

1答えて

JSON Serde解析アレイ構造体の問題

私のJSONオブジェクト：AWSアテナで { "_total": 4, "values": [ { "total-follower-count": 63911, "organic-follower-count": 6000, "paid-follower-count": 3911, "time": 139933