この質問は以前に尋ねられたかもしれませんが、私はこれらの技術が成熟していることを考えれば、今日再びそれを検討することは良いと思います。我々はflume、kafka、scribeなどの1つを使って、後で分析を行うためにストリーミングのfacebookとtwitterのプロフィール情報をhbaseに保存することを考えています。我々は目的のために水路を検討しているが、私は情報に基づいた決定を下すために他の技術と協力していない。光を当てることができる人なら誰でも素晴らしいだろう!どうもありがとう。flume vs kafka vs他
答えて
Mediawiki(Wikipedia)はこれを通って、彼らが選んだ(Kafka)vs Scribe、Flumeなどに到着したという素晴らしい記事を公開しました。
http://www.mediawiki.org/wiki/Analytics/Kraken/Request_Logging
新しいリンク:
https://wikitech.wikimedia.org/wiki/Analytics/Kraken/Logging_Solutions_Recommendation
後世のための要約:
「私たちの勧告は、Apacheカフカ、スループットのために設計された分散型のパブ-subメッセージングシステムである私たちが評価しました。分散ログ収集、CEP /ストリーム処理、およびリアルタイムメッセージングシステムの分野から引き出された数多くの[1]最高のシステムです。これらのシステムは驚くべきことですが同様の特徴を持ち、それらは実装が大きく異なり、それぞれが特定の作業プロファイルに特化しています(より詳細な技術的議論は付録として利用可能です)。
"カフカはスループットに特化されており、アーキテクチャのすべての層に明示的に配布されているために際立っています。興味深いことに、パフォーマンスと引き換えに保証を緩和する賢明なトレードオフを提供するにはリソースの節約[
"さらに、Kafkaは、オペレーションリーダーにとって特に興味深い特典をいくつか持っています。これは、FacebookやGoogleがデザインするシステムの重要な機能ではありません。これはScalaで書かれていますが、ネイティブのC++プロデューサライブラリが同梱されており、キャッシュサーバ用のモジュールに組み込むことができ、それらのサーバ上でJVMを実行する必要はありません。第2に、プロデューサは、ネットワークトラフィックを最適化するためのバッチ要求に構成できますが、追加のメンテナンスが必要な永続的なローカルログは作成しないでください。 KafkaのI/Oとメモリの使用量は、JVMではなくOSに委ねられています[3]。
"KafkaはLinkedInによって作成され、現在はApacheプロジェクトです.LinkedInの生産では、約10,000のプロデューサがデータセンターあたり8台のKafkaサーバーで処理されます。これらのクラスタはストリームを単一の分析データセンターに統合します。
"これらの機能は、私たちの意図する用途に非常に適しています。 「トピック」カテゴリによるシャーディングやルーティングなど、私たちが使用するつもりでないものであっても、興味深いものであり、将来的には私たちの目標を拡大するうえで役立つかもしれません。
「この文書の残りの部分は...詳細にこれらのトピックにダイブ」
リンクが壊れているようです。 – tehAon
- 1. kafka + storm topology vs microservices
- 2. ANTLR vs. Happy vs.他のパーサージェネレーター
- 3. ジオコーディングサービス - 制限 - Google vs Yahoo vsその他
- 4. UIWebViewNavigationTypeその他Vs UIWebViewNavigationTypeLinkClicked
- 5. dotNetRDF VS Jena.NEt Dotnetの他のVSですか?
- 6. Quartz.NET vs JAMS vs?
- 7. _mm_load_ps vs. _mm_load_pd vs.
- 8. NetSqlAzMan vs AzMan vs(?????)
- 9. 場所vs GeoPoint vs 1E6 vs課金
- 10. hstack/vstack vs append vs concatenate vs column_stack
- 11. Application.Exit()vs Application.ExitThread()vs Environment.Exit()
- 12. MySQL vs Firebird vs SQLite
- 13. NSImage vs. CIImage vs. CGImage?
- 14. アクティブソリューションプラットフォームVSプロジェクトプラットフォームVSプラットフォームターゲット
- 15. java.lang.Void vs void vs Null
- 16. Image vs BitmapImage vs Bitmap
- 17. getBBox()vs getClientRects()vs getClientRects()
- 18. Express.js:app.locals vs req.locals vs req.session
- 19. RegAsm VS RegSvc32 VS GAC
- 20. DIP vs. DI vs. IoC
- 21. 特性vs.ミックスインvs.
- 22. ARKit vs. ARCore vs. Vuforia vs. D'Fusionモバイルvs. Layar SDK
- 23. XAML vs WPF vs Store App vs Phone App vs UWA
- 24. スパーク・スカラのkafkaチャンネルからflumeイベントを読み込む?
- 25. Android TableLayoutとGridView vsその他
- 26. Marshal.AllocHGlobal VS Marshal.AllocCoTaskMem、Marshal.SizeOf VSはsizeof()
- 27. Computed Column(COALESCE vs CASE vs ISNULL)
- 28. AutoPrefixer vs Prefixフリーvs Prefixr
- 29. C++ Builder vs Delphi vs MFC
- 30. Flex AMFPHP vs WebORB vs XMl
あなたが水路について話すとき、おそらくあなたは水路-ngのを参照していますか?古い水路は水路とは非常に異なるからです。 – Shengjie