Hadoop MRジョブの設定方法でredis(jedis)クライアント接続を初期化しました。マップジョブで接続を使用してキー、値のペアを更新すると、複数のノードで実行されているマップで同じ接続を使用して、redisを更新できますか?または、接続がロックされていますか?セットアップ方法でhadoopで共有接続
0
A
答えて
1
質問が正しく表示されているかわかりません。 マザーのセットアップ段階でRedisクライアントを初期化した場合、各マッパーはRedisと通信するために独自の接続を使用します。 すべてのマッパーはそれぞれのJVMで動作しているので、私はそれらの間で接続を共有することはできません。
はい、複数のクライアントが同時にRedisに書き込むことができます。これらのすべてがRedisの同じキーに書き込んでいる場合は、内部的にはこのケースを処理しますが、クラスタレベルのロックは受けません。
0
マッパーに同じ接続セッションオブジェクトを渡した場合、マッパーはそのセッションを使ってredisを更新します。この場合、ロックはありません。
関連する問題
- 1. 共有接続は
- 2. Javaサーバーでソケット接続セッションを共有する方法
- 3. ブロードバンド共有IPでクライアントに接続する方法
- 4. jdbc接続プールの共有可能な接続と共有できない接続の違い?
- 5. プロセスプールでDB接続を共有する
- 6. マルチスレッド上の共有接続
- 7. HttpClient共有接続マネージャ
- 8. 接続がPHPの方法で(共有サーバー上で)タイムアウトしました
- 9. フラグメントとアクティビティの接続を共有する方法
- 10. SQLクエリ接続を持つExcelファイルを共有する方法
- 11. 複数の共有リンクを複数の共有リンクに接続...
- 12. HTTP接続を再利用し、Sidekiqのバックグラウンドジョブ間で共有する方法は?
- 13. SQLite接続が共有キャッシュモードで一時テーブルを共有しますか?
- 14. JDBC:接続を共有または接続プールを使用
- 15. Ansible:XXXへの共有接続が
- 16. 共有オブジェクト間のデータベース接続
- 17. Celery worker間の共有XMPP接続
- 18. postgresの共有接続の問題
- 19. スレッド間の接続の共有
- 20. Socket.IOとWSのWebSocket接続の共有
- 21. 共有接続を持つSQL Developer
- 22. 共有ホストサーバー上の接続文字列
- 23. レタス:反応性APIの共有接続
- 24. hadoopでHDFSに接続中のEOFException
- 25. node.jsをhadoopプラットフォームに接続
- 26. Resqueで親と子のMySQL接続を共有するには?
- 27. 共有ホスティングでの接続文字列の保護
- 28. さまざまなデータベースクエリ間で接続オブジェクトを共有する
- 29. httpゴルーチン間でmysql接続を共有するには?
- 30. Tomcat JDBC接続プールはインスタンス間で共有されますか?
はい、設定フェーズで一度接続を初期化したので、各マッパーがどのようにして独自の接続を確立するのですか。 "setup()"メソッド内で作成された接続は1回実行され、すべてのマッパー間で共有されますか? –
setup()はマッパーごとに1回実行されます。最初にsetup()が実行され、続いてmap()に続いてclose()が実行され、各マッパーは別々のredisクライアントを取得します。 –