Node.JSのワーカー/スレッド/何かの間でメモリを共有する方法はありますか？

Question

私は静的で大きな（> 100M）、複雑なメモリ内のデータ構造にアクセスし、クエリを受け取り、そのデータの小さなスライスをHTTP経由でクライアントに提供するNodeアプリケーションを持っています。

ほとんどのクエリは、10分の1秒で答えることができます。ノードのためのHurray！

しかし、特定のクエリでは、このデータ構造を検索するのに数秒かかります。他の誰もが待たなければならないので、これは吸う。

より多くのクライアントに効率的にサービスを提供するために、何らかの並列処理を使用したいと思います。

しかし、このデータ構造は非常に大きいので、私はそれをワーカーやスレッド間で共有したいのですが、何百メガバイトも焼き付けません。データ構造が書き込まれないため、これは完全に安全です。他の言語の典型的な 'fork（）'がそれを行います。

しかし、私が知る限り、Nodeで並列処理を行うすべての標準的な方法は、これを明示的に不可能にしています。安全のために、あなたは何かを共有することを望んでいません。

しかし、方法はありますか？

背景：

データベースにこのデータ構造を置くことは現実的ではない、またはmemcachedの、またはそのようなものを使用します。

WebWorker APIライブラリなどでは、短いシリアライズされたメッセージだけがワーカーに出入りすることができます。

ノードのクラスタは 'fork'という名前のコールを使用しますが、実際には既存のプロセスのフォークではなく、新しいものを生成します。だからもう一度、共有メモリはありません。

本当に正しい答えは、共有メモリ、別名tmpfs、またはmmapへのファイルシステムのようなアクセスを使用することでしょう。このようなもののためにmount（）とmmap（）を利用できるいくつかのノードライブラリがあります。残念ながら、同期シークとリードの上に複雑なデータ構造のアクセスを実装する必要があります。私のアプリケーションでは、dictsなどの配列の配列を使用しています。すべてを再実装する必要がないのはいいことです。

Answer 1

wafの建物は古いスタイル（ノード0.6以下）で、新しいビルドはgypです。

ノードクラスタ（http://nodejs.org/api/cluster.html）を見てください。これは詳細を知らなくても助けになるとはっきりしていませんが、forkを使って同じマシン上で複数のノードプロセスを実行します。

Answer 2

実際には、ノードはスポーンプロセスをサポートしています。私は、ノードのフォークが本当のフォークにどれだけ近いかわからないんだけど、あなたはそれを試すことができます。

http://nodejs.org/api/child_process.html#child_process_child_process_fork_modulepath_args_options

ところで：ノードがそのために不向きであることは事実ではありません。これは、他の言語/ Webサーバーと同じように適しています。サーバーの複数のインスタンスを異なるポートで起動し、プロキシを前面に配置することができます。

メモリがさらに必要な場合は、メモリを追加してください。 :)それはそれと同じくらい簡単です。また、RedisやMemcached（あるいは複雑なクエリが必要な場合はCouchbase）のような専用のメモリ内データベースにそのデータをすべて入れることも考えてください。そのデータを複製することについてもう心配する必要はありません。

Answer 3

nodejsからの共有メモリアクセスのC/C++バインディングを書きました。 https://github.com/supipd/node-shm

まだ作業中ですが（私のために働いています）、バグや提案があれば役に立つかもしれません。

Answer 4

ほとんどのWebアプリケーションは、ネットワークバッファとデータベースの読み取りを待っている間、ほとんどの人生を過ごしています。 Node.jsはこの縛られた作業で優れているように設計されています。あなたの仕事が本当にCPUに縛られているなら、あなたは別のプラットフォームによってより良いサービスを受けるかもしれません。道のうちそれと

...

1. 使用process.nextTick（おそらくネストされたブロック）は、高価なCPUの作業が適切に非同期とあなたのスレッドをブロックすることが許可されていないことを確認します。これは、高価な要求をしているクライアントが他のすべてのクライアントに悪影響を及ぼさないようにします。

2. node.jsクラスタを使用して、システムのCPUごとにワーカープロセスを追加します。ワーカープロセスはすべて単一のHTTPポートにバインドし、MemcachedまたはRedisを使用してメモリ状態を共有できます。ワーカーには、インプロセスメモリキャッシュを同期させるために使用できるメッセージングAPIもありますが、一貫性の制約があります。