4000スレッドのPythonスレッディング

Question

nasdaqからのURLを使用して在庫データを取得しています。 4000株についてはスレッドごとに4000個のスレッドを処理することを考えています。誰もこれを試しましたか？それはWindowsスタックをオーバーロードしますか？

Answer 1

あまりにも多くのスレッドが巨大なオーバーヘッドを引き起こすため、concurrent.futures.ThreadPoolExecutor()をデフォルトの最大ワーカーで使用することをお勧めします。

最大作業者のデフォルトは(processor_count) * 5ですが、あなたのケースでは良いと思います。

asyncioを使用しているクライアントもオプションですが、かなり複雑です。