連続ループでPythonマルチプロセッシングプールを使用する方法

Question

私は、セレニウムスクリプトを実行するためにPythonマルチプロセッシングライブラリを使用しています。私のコードは以下の通りです：

#-- start and join multiple threads --- 
thread_list = [] 
total_threads=10 #-- no of parallel threads 
for i in range(total_threads): 
    t = Process(target=get_browser_and_start, args=[url,nlp,pixel]) 
    thread_list.append(t) 
    print "starting thread..." 
    t.start() 

for t in thread_list: 
    print "joining existing thread..." 
    t.join() 

私はjoin()機能を理解できるように、それが完了するために、各プロセスを待ちます。しかし、私は、プロセスがリリースされるとすぐに、新しい機能を実行する別のタスクが割り当てられることを願っています。

これは次のように理解できます。

第1段階では8つのプロセスが開始されました。

no_of_tasks_to_perform = 100 

for i in range(no_of_tasks_to_perform): 
    processes start(8) 
    if process no 2 finished executing, start new process 
    maintain 8 process at any point of time till 
    "i" is <= no_of_tasks_to_perform 

Answer 1

代わりのすべての今して新しいプロセスを開始し、multiprocessing.Queue()にすべてのタスクを入れて、8 長時間実行プロセスを開始し、各プロセスで新しいタスクを取得するためにタスクキューにアクセスして維持しようともう仕事がなくなるまで仕事をしてください。あなたのケースでは

、それはより多くのこのようなものだ：

from multiprocessing import Queue, Process 

def worker(queue): 
    while not queue.empty(): 
     task = queue.get() 

     # now start to work on your task 
     get_browser_and_start(url,nlp,pixel) # url, nlp, pixel can be unpacked from task 

def main(): 
    queue = Queue() 

    # Now put tasks into queue 
    no_of_tasks_to_perform = 100 

    for i in range(no_of_tasks_to_perform): 
     queue.put([url, nlp, pixel, ...]) 

    # Now start all processes 
    process = Process(target=worker, args=(queue,)) 
    process.start() 
    ... 
    process.join()