GNU Parallelに大量のコマンドを供給するには？

Question

GNU Parallelを使用して、システムに格納されたファイルを並行して検索することができるかどうか評価しています。システム上の各年の1日に1つのファイルしか存在できません（したがって、最大366ファイル/年）。システム上に3660のファイルがあるとします（約10年間のデータ）。システムは、マルチCPUマルチコアLinuxまたはマルチCPU Solarisであってもよい。

私は検索コマンドをファイルの配列（ファイルごとに1つのコマンド）として保存します。そして、これは私が（bashのを使用して）今やっていることですが、その後、私は（間違いなく、一度にすべての3660件の検索を開始したくない）並行して起動する方法多くの検索に制御することはできません：

#!/usr/bin/env bash 
declare -a cmds 
declare -i cmd_ctr=0 

while [[ <condition> ]]; do 
    if [[ -s $cur_archive_path/log.${doy_ctr} ]]; then 
     cmds[$cmd_ctr]="<cmd_to_run>" 
     let cmd_ctr++ 
    fi 
done 

declare -i arr_len=${#cmds[@]} 
for ((i=0; i<${arr_len}; i++)); 
do 
    # Get the command and run it in background 
    eval ${cmds[$i]} & 
done 
wait 

parallel（最大CPU /コアを自動的に把握し、並行して多くの検索を開始する）を使用する場合は、配列cmdsを並列に再利用して上記のコードを書き直すにはどうすればよいですか？他の代替は、ファイルにすべてのコマンドを記述し、その後cat cmd_file | parallel

Answer 1

https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Using-shell-variablesを行うことであると言う：

parallel echo ::: "${V[@]}" 

あなたはとても、エコーを望んでいない：

parallel ::: "${cmds[@]}" 

をあなたは必要としない場合他のものは$ cmds、次に 'sem'（これはパラレル - セマフォーのエイリアス）を使用します。https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Working-as-mutex-and-counting-semaphore

while [[ <condition> ]]; do 
    if [[ -s $cur_archive_path/log.${doy_ctr} ]]; then 
    sem -j+0 <cmd_to_run> 
    fi 
done 
sem --wait 

あなたは何が<かもしれないと説明していません。 （https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Composed-commandsに基づく）

parallel 'if [ -s {} ] ; then cmd_to_run {}; fi' ::: $cur_archive_path/log.{1..3660} 

：あなたは、単にforループのようなものをやっている場合あなたがスクリプト全体を置き換えることができます。