なぜprocのアップロードが遅いですか？

Question

また、SASに関する質問のためにSEネットワーク外のサイトrunsubmit.comにこの質問を掲載しました。

私が使用するサーバーは2つあります。私がsasデータセットをproc upload経由で転送すると、約2.5MB/sになります。しかし、ネットワークドライブとして1台のサーバーにドライブをマップし、そのファイルをコピーアンドペーストすると、80MB/s（同じギガビット接続を介して）の速度がさらに速くなります。

誰もがこれを引き起こしている可能性があり、それを解決するために、または回避策として何ができるのでしょうか？

ネットワークドライブを他の2台にマップすることができない第3のサーバーもあります.SASベースのソリューションが必要なのは、SASがファイルを転送する唯一の手段です。このマシンからの個々の転送は2.5MB/sで実行されますが、2.5MB/sで複数の転送をすべて並行して行うことが可能です。

ファイル名とデータステップによるSAS FTPは、proc uploadを使用するよりも速くなりますか？私は次にこれを試してみるかもしれませんが、私はこれを使わないほうがいいと思います。私たちはSAS 9.1.3しか持っていないので、SFTPは利用できません。

アップデート - さらなる詳細：

• 私が産卵に接続しているんだ、と私はそれが（私がログに見て思い出した内容に基づいて）「SAS独自の暗号化」を使用していますね。
• アップロードは、Windowsクライアント - > Windowsの最初のケースではリモート、Unixのクライアント - > 2番目のケースではWindowsのリモートです。
• 問題のSASデータセットは圧縮されています（つまり、外部圧縮ユーティリティではなくSASによって）。
• proc uploadを使用してバイナリモードで外部ファイル（.bz2）を転送する場合の転送速度は似ています。潜在的に十分に速く、しかし -
• すべてのサーバーは、エンタープライズクラスのコントローラ（RAIDで最小8台のドライブ10）

潜在的なソリューション

• パラレルPROCのUPLOADで扱う非常に高速なディスクアレイを持っています非常にCPUが重い
• PROC COPY - PROC UPLOADよりもはるかに高速で、CPUオーバーヘッドははるかに少ない
• SAS FTP - 安全ではない、不明な速度、不明なCPUオーバーヘッド

アップデート - テスト結果

• パラレルPROCのUPLOADは：セットアップ*とCPUの多くのかなり多くを含むが、合理的にうまく機能します。
• PROC COPY：セッションごとにproc uploadとまったく同じ転送速度と、より多くのCPU時間が使用されます。
• FTP：約20倍速く、最小限のCPU（100MB/s対2.5MB/sの並列procアップロード）。

は、私が最初に試してみました*以下：

ローカルセッション - >ソースサーバ上のリモートセッション - > nの転送先サーバー上のリモートセッション - >先サーバー上のn個の再結合

これによりn回の同時転送が発生しましたが、元のサーバーのCPUボトルネックが原因で、それぞれが元の速度の1/nで実行されました。それはシングル転送のn倍の帯域幅で動作するように取得するには、私はそれを設定する必要がありました：

ローカルセッション - > nのソースサーバ上のリモートセッション - リモート> 1 セッション先サーバー上の各 - >先サーバー

SAS FTPコードの再結合のn個

filename source ftp '\dir1\dir2' 
host='servername' 
binary dir 
user="&username" pass="&password"; 

let work = %sysfunc(pathname(work)); 
filename target "&work"; 
data _null_; 
infile source('dataset.sas7bdat') truncover; 
input; 
file target('dataset.sas7bdat'); 
put _infile_; 
run; 

Answer 1

FTPは、ソースサーバーから入手できる場合は、proc uploadまたはproc copyよりもはるかに高速です。これらは両方ともレコードごとに動作し、特に非常に幅広いデータセットの場合、高速ネットワーク接続を介してCPUにバインドされる可能性があります。単一のFTP転送では、使用可能な帯域幅をすべて使用しようとしますが、CPUコストはごくわずかです。

これは、宛先サーバーが変更されていない転送済みファイルを使用できることを前提としています。そうでない場合、使用可能にするのに必要な時間が、FTPの転送速度の増加を否定する可能性があります。

Answer 2

PROCのUPLOADの私の理解では、それがレコードごとのアップロードを実行していることである

いくつかの変換やチェックに加えて、いくつかの点で役立ちますが、特に高速ではありません。一方、PROC COPYは、索引や制約のようなものを維持するのに慎重ではなく、喜んでファイルをコピーします。しかし、はるかに速くなるでしょう。サーバーのファイル用にlibrefを定義するだけです。

たとえば、私は自分のサーバーにサインオンし、そのサーバーに「unix」ニックネームを割り当てます。 libname uwork server=unix slibref=work;

次に、ランダムに生成された1e7行のデータファイルを使用して、次のPROC COPYコードを実行します。それに続いて、比較のためにPROC UPLOADをRSUBMITします。

48 proc copy in=work out=uwork; 
NOTE: Writing HTML Body file: sashtml.htm 
49 select test; 
50 run; 

NOTE: Copying WORK.TEST to UWORK.TEST (memtype=DATA). 
NOTE: There were 10000000 observations read from the data set WORK.TEST. 
NOTE: The data set UWORK.TEST has 10000000 observations and 1 variables. 
NOTE: PROCEDURE COPY used (Total process time): 
     real time   13.07 seconds 
     cpu time   1.93 seconds 


51 rsubmit; 
NOTE: Remote submit to UNIX commencing. 
3 proc upload data=test; 
4 run; 


NOTE: Upload in progress from data=WORK.TEST to out=WORK.TEST 
NOTE: 80000000 bytes were transferred at 1445217 bytes/second. 
NOTE: The data set WORK.TEST has 10000000 observations and 1 variables. 
NOTE: Uploaded 10000000 observations of 1 variables. 
NOTE: The data set WORK.TEST has 10000000 observations and 1 variables. 
NOTE: PROCEDURE UPLOAD used: 
     real time   55.46 seconds 
     cpu time   42.09 seconds 


NOTE: Remote submit to UNIX complete. 

PROCのCOPYはまだないほど速いOSのコピーなどであるが、それは高速ではるかに近いです。 PROC UPLOADは実際には定期的なデータステップよりもかなり遅いですが、何らかのチェックが行われているためです。実際には、データ・ステップはデータ・セットの単純さのためにPROC COPYに匹敵します（そしておそらく、私は64Kのブロック・サイズを持っています。つまり、データ・ステップはサーバーの16Kブロック・サイズを使用しています。 ）。一般的に

52 data uwork.test; 
53 set test; 
54 run; 

NOTE: There were 10000000 observations read from the data set WORK.TEST. 
NOTE: The data set UWORK.TEST has 10000000 observations and 1 variables. 
NOTE: DATA statement used (Total process time): 
     real time   12.60 seconds 
     cpu time   1.66 seconds 

「現実の世界の状況で、PROC COPYは、データのステップよりも高速ですが、両方はPROC UPLOADよりも高速です - あなたがいるため、あなたの状況で複雑性のprocアップロードを使用する必要がない限り、（私は決して持っていません理由はわかりましたが、私はそれが可能であることを知っています）。 SASの古いバージョンではPROC UPLOADがより必要になったと思いますが、今はほとんど不要ですが、私の経験ではハードウェアの設定がかなり限られているため、これはあなたの状況には当てはまりません。