最適化ルーチン（1.6.2スパーク）

Question

親愛なるApacheのスパーク地域コミュニティ：

私は数週間スパークのマニュアルを読んでいます。私はMLlibのLogistic Regressionを読んで、Sparkは2種類の最適化ルーチン（SGDとL-BFGS）を使用することに気付きました。

しかし、現在私はMLのLogistRegのドキュメントを読んでいます。私はルーチンdevlopersが使用した最適化の種類を明示的に見ることができませんでした。この情報はどのように要求できますか？多くのおかげで

、 ケビン・アイザックCarbajal

Answer 1

大きなポイントは、彼らが使用しているAPIについてです。

MlLibはRDD APIに焦点を当てています。 Sparkのコアですが、SumsやAvgsなどの単純な関数のような処理の中には、DataFrameプロセスに時間がかかります。

MLは、データフレームで動作するライブラリです。そのdataFrameは、和のような基本的な関数のためのクエリの最適化を備えています。

このブログpostを確認することができます。これは、MLがMlLibよりも高速でなければならない理由の1つです。