機械学習モデルを輸送するために推奨される方法は何ですか？

Question

私は現在、機械学習の問題に取り組んでおり、Devという環境で、数十万オーダーのデータが少ない環境を作りました。モデルをProductionに転送するにはどうすればいいですか？何十億というオーダーのデータセットが非常に大きい環境。

機械学習モデルを輸送する一般的な方法はありますか？

Answer 1

使用する開発プラットフォームによって異なります。私はDL4JがHadoop Hyper Parameterサーバーを使用していることを知っています。私は自分のML progをC++で書いています。自分自身で生成したデータを使用します.TensorFlowなどは、Pythonを使って圧縮して解凍したDataを使用します。リアルタイムデータの場合、Boostライブラリの1つを使用することをお勧めします.OpenCVによる画像処理など、大量のRTデータを扱う際に役立ちます。しかし、私はあなたのデータに適したライブラリと同等のセットがなければならないと思います。 CSVデータは、C++またはPythonを使用して簡単に処理できます。リアルタイム（Boost）、画像（OpenCV）、csv（Python）、またはBash（Tricky）を使用してプログラムにデータをパイプするプログラムを作成することができます。何らかの形でデータをバッファリングしてから、MLプログラムにデータを定期的に提供し、データを取り出してMysqlデータベースに格納することができます。あなたがデータサーバやデータ管理プログラムを必要とするように聞こえるので、MLのalgoはちょうどそのデータのまとまりを取り除くだけです。希望が役立ちます。