python依存関係をGoogleクラウドデータフローパイプラインに読み込むことはできますか?私はgensim's phrase modelerを使用して、データを1行ずつ読み込んで、一般的なフレーズ/バイグラム(2つの単語が頻繁に隣に現れる)を自動的に検出します。したがって、パイプラインの最初の実行は、各フレーズをこのフレーズモデラーに渡すことになります。パイプラインを2度目に通過すると、同じフレーズ・モデラーが使用され、このフレーズ・モデラーを各センテンスに適用して、一緒にモデル化すべきフレーズを特定します(「機械」と「学習」がコーパス内で頻繁に隣に現れる場合、代わりに単一の単語 'machine_learning'に変換されます。これはデータフロー内で達成することが可能でしょうか?ビルド/要件ファイルは強制的にワーカーマシン上のpip install gensim
に渡すことができますか?Dataflowパイプラインの外部Python依存関係
0
A
答えて
1
このページでは、あなたのパイプライン:
https://beam.apache.org/documentation/sdks/python-pipeline-dependencies
例:PyPI上のパッケージの場合、要件ファイルを使用するには、次のコマンドラインオプションを追加します。
--requirements_file requirements.txt
関連する問題
- 1. SQL Serverの外部依存関係
- 2. CMake:外部プロジェクトの依存関係
- 3. bitbucketパイプラインでのOracleの依存関係
- 4. 関係に依存する外部キー
- 5. 内部ライブラリの依存関係をbrowserifyで外部スコープにエクスポート
- 6. 依存関係のプロパティ依存関係
- 7. 依存関係の依存関係
- 8. は、関連する外部キーの依存関係
- 9. Googleクラウドdataflow sdk - 依存関係の問題
- 10. 流行の外部依存関係(ブートストラップのようなもの)
- 11. 外部依存関係のないジオコーダーの作成方法
- 12. Winformとその外部依存関係(DLL)の難読化
- 13. 外部プラグインへの依存関係を持つEclipseプラグインのエクスポート
- 14. 外部ライブラリおよびプロジェクトの依存関係の質問
- 15. 内部の依存関係の管理
- 16. 外部JS依存関係を持つMavenプロジェクトのRequireJSコンパイル
- 17. Startup.csの外部に依存関係注入を実装する
- 18. NDKがAndroidスタジオの外部依存関係を失う
- 19. 依存関係のあるWebpackと外部ライブラリ
- 20. 内部ビューの依存関係
- 21. jar以外の依存関係Gradle
- 22. 複数のツールと依存関係を持つBitbucket CIパイプライン
- 23. 外部依存関係で計算されたデータを表示
- 24. 外部依存関係を持つAndroidライブラリを公開
- 25. 外部依存関係を設定する
- 26. svn repoから外部依存関係を削除
- 27. Entity Framework:外部キー制約による依存関係
- 28. 依存関係図で外部キーを指定する方法
- 29. Netty eclipse "必須ではない外部依存関係"?インポートエラー
- 30. Gitで外部依存関係をコミットする