Amazon EC2でのRedis - Celeryの設定

Question

私はPython、Django、およびMySqlを使用してWebアプリケーションを開発しています。私は、ユーザが* .wmvファイルと* .movファイルをアップロードして、システムが処理して* .mp4に変換するアプリケーションの規定を持っています。私は単一のサーバーアーキテクチャを使用していましたが、ユーザーベースが増加するにつれて、ビデオ変換はメモリの90％を消費します。私はAmazon EC2を使用してビデオ変換/ストリーミングサーバーをクラウド上に移動し、RedisとCeleryを使用して別のサーバーで変換を行うことを考えています。 Redis - Celeryがマルチティアアーキテクチャをサポートしているかどうかを知りたかったのです。誰かがこれを達成したことがあるなら、私にそのステップを教えてください。これは私がグーグルで行っていたものですが、サポート文書が見つかりませんでしたので、本当に役に立ちます。

Answer 1

あなたのジョブを処理するためにセロリのキューを使用する場合は、する必要があります：

のRabbitMQを設定

• 。あなたは既存のホストまたはEC2インスタンスでこれを行うことができます
• セロリをセットアップします。 Docsは良いです。
• あなたが必要としているものに応じて、赤字を設定します。繰り返しますが、文書は良好です
• 既存のサーバーをタスクキューと話したり、やり取りできるように構成します。基本的に、EC2ファイアウォールのルールを調整する
• ワーカーサーバーがファイルを参照できるようにします。 S3にアップロードすると、クラウドから前後に移動するのが最も簡単な方法でしょう。
• 変換を行うためにセロリのタスクをトリガーするようにウェブサーバーコードを変更してください。
• 変換が完了したらどうするか完了したことをユーザーに知らせますか？
• Go。

「n-tier」などの心配はありません。これは、ドキュメントに従うことで1日に入ることができる簡単な設定です。