多変量テストにどのようにGAEトラフィック分割を使用しますか？

Question

今日、新しいGAE traffic splitting機能がリリースされ、その使用目的の1つが多変量テスト用です。これは、アプリケーションの複数のバージョンをビルドして展開する必要があることを意味するように思われます。これは、バージョンの制御システム（テストごとに1つの分岐）を分岐したことを意味するテストの各変形に対して1つです。これは、テストを管理するための非効率的な方法のようです。 Google's Website Optimizerには、複数のテストを管理するためのユーザーインターフェイスが含まれていますが、すべての統計収集と分析ツールも含まれていますが、テスト管理のためのフレームワークは含まれていません。

多変量テストで新しいトラフィック分割機能を使用することを考えている人はいますか？ウェブサイトオプティマイザーでこれを使用する理由トラフィック分割テストを設定するにはどうすればよいですか？バージョン管理システムを分岐し、テストの測定と分析のための独自のインフラストラクチャを作成しますか？独自のコードを書くのではなく、この目的のためにうまくいく多変量テストライブラリがありますか？

Answer 1

デプロイされたアプリケーションのバージョン間のトラフィック分割を選択します。バージョン管理で異なるリビジョンである必要はありません。各バージョンのコードは、まったく異なる必要はありません。 javaでは、appengine-web.xmlでバージョンを定義します。

たとえば、単純なA-Bテストを実行して、サイトのバージョンを広告と比較したり、サイトのバージョンを広告と比較したりしたいとします。直帰率、読み込み時間、広告効果などの効果を探している可能性があります。あなたは「広告・オン」にアプリケーションのバージョンを設定し、trueにADS_ONを設定し、展開

if (ADS_ON) { 
    // display ad... 
} 

：あなたのコードでは、あなただけのようなフラグを使用してコードのブロック内のコードを表示する広告をラップすることができます。その後、アプリケーションのバージョンをads-offに設定し、ADS_ONをfalseに設定して再デプロイします。

私はそれを打ち込んだので、ええ、私はそれは少しclunkyだが、この新機能はまだあなたが前に行うことができなかったことを行うことができます。各バージョンのappengineダッシュボードを見て、リソースの消費方法を比較することができます。

完全に異なる2つの実装のランニングコストをテストする場合は、バージョンコントロールに2つのブランチがあることが理にかなっています。