2つのWebページの比較（A/Bテスト） - 2つのサンプル部分テスト

Question

Webページに2つの変更がありますが、私は一連の変数を監視しています。私のウェブサイトの監視実験から抽出できるものは次のとおりです。

Original solution: Visitors, body link click-visitors, most popular click-visitors, share-visitors. 
Solution with some change: Visitors, body link click-visitors, most popular click-visitors, share-visitors. 

私は単純な2つのサンプル部分のテストについて疑問に思っていました。監視されている変数と計算部分テストのそれぞれを元のソリューションと変更されたソリューションに置き換えます。

全体的な結果について私に何かを伝えているかどうかはわかりません。元の解決策がある変更を加えた解決策より優れているかどうかはわかりません。

この目的に使用できるものがありますか？私はあなたのアドバイスを感謝します。

Answer 1

あなたは、ビジネスメトリックと統計的有意性のテストという2つのことを混乱させるように思えます。前者は、あなたが測定したいと思うビジネスメスメントです。これは、売上、コンバージョン、購読率、または他の多くのものになる可能性があります。例えば、 this paperで、間違った指標を使用した場合の危険性についての良い議論があります。統計的有意性は、これまでに見た測定の数が、2つの経験の差が非常にランダムではないという主張を実証するのに十分であるかどうかを示すテストです。例えば、良い議論のためにthis paper。