仮説が9割。本当に効果の出るA/Bテストの作り方（後編）

前回の記事では、
A/Bテスト最大のポイントである「仮説を立てる」プロセスをご紹介しました。

手当たり次第に試したり、いきなりデザインに取り掛かったりするのではなく、まずは仮説を立て、効果の見込めそうな選択肢から試すことで、1回のテストで高い効果を手に入れられる確率が高まる、という話でした。

ここで、もう一度A/Bテスト実施の手順をおさらいしましょう。おおよそどんなサイトでも、以下のようになるかと思います。

 
今回は、2〜4のステップについてご紹介してゆきます。

もう一度「1. 仮説をたてる」のプロセスを確認されたい方は、前回の記事をご覧ください。
「仮説が9割。本当に効果の出るA/Bテストの作り方（前編）」

2. クリエイティブを作成する

それでは、実際にテストを行なうクリエイティブの作成に取り掛かります。
まずは「仮説を立てる」の3ステップをもう一度振り返りましょう。

最後の「改善アイデアを考える」で、アイデアをたくさん出したと思います。
このプロセスでは、そのアイデアのとおりにクリエイティブを作っていくだけです。

たとえば前回の記事の例では、「ボタンが、クリックできるように見えていないのでは？」という仮説があり、それを解決するために、以下のような改善アイデアを洗い出しました。

• ・ ラベルに下線を引いたパターン
• ・ ボタンに枠をつけたパターン
• ・ ボタンに影をつけたパターン
• ・ ボタンにふくらみをつけたパターン
• ・ ラベルにアイコンを加えたパターン

このそれぞれをクリエイティブに再現してゆくだけです。
 

ポイントはアイデア1つにつき、クリエイティブ1つを作ることです。
1つのクリエイティブに2つ以上のアイデアを盛り込んでしまうと、そのクリエイティブが勝利したときにどちらの要因によるものか分かりません。

結果を正確に解釈するためにも、1:1の関係を守りましょう。
 
 

3. A/Bテストを実施する

オリジナル（元々サイトで使われているクリエイティブ）と、今回新たに作ったテスト用クリエイティブを出し分けて、ユーザーの反応を観察します。
効果的に実施するために以下の点に気をつけましょう。

・スケジュールに余裕を持って実施する

A/Bテストは比較的スピーディに効果が確かめられる施策ですが、統計的に信頼できる結果が得られるまで、一定量のサンプル数が必要となります。
弊社の事例では、月間トラフィックが約60,000人規模のサイトのトップページにて、3つのクリエイティブでA/Bテストした際、結果が確定するまで1ヶ月程度を要しました。最低でも1ヶ月は期間を設けて取り組んだ方がよいでしょう。

・サイトに他の変化を極力与えない

広告やキャンペーン施策を実施するサイトの場合に注意が必要な項目です。
他の要因が結果に影響を及ぼし、純粋にクリエイティブどうしの成果が比較できない事態にならないよう、できるだけ普段のサイトに近い状態でテストを行ないましょう。また、同様の理由で、一度にいくつものページでA/Bテストすることもおすすめしません。
 
 

4. 効果測定・仮説検証する

十分なサンプル数が集まり結果が出たら、改めて仮説を振り返りましょう。あなたの仮説は正しかったでしょうか？それとも取り越し苦労だったでしょうか？いずれにしても、仮説に対して結果が出ることは、あなたのサイト運営を前進させるでしょう。

ここで大切なのは、結果だけではなく「どうしてそうなったのか」を考えることです。
特に、仮説を持って新たに作ったクリエイティブが負けてしまった場合、「仮説を立てる」プロセスのいずれかのポイントがズレていた可能性があります。

もう一度「仮説を立てる」に立ち返り、軌道修正をして次の作戦を練り直せば、手当たり次第の施策よりも確実に意義のある改善アクションが実行できるはずです。

逆に、今回新たに作ったテストクリエイティブが勝利したのであれば、更に他のクリエイティブとA/Bテストをすれば、更なる改善効果が期待できます。今回のテストの結果を有効に活用し、サイトを成長させましょう。

最後に

 
最後まで読んでいただき、ありがとうございます。

「うまくできるか不安」「やり方がよくわからない」という声を聞くことの多いA/Bテストですが、国内での成功事例も多く、ツールの普及により簡単な操作でテストを実施できます。
今回の記事でご紹介したように、仮説さえしっかりと立てていれば、クリエイティブを作る時間がそれほどなくても、デザインスキルが高くなくても、時間的・経済的コストを抑えて成果を上げることが可能です。

ぜひ一度トライしてみてはいかがでしょうか。