仮説が9割。本当に効果の出るA/Bテストの作り方（前編）

A/Bテストって、
「興味はあるけど、よくわからない… 」
「本当に成果が出るの…？」
「やって意味あるの？」

A/Bテストにそんな印象をお持ちの方も多いのではないでしょうか。
A/Bテストは、人・手間・時間・コスト等あらゆる面でパフォーマンスの高い施策ですが、その本領を発揮するためには、おさえるべきいくつかのポイントがあります。
そこで今回は弊社の導入事例などからA/Bテストを実施される際のポイントをご紹介します。

A/Bテストをはじめる前に

A/Bテストの極意は、なんといっても「仮説が9割」です。
クリエイティブを作ることよりも、仮説を立てることにたっぷり時間を使いましょう。

その理由は、

1. 仮説がなければ、結果を解釈できない

「直帰率が5%改善しました」この結果は成功でしょうか？失敗でしょうか？
A/Bテストはクリエイティブの良し悪しを判断する有効な手法ですが、「どんな結果が出たらそのクリエイティブは優秀だといえるのか」「どうしてこのクリエイティブが優秀なのか」を判断するのはあくまで人です。
「とりあえずやってみたものの、やりっぱなしで終わった…」なんてことにならないように、始める前に一度立ち止まって考えましょう。

2. クリエイティブのクオリティは後から上げられる

簡単に始められて、簡単にやめられる。これがA/Bテストのメリットでもあります。
バナー画像の細かな修正などのデザインワークは、テストが終了し、優秀なクリエイティブが決定されてからでも遅くはありません。
そのため、A/Bテスト実施の初期プロセスでは、デザイン性の高いバナーを作ることに時間を取られるよりも、しっかりとシナリオを設計し、それをどんなクリエイティブによって検証するかを考えることに時間を使いましょう。

A/Bテストをはじめる

それでは、上記のことを踏まえて、まずはA/Bテスト実施の手順を確認しましょう。
おおよそどのサイトでも、基本的な手順は以下のようになるかと思います。

冒頭でお話したとおり、効果的なA/Bテストのためには1.「仮説を立てる」が最も大切な工程となりますので、この記事ではこの部分にしぼってご紹介します。
2〜4の工程についてご覧になりたい方は、別記事「仮説が9割。本当に効果の出るA/Bテストの作り方（後編）」をご参照ください。

1. 仮説を立てる

仮説を立てるとは「仮の答えを持つ」ということです。
いきなり手当たり次第に試すのではなく、あらかじめ効果の見込めそうな選択肢から試すことでぐっと作業スピードが上がります。
ここからは更に以下の3つのプロセスに分けてご説明します。

1-1. 改善箇所を見極める

まずは、サイト内のどこでテストすれば効果的か？の仮説を立てます。
初めてテストするときには「どこから始めればいいか分からない…」を悩みがちですが、下記の3つのポイントに当てはまる箇所を探すことで、改善効果が高そうな箇所に「当たりをつける」ことができます。

・サイトのゴールに近い
商品やサービスの購入、資料請求や問い合わせなど、サイトのコンバージョンに直結する箇所が好ましいといえます。たとえば、コンバージョンボタンや料金についてのページなどです。この箇所を改善すれば、サイトの成果をダイレクトに向上できます。

・サンプルが集まりやすい
A/Bテストはユーザーの反応を元に良し悪しを判定してゆく施策なので、まず、多くのユーザーの目に触れる箇所であることが大前提です。トラフィックが集まるページやファーストビュー内のコンテンツで実施すれば、サンプルが集まりやすく、より早くテスト結果が出ることも期待できます。

・効果が計測しやすい
ページ内での存在感が大きく、具体的なアクションを誘いやすい箇所、またはサイトやページの中で既に課題が明確になっている箇所が有力です。たとえば、商品の画像のそばに添えてある説明文のテキストよりは、ボタンやリンクなどの箇所の方が検証しやすいでしょう。

A/Bテストは、サイトを大規模にリニューアルするのとは違い、あくまで意思決定するための手段にすぎません。まずは効果の見込めそうなところから着手していって、意思決定のための材料を集めましょう。

1-2. 改善余地を探す

次は「今より成果が上がるとしたら、今は何がいけないのか？」と、現在のクリエイティブの改善できる余地を模索してゆきます。たとえば、ボタン一つ取ってみても、様々な可能性が考えられます。

・目立ちにくく、見つけにくいのでは？
・クリックできるように見えていないのでは？
・専門用語を使っていてよく分からないのでは？
・クリックするとどうなるのか不安なのでは？　etc.

どんなに今が最適に見えても、「アラ探し」をするつもりでやってみてください。
デザインが優れているクリエイティブと、ユーザーに支持されるクリエイティブは必ずしも一致しないことも多いものです。

1回のテストで検証する仮説は常に1つにしましょう。
一度にいくつも可能性をテストしようとすると、作らなければならないクリエイティブが増え、テスト効率が下がってしまいます。一度にたくさんの可能性を検証しようとするのではなく、1回のテストあたりの効率を上げることでPDCAを回しましょう。

1-3. 改善アイデアを考える

洗いだした改善余地に対して、具体的な改善手段を考えます。
今度は「〇〇すれば、改善するのでは？」という仮説を立てるのです。

たとえば、先ほどの例で「クリックできるように見えていないのでは？」を検証したいとします。どんな手段によって、この課題を改善できるでしょうか。
ボタンをクリックできるように見せるためには、たとえば以下の例があげられます。
 

・アイコンを付ける
・「クリック」や「こちら」などの文言を入れる
・ふくらんでいるような見た目にする
・枠を付ける
・影を付ける

いくつアイデアを出しても構いませんが、1回のテストで試すアイデアが多すぎると、なかなかテストが終わらないことになってしまいますので、ここでもまずは改善見込みが高そうなものを厳選するようにしてください。
まずは、1回のテストにつき2〜3クリエイティブで試すことをおすすめします。

仮説を立て終わったら

「仮説を立てる」の工程、おつかれさまでした。
「テストの設計だけなのに、こんなに丁寧にやるの？」と思われた方もいるかもしれません。

しかし、弊社での実施事例を振り返ってみても、A/Bテスト設計の初期段階でしっかりと仮説を立てておくほうが、結果的に効率がよく、効果も出やすいと思います。
ここまでできたら、あとはこの仮説どおりにクリエイティブを作ってテストするだけ。あともう少しでサイト改善が実現できます。

詳しくは「仮説が9割。本当に効果の出るA/Bテスト（後編）」をご覧ください。