2016年8月よりスタートした、Juicerの「A/Bテスト完全代行サービス」
本記事では、具体的にどんな内容、どんな流れでA/Bテストを行なっていくのか、その中身を詳しくご紹介します。

 

Juicer A/Bテスト完全代行サービスとは?

Juicer有料プランにお申し込みいただいたお客様を対象に、JuicerがA/Bテストの設計、実施、PDCA改善まですべてを代行するサービスです。

小さな工夫で大きな成果を実現できるA/Bテスト。
しかし、他の業務をこなしながらサイト改善に取り組むのは、実際には手間がかかるし難しい。これが大きなハードルになり、サイト改善を「試す」ことすら難しくなってしまう…

そんな企業のWeb担当者様に「放っておいてもサイトが良くなる」状態を実現できるのがこのサービスです。ご準備いただくことは、Juicerタグをサイトに導入していただくだけ。あとはJuicerにおまかせください。

 

0. お客様にご準備いただくこと

お客様に準備していただくことは、Juicerタグコンバージョン、たったの2点だけです。

1. Juicerタグ

タグはJuicerの画面内から入手できます。サイトごとに独自のタグが発行されますので、コピーしてサイトのhead要素内に貼り付けてください。

導入方法
  1. 1. 対象サイトのJuicerにログイン
  2. 2. 画面右上の歯車から「埋め込みタグ」をクリック
  3. 3. 対象サイト専用のタグが発行されているので「クリックしてコピー」
  4. 4. 対象サイトのソース内に貼り付け

タグの導入方法

2. コンバージョン

コンバージョン率でA/Bテストの効果測定をする際に、設定が必要です。
Juicerの画面から簡単に設定できますので、初回ログイン時にご登録をお願いします。

設定方法
  1. 1. 対象サイトのJuicerにログイン
  2. 2. 画面右上の歯車から「コンバージョン登録」をクリック
  3. 3. コンバージョンURLを入力し、「変更する」をクリック

または、お申し込み時に弊社担当にお申し付けいただくことで、弊社での設定も可能です。

 

1. A/Bテストの設計

ご協力ありがとうございました。ここから先はすべて弊社作業となります。

まずは、お客様のサイトを拝見し、Juicerでの分析結果も考慮しながら、下記基準を参考にA/Bテストを実施するページや箇所を選定します。

テスト箇所の選定基準

1.サイトのゴールに近い
商品やサービスの購入、指標請求や問い合わせなど、コンバージョンに直結する箇所で実施することで、サイトの成果をダイレクトに向上させることが期待できます。

2.サンプルが集まりやすい
多くのユーザーの目に触れる箇所はサイトに与えるインパクトが大きく、またサンプルが集まりやすいためより早く結果を確かめることもできます。

3.効果が計測しやすい
ボタンやリンクなどの具体的なアクションを誘いやすい箇所で実施することで成果を明確に測りやすくなります。

テストしたいページや箇所があらかじめ決まっている場合は、弊社担当にお申し付けください。お客様のご要望を活かした形でテストを設計させていただきます。

 

2. クリエイティブの作成

次に、設計したテストのシナリオを元に、テストに使用するクリエイティブを作成します。選定した箇所に合わせ、画像の作成や、コピーライティングを行ないます。

この際、JuicerのA/Bテストでは「1回のテストで検証する仮説は1つ」という原則を大切にしています。

1つのテストに複数の仮説をつめこんだ場合
複数の仮説をつめこんだ場合

一見期待できそうですが、メインコピー、訴求内容、ビジュアルなど、複数の要素が変更されているため、どの要素がテスト結果に影響したか判断できず、次につながらない「1回きりの改善」に…

悪い例_トーナメント3

 

1つのテストで1つの仮説を検証する場合
1つのテストで1つの仮説を検証する場合
どんなテスト結果が出ても「メインビジュアルの違いによるもの」だと分かるため、仮説が立てやすく次のテストが設計しやすい。テストを繰り返すことで「どんどん良くなる改善」が実現可能に。

デザインを劇的に変えれば、目新しさにより一時的に成果を向上させることはできるかもしれませんが、変数が多すぎると「なぜ向上したのか」を分析することが難しくなってしまいます。今後のサイト改善のヒントとなるような気付きを得ていただくためにも、一度きりの大きな成果ではなく、小さく効果的なPDCAによるノウハウ蓄積を大切にしてゆきます。

また、どのテストでも、最低2種類は新規クリエイティブを作成いたします。
テストを行なうページのトラフィックに対してテストクリエイティブが多すぎると、必要なサンプル数(表示回数)に達するまでに時間がかかってしまうため、目安として3〜5クリエイティブでのテストとお考えください。

 

3. A/Bテストの実施

クリエイティブが完成次第、毎月初めよりテストを実施いたします。
事前にメールにてA/Bテストの実施予定内容をお知らせいたしますので、ご確認をお願いいたします。お客様の承諾なくテストを開始することはございませんのでご安心ください。

メールでお知らせする内容
・ テストを実施するURL
・ テスト対象とするデバイス(PC/スマホ)
・ 評価指標(クリック率/コンバージョン率/ビュースルーCV率)
・ サバイバルモード(ON/OFF)
・ テストクリエイティブ(画像の場合、zipファイルにて添付)

用語説明1:コンバージョン率とビュースルーCV率の違い

コンバージョン率
 対象のクリエイティブを「クリックして」コンバージョンに至ったセッションの割合
ビュースルーCV率
 対象のクリエイティブを「見て」コンバージョンに至ったセッションの割合

と定義しています。クリックできない箇所でA/Bテストを実施する場合には「ビュースルーCV率」を用いて効果測定を行ないます。

用語説明2:サバイバルモードとは
1位になれないと判定されたクリエイティブを自動で非表示にしてゆく機能です。
見込みの低いクリエイティブを表示しないことで、その他のクリエイティブの表示回数が増え、テスト効率が上がります。また、優秀なクリエイティブのみがユーザーの目に触れることになりますので、テスト中の時間もサイト改善が進みます。

 

4. A/Bテスト終了、次回テスト設計へ

Juicer上でテストが終了すると、お客様のメールアドレスにお知らせメールが届きます。案内に従ってJuicerにログインしていただきますと実施したテスト内容がご確認いただけます。

毎月末を目処にテストを終了し、結果を元に次のテストの仮説立案、設計を行ないます。
たとえば先ほどの例ですと「使用感のイメージできる人物の写真がよかったのでは?」「ラインナップの充実が分かる製品写真がよかった?」などの仮説が結果から立てられます。
1つのテストで1つの仮説を検証する場合
そこで、メインのコピーを写真に合わせたものに変えたり、他の要素をユーザーの口コミに変えたり、といったように改善効果が見込める方向に改善を行なってゆきます。
この小さな改善をたくさん積み重ねることによって、無駄なく、効果的に、最も成果の出せるクリエイティブへ近付いてゆきます。

 

よくある質問

Q.どんな仕組みでサイト内の表示が切り替わるのですか?
お客様のサイトのページ内に挿入されたJuicerタグが、指定された箇所のHTMLソースを書き換えることによってサイトの表示が切り替わります。この際、各クリエイティブの表示回数が均等になるように自動で調整を行ないますので、お客様の方でサイトの編集等をしていただく必要はございません。

Q.結果が出るまで、どれくらい時間がかかりますか?
・テストするページにどの程度のアクセスがあるか
・何個のクリエイティブでテストするか
・クリエイティブどうしにどれだけ優劣の差がつくか

によって結果の確定までにかかる時間は変動いたしますが、月間トラフィックが約60,000人規模のサイトのトップページにて、3つのクリエイティブでA/Bテストした際、結果が確定するまで1ヶ月程度を要しました。

Q.1ヶ月でテスト結果が確定しない場合どうなりますか?
1ヶ月で結果が出なかった場合にも一度テストを終了し、より改善効果の見込めるクリエイティブに作り替えを行なって翌月のテストに挑みます。
A/Bテストは仮説を検証するための効果的なツールですので、顕著な結果が出ないということも次なる改善への気付きとして、見逃すことなく次回テスト設計へ生かします。

そのほか、何かご不明な点がございましたら、info@juicer.ccまでお問い合わせください。
また、Juicer有料プランについての詳しいご説明をご希望の方は、弊社担当が貴社までお伺いいたします。ご相談ください。