あの大統領も140%の成果改善。アメリカ大統領とA/Bテストの意外な関係

先日11/9、アメリカの新しい大統領がトランプ氏に決まりましたね。
世界的に注目を集めた選挙で、リアルタイムで結果をご覧になっていた方も多いのではないでしょうか。

実は「A/Bテスト」をいち早くマーケティングに取り入れたのも、アメリカ大統領だったこと、ご存知ですか？

実はWeb戦略に長けていたあの大統領

自身の選挙活動にWeb戦略をうまく活用して成功を収めたのが、オバマ大統領です。

https://www.barackobama.com/president-obama/
彼は2007~2008年の選挙活動の際、Webサイトでより多くの支援者を獲得するため、A/Bテストによって継続的なサイト改善を続け、結果的に成功を収めました。

現在市場で目にする主要なA/Bテストツールでさえ、まだ市場に存在しない頃の話ですから、かなり先駆的な取り組みだったことが分かります。

では、なぜオバマ氏は、当時あまり認知度の高くなかったA/Bテストで成果を出すことができたのでしょうか。
実は、当時彼のそばにはデータ分析の「参謀」といえる人物がいたのです。
その人の名は、ダン・シロカー氏。彼はこの選挙で着実に成果を出し、その後世界最大規模のシェアを誇るA/BテストツールOptimizelyのCEOとなった人物です。

本記事では、のちにシロカー氏自身もブログに詳しく書いておられる、2007〜2008年のオバマ氏のサイトでのA/Bテスト成功事例をご紹介します。

オバマ大統領誕生に貢献したA/Bテスト

シロカー氏の主導のもと、2007年12月ごろに実際にテストが行われたのはオバマ氏の公式サイトです。(現在はかなりデザインが変わってしまっていますが)

https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/
このサイトでのコンバージョンに当たるものは「SIGN UP」というメール会員への登録です。寄付を呼びかけたり、ボランティアの選挙スタッフを集めたりする上で、支援者のメールアドレスの獲得は生命線だったといえます。

シロカー氏は、このサイトのトップページのメインビジュアルとコンバージョンボタンでそれぞれ下記のパターンを用意し、A/Bテストを行いました。

メインビジュアル

画像3パターン、動画3パターンの計6パターンが用意されました。
パターン1（画像、オリジナル）：「Obama」の旗に囲まれる柔らかな表情の写真
パターン2（画像）：家族と一緒に写っている写真
パターン3（画像）：正面からアップで撮影した凛々しい表情の写真

https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/

パターン4（動画）：オバマ氏が視聴者に向けて語りかけるパターン
https://www.flickr.com/photos/optimizely/5141506560/

パターン5（動画）：演説の一部を抜粋したパターン
https://www.flickr.com/photos/optimizely/5140903741/

パターン6（動画）：支援者の様子も映したパターン
https://www.flickr.com/photos/optimizely/5141506934/

ボタン

ラベルを変更した4パターンが用意されました。
パターン1（オリジナル）:SIGN UP「会員登録」
パターン2：SIGN UP NOW「今すぐ会員登録」
パターン3：JOIN US NOW「今すぐ参加する」
パターン4：LEARN MORE「もっと詳しく」

https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/

メインビジュアルとボタンの全ての組み合わせを試す多変量テストのため、6×4の24パターンのテストとなります。

具体的な実施期間については言及されていませんが、テスト中にはこのページに約31万の訪問があり、各クリエイティブは13,000回程度ずつ表示されたそうです。
さすがオバマ氏、というところですが、広告からの流入のあるサイトであれば弊社クライアントでも1ヶ月程度で同等のサンプル数を確保できた実績があるため、実現可能なサンプル数といえそうです。

6,000万ドルの成果向上を実現したテスト結果

それでは興味深いテストの結果を見ていきましょう。
全24パターンのうち、今回のテストで勝利したのは、以下のパターンでした。

https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/
パターン2（画像）：家族と一緒に写っている写真
パターン4：LEARN MORE「もっと詳しく」の組み合わせが1位となりました。

コンバージョン率（メール会員登録率）は11.6%と、オリジナルのパターンの1.4倍を記録しました。これは、つまり以下のことを意味します。

サイトの表示を最適化したことでこれだけの成果が出たというのはすごいですよね。

さらに興味深いことに、A/Bテストをやってみる前のチームの予想では、メインビジュアルは動画のほうが成果を出すだろうと思っていたそうです。しかし、実際のテストでは動画が画像より良い成果を出すことはありませんでした。

テストをすることなく動画をサイトのメインビジュアルにしてしまっていたら、6,000万ドルの損失になっていたかもしれないと考えると、選挙に向けてテストを実施したチームの判断は賢明だったといえるでしょう。

最後に

本記事では、オバマ氏の大統領選挙におけるA/Bテストの成功事例をご紹介しました。今回の事例からは、サイト改善の以下のようなヒントが得られます。

データを味方につける

オバマ氏のWeb戦略成功の大きなポイントは、データ分析の専門家をチームにアサインしたことだといえるでしょう。
サイト改善の余地があるとは考えているが、具体的にどうすればいいか分からない…そんなときにはすべてを自分たちでまかなおうとせず、データの分析や活用に長けたプロに依頼するのも一つの手段です。

直感で決めつけない

オバマ氏を一番近くで支え、支援者についてもよく理解していたはずのスタッフでさえ、どのクリエイティブが成果を出すかについての判断を誤りました。
実際にユーザーの反応を見てみるまでは結果が分からないもので、直感に反する結果が出るというのもよくあることです。選択肢を絞る前に、まずは検証してみましょう。

PDCAを回し続ける

A/Bテストの大きなメリットは、テスト中も成果向上を実現できることです。
また、結果を分析してサイト改善を重ねることで、「一度きり」の施策ではなく継続的な成果が見込めます。今のサイトが完璧に見えても、小さな改善PDCAを回し続けることで、思わぬ改善の余地が見つかるかもしれません。

まずは小さな箇所からサイト改善を始めてみませんか？
オバマ陣営でのダン・シロカー氏のように、あなたも自社サイトのパフォーマンスをA/Bテストで改善してみませんか？