【完全版(前編)】ABテストとは?基礎から種類、実装方法まで全て解説!

ウェブページの最適化に向け活用されているABテスト。ウェブマーケターの方ならよく聞いたことがあるのではないでしょうか?今回は、戦略的なABテスト活用に向けて、基礎から実装方法まで丁寧に説明していきます!

戦略については、かなりのボリュームがありますので、簡単に図解している以下記事から読むことをお勧めします!

【5分で分かる】多変量解析によるLPO対策を徹底解説!事例を使って図解解説します!

第1章:A/Bテストとは?

A/Bテストとは、スプリットテストとも呼ばれる、ウェブサイト活用に向けた実験プロセスのことです。ある変数(ウェブページやページ要素など)の2つ以上のバージョンを作成し、、異なるウェブサイト訪問者に同時に表示し、どちらのバージョンがビジネスとしての目的に則しているのか?を確認します。

A/Bテストは、データに基づきウェブサイトの最適化を行うためのテストです。A/Bテストでは、Aが元のバージョン、Bが変更したバージョンを指します。

また、ビジネスとして求める結果(資料請求数、商品購入数 等)をコンバージョンといい、A/Bテストではこの結果が最も良いものを探します。

ちなみにこの指標は、各ウェブサイトで固有です。例えば、ネットショップの場合は、商品の販売かもしれませんし、B2Bの場合は、適格なリードの生成かもしれません。

A/Bテストは、CRO(Conversion Rate Optimization)の一つで、定性的・定量的なユーザー情報を収集することができます。

さらに、収集データを使って、ユーザーの行動、エンゲージメント率、さらには新機能やページセクションの改訂など、ウェブサイトの機能に対する満足度を理解することができます。もし、まだウェブサイトのA/Bテストをしていない場合、ビジネスの機会損失をしているかもしれません。

第1章 まとめ

A/Bテストは、統計的分析を用いてウェブサイトのパフォーマンスを把握し、時間と費用を最小限に抑える最もシンプルな方法の1つです。A/Bテストは、ウェブサイトの訪問者の行動に基づいてウェブサイトを最適化し、より多くのビジネス収益を上げることができます。

第2章:なぜA/Bテストを検討すべきなのか?

この章では、A/Bテスト活用の効果として、以下を説明します。

  • ビジネスの投資効果(ROI)を高めるために、コンバージョンをどう上げるのか
  • 直帰率を減らす修正を行うことで、どのような効果が得られるのか
  • ウェブサイト再設計により、将来のビジネス目標を大幅に改善する方法

B2Bビジネスでいいリードが見つからない、ネットショップを始めたけど、カートに入れてそのまま放置される、、様々な課題があるでしょう。

これらの問題は、コンバージョンまでの道のり(ファネル)に問題がある等が原因です。これを見つけることができるのがA/Bテストです!

では、なぜA/Bテストを行うべきなのかを見ていきましょう。

①訪問者の不満を解決する

訪問者は、目的達成のためにウェブサイトを訪れます。それは、あなたの製品やサービスについてもっと知りたい、特定の製品を購入したい、特定のトピックについてもっと読みたい、学びたい、あるいは単に閲覧したい、などがあります。

しかし、分かりにくいイメージや、「今すぐ購入」や「デモを申し込む」などのボタンが見つけにくかったりすると、この目標が達成できません。

目標を達成できないと、ユーザ体験が低下します。これは不満増加につながり、最終的にコンバージョン率に影響を与えます。ヒートマップなどの訪問者の行動分析ツールやGoogleアナリティクス、ウェブサイトアンケートなどで集めたデータを活用して、訪問者の不満をみつけ、解決しましょう。

このことは、Eコマース、旅行、SaaS、教育、メディア、出版など、すべてのビジネスに当てはまります。

②既存の流入(トラフィック)からより良い効果を得る

マーケティング担当なら分かるかとは思いますが、ウェブサイトでユーザを集める(広告などを打つ)には膨大なコストがかかります。

A/Bテストを行うことで、既存ユーザを囲い込み、そこから追加費用をかけずに新規ユーザ獲得に取り組むことができます。A/Bテストの結果によっては、ウェブサイトにわずかな変更を加えるだけで、ビジネス全体のコンバージョンが大幅に増加することもあり、高い費用対効果を得ることができます。

③直帰率を減らせる

ウェブサイトで重要なポイントの1つが、直帰率※です。直帰率とは、ウェブサイト訪問後他の操作を何もせずにページから離脱する確率をいい、これが高いとユーザがサイトの中身に興味がなかった、と言えます。

ウェブサイトの直帰率が高い理由としては、選択肢が多すぎる、期待値が合わない、ナビゲーションが分かりにくい、専門用語が多いなど、様々な理由が考えられます。

ウェブサイトの目的や対象ユーザーにもより効果的な方法は色々ありますが、A/Bテストは直帰率改善に役立ちます。A/Bテストでは、ウェブサイト要素の複数パターンを、最適になるまでテストすることができます。

これにより、ウェブサイト訪問者の要望とのズレを見つけるだけでなく、ウェブサイト訪問者の全体的な体験を向上させることができます。より長い時間サイトに滞在してもらい、さらには有料の顧客に転換してもらうのにも役立ちます。

④リスクが少ない

ページ全体のデザインを一気に変更した場合、コンバージョン率低下等のリスクが考えられます。A/Bテストでウェブページを少しずつ変更することで、現在のコンバージョン率が損なわれるリスクを減らすことができます

A/Bテストでは、最小限の修正からテストできますので、最小限で最大の成果が得られるような改善ができ、費用対効果が高くなります。

例えば、商品説明文の削除や更新を予定した際に、A/Bテストを実施してみましょう。商品説明文の変更による不安がわからない場合も、A/Bテストにより訪問者の反応を分析し、どんな反応があるか確認することができます。

他にも、新機能導入前にA/Bテストを実施することで、提案する新機能がウェブサイトの利用者に喜ばれるかを把握することができます。

テストせずにウェブサイトに変更を導入すると、結果はわかりません。テストをしてから変更を加えることで、結果をより確かなものにすることができます。

⑤統計的に有意な改善が得られる

A/Bテストはデータに基づいて行われるため、推測や直感、本能などの余地はありません。ページ滞在時間、デモリクエスト数、カート放棄率、クリックスルー率などの指標が統計的に有意かどうかで、「勝者」と「敗者」を素早く判断することができます。

⑥ウェブサイト継続改善できる

デザイン変更には、特定のウェブページのボタンやリンクの場所、色の微調整、ウェブサイトの完全な刷新まで様々なものがあります。A/Bテストでは、データに基づいてどちらのバージョンを導入するかを決定します。

デザインが決定したからといって、テストをやめてはいけません。新しいバージョンが公開されたら、他のウェブページの要素もテストして、最も魅力的なバージョンが訪問者に提供されるようにしましょう。

2章のまとめ

A/Bテストは、ウェブサイト利用者の行動や感度を評価するためにとても有効かつ、費用対効果の高い方法のひとつです。このテストから得られる知識を活用すれば、ウェブサイトを段階的に改善し、パフォーマンスを向上させ、ウェブサイト上のどの基本的な変更が訪問者にとってより効果があるかを予測できます。

第3章:A/Bテストで何をチェックすべきなのか?

この章では、以下のことを説明します。

  • ウェブサイト最適化のために、A/Bテストすべき要素
  • A/Bテストすべき要素の一覧とポイント。例えば、コピー、ページのデザインとレイアウト、サイトナビゲーション、フォーム、コンテンツの深さなどのサイト要素などなど

ウェブサイトのコンバージョンは、ビジネスの命運を左右するでしょう。そのため、ウェブサイトはコンテンツの全てが最適化されていなければなりません。

特に、ウェブサイト訪問者の行動やビジネスのコンバージョン率に影響を与える可能性のある要素は最適化が必須です。

では、最適化すべきポイントを紹介していきます!

①サイトコンテンツ

(1)タイトルや見出し

タイトルは、訪問者がWebページで最初に目にするものです。そして、訪問者の最初で最後の印象を決定づけるものであり、先に進んで有料顧客になってくれるかどうか判断するものでもあります。そのため、サイトのタイトルや見出しには細心の注意を払う必要があります

短く、要点を押さえたキャッチーなものにして、最初のスタンスで目的のメッセージを伝えるようにしましょう。フォントや文体、内容を変えていくつかのコピーをA/Bテストしてみて、どのコピーが最もビジターの注意を引き、コンバージョンを促すのかを分析してみましょう。

(2)本文(コンテンツ)

ウェブサイトの本文は、訪問者が何を得られるのか、こちらが何を提供しようとしているのかを明確に示す必要があります。また、ページの見出しや小見出しとつながっていなければなりません。

わかりやすく書かれた本文は、ユーザをコンバージョンに繋げる可能性を大幅に高めます。では、コンテンツを作成するポイント2つを紹介します。

ポイント1.コンテンツの内容

ターゲット層に応じて適切なトーンで話を進めていきましょう。文章の中で、ユーザに語りかけたり、想定される疑問に答えていきましょう。一言でまとまっているキーフレーズや、重要なポイントが強調されているか?についても確認しておきましょう。

ポイント2.コンテンツの構成

関連性のある見出しと小見出しを使用し、コピーを小さくて簡単な段落に分け、箇条書きやリストを使ってできるだけ見やすくしましょう。ユーザがどこをみたらいいか?がわかるようにしておく必要があります。

件名

メールの件名は開封率に直接影響します。もし購読者が気に入らなければ、そのメールはゴミ箱に入ってしまうでしょう。

最近の調査によると、メールの平均開封率は25~47%と言われてます。平均以上であっても、購読者の約半分しかメールを開いてくれないのが現状なのです。

そこで件名をA/Bテストすることで、メールをクリックしてもらえる確率が高まります。質問と発言を比較したり、パワーワードを比較してみたり、絵文字を使った件名と使わない件名を検討したり、様々な改善をしてみましょう。

デザインとレイアウト

ウェブのデザイン・レイアウトを考えていると、すべてが必要不可欠に思えてきて、残すべき要素を見つけるのに苦労しますよね。A/Bテストにより、この問題を一挙に解決することができます。

例えば、ネットショップでは、コンバージョンの観点から商品ページが非常に重要です。お客様は、購入する前に商品を詳細に理解したいと思っているのです。そのため、商品ページはデザインやレイアウトが最適化されていなければなりません。

ページのデザインやレイアウトには、コピーと並んで、画像(商品画像、オファー画像など)や動画(商品動画、デモ動画、広告など)があります。製品ページでは、訪問者を混乱させることなく、訪問者のすべての疑問に答える必要があります。

ではいくつかポイントをお話しします。

ポイント1.明確な情報を提供する

販売する商品に合わせて、必要な情報や正確な商品説明を工夫して記載し、購入したい人がみやすいように整理しましょう。わかりやすいコピーを書き、目につきやすいサイズ表やカラーオプションなどを提供しましょう

ポイント2.カスタマーレビューを強調する

商品のレビューには、良いものと悪いものの両方を掲載しましょう。否定的なレビューがあった方が、サイトの信頼性は高くなります。

ポイント3.シンプルなコンテンツを書く

コンテンツをアピールするために、複雑な言葉を使うことは避けましょう。逆にユーザを混乱させることとなります。短く、シンプルで、楽しく読めるコンテンツを心がけましょう。

ポイント4.緊急性を感じさせる

「在庫残りわずか!」や「残り2時間30分」のようなカウントダウンや、限定割引や祝祭日のオファーを強調するなどして、購入希望者がすぐに購入できるように促しましょう。

他にも、トップページやランディングページなど、重要なページではデザインを工夫する必要があります。例えば、余白を多くとり、高解像度の画像を掲載する、画像の代わりに動画を掲載する、さまざまなレイアウトを試すなど、できる限り多くのアイデアをABテストで試してみましょう。

ヒートマップ、クリックマップ、スクロールマップから得られた知見をもとに、デッドクリックを分析し、気になる部分を特定してページを整理します。ホームページやランディングページが散らかっていなければいないほど、訪問者が探しているものを簡単かつ迅速に見つけられる可能性が高くなります。

導線(ナビゲーション)

A/Bテストによって最適化できるもう一つの要素は、ウェブサイトの導線(ナビゲーション)です。ナビゲーションは、優れたユーザー体験を提供するために最も重要な要素です。ウェブサイトの構造と、その構造の中で各ページがどのようにリンクされ、どのように反応してもらうかについて、明確な計画を立てましょう。

ウェブサイトのナビゲーションで重要なのが、トップページです。トップページには、他のすべてのページが表示され、相互にリンクします。訪問者が探しているものを簡単に見つけることができ、ナビゲーションの経路が途切れて迷うことがないような構造になっているかをしっかり確認してください。訪問者がクリックするたびに、目的のページにたどり着けるようにしましょう。

以下に、ナビゲーションのステップアップに役立つアイデアをいくつかご紹介します。

  • ウェブサイトを使いやすくするために、ナビゲーションバーを画面上部や左側などのよくある場所に配置してみましょう。
  • 訪問者が見つけやすいように、似たようなコンテンツを同じグループにしたり、関連グループに入れて、ウェブサイトの流れを予測しやすくしましょう。
    例えば、ネットショップで様々なイヤホンやヘッドホンを販売しているとします。有線もあれば、ワイヤレスやイヤーポッドもあるでしょう。訪問者がイヤホンやヘッドホンを探しているときに、それぞれの種類を別々に探すのではなく、これらの種類をすべて一度に見つけることができるように、これらをまとめましょう。
  • サイト構造をできるだけシンプルにしましょう。訪問者が見やすくなれば、流動的でナビゲートしやすいサイトとなります。これにより、コンバージョン率が高まるだけでなく、訪問者があなたのウェブサイトを再び訪れたくなるような楽しい顧客体験を生み出すことができます。

フォーム

フォームは、見込み客があなたと連絡を取るためのボタンです。購買行動までの一部であれば、さらに重要な役割を果たします。同じウェブサイトがないように、顧客ごとに適切なフォームは異なります。
ある企業では小さなフォームが有効かもしれませんが、別の企業では長いフォームがリードの質を向上させるかもしれません。

フォーム分析のような調査ツールや手法を使ってフォームの問題点を明らかにし、最適化を図ることで、どのスタイルが顧客に最も適しているかを把握することができます。

CTA(行動喚起)

CTAは、行動喚起に向けたテキストや画像のことです。訪問者が購入を完了するかどうか、サインアップフォームに記入するかどうかなど、コンバージョン率に直接関係するアクションが行われます。A/Bテストでは、さまざまなCTAの文章、配置、サイズや配色などをテストすることができますので、どれが最も多くのコンバージョンに繋がるか、理解することができます。

社会的証明

社会的証明は、その分野の専門家(著名人や顧客自身)による、推薦やレビュー・証言・メディアでの言及・賞やバッジ・証明書などの形で示されます。これらにより、あなたのウェブサイトが主張する内容を検証します。A/Bテストは、社会的証明を追加することが良いアイデアかどうかを判断するのに役立ちます。様々な種類の社会的証明、そのレイアウト、配置をテストして、どれが最も効果的かを理解することができます。

コンテンツの深さ

Webサイトを訪れる人の中には、細かな情報まで網羅した長文のコンテンツを読みたい人もいます。一方で、ページにざっと目を通し、自分に最も関係のあるトピックを深く掘り下げることを好む人もいます。あなたのターゲット層はどちらのカテゴリーに属しますか?

コンテンツの深さをA/Bテストしてみましょう。同じコンテンツを2つ作り、片方を大幅に長くすることで、より詳細な情報を提供することができます。どちらがより読者を惹きつけるかを分析します。

コンテンツの深さは、SEOをはじめコンバージョン率、ページ滞在時間、直帰率など、多くのビジネス指標に影響を与えます、A/Bテストでは、この2つの理想的なバランスを見つけることができます。

3章のまとめ

A/Bテストでは、シンプルなサイトの見出しから、リードを生み出す重要なCTAボタン、様々なページ要素配置など、あらゆるものをテストすることができます。サイトのあらゆる要素を何ヶ月もかけてテストするのではなく、大きな影響を与え、より多くの収益を得られる可能性が高いものに集中して賢く、定期的にテストを行いましょう!

第4章:A/Bテストの種類

A/Bテストにはどのような種類があるのでしょうか?この章では、以下のことを説明します。

  • A/Bテスト以外の手法とそれぞれの利点
    ・スプリットテスト
    ・多変量テスト
    ・マルチページテスト
  • 様々な種類のテスト方法とその利点について学んでいきましょう

基本的には、A/Bテスト、スプリットテスト、多要素テスト、Multipageテストの4つのテスト方法があります。A/Bテストについてはすでに説明しましたので、ここでは、それ以外のテスト方法について説明します。

スプリットURLテスト

多くの人がスプリットテストとA/Bテストを混同していますが、この2つは根本的に大きく異なります。スプリットテストでは、全く新しいサイトを作成しどちらのパフォーマンスが高いかを分析します。ABテストは同じサイトで作成しますので、その点が違いです。

通常、A/Bテストは、Webサイトの見た目のみをテストしたい場合に使用します。一方、スプリットURLテストは、既存のページに大幅な変更を加えたい場合、特にデザイン面を全て変更したい場合に使用します。比較のために、既存のWebページのデザインには手をつけたくない場合ですね。

スプリットテストを実施すると、検索からの流入がオリジナルのウェブページと新しいウェブページに分けられ、それぞれのコンバージョン率が測定され、勝者が決定されます。

スプリットテストのメリット

基本的に、既存ページを残したい場合や大きすぎる変更がある場合はスプリットテストが有効です。
・既存ページを比較分析のために使用しながら、急激に新しいデザインを試すのに最適
・異なるデータベースへの切り替え、ページのロード時間最適化など、UI以外の変更を伴うテストの実施にお勧め
・ウェブページのワークフロー変更に最適。ワークフローはビジネスのコンバージョンに劇的な影響を与えます。変更前に新しいパスをテストし、問題点を見逃していないかどうか判断できます。

多変量テスト

多変量テストでは、複数ページ要素の組み合わせ全てをテストし、どの要素の組み合わせが最も効果的かを分析する手法です。通常のA/Bテストよりも複雑にできますので、マーケティング、製品、開発の上級者に適しています。

多変量テストをよりわかりやすく説明するために、以下のような例を挙げてみます。例えば、ランディングページの画像、CTAの色、見出しについて、それぞれ2パターンをテストすることにしたとします。つまり、合計8つのバリエーションが作成されますので、それら全てをテストすることで、勝利するバリエーションを見つけます。

多変量テストを適切に実施すれば、似たような目標を持つウェブページで、複数のA/Bテストを連続して実施する必要がなくなります。より多くのバリエーションで同時並行的にテストを実施することで、時間・コスト・労力を節約し、最短時間で結論を出すことができます。

多変量テストのメリット

多変量テストには、一般的に以下3つのメリットがあります。

  • 同じ目的のために複数のA/Bテストを連続して実施する必要がなく、テストした様々なページ要素のパフォーマンスを同時に追跡できるため、時間を節約できる。
  • 各ページのどの要素が効果的だったのか、容易に分析、判断することができる。
  • すべての独立した要素のバリエーション(ページの見出し、バナー画像など)間のすべての相互作用をマッピングできる。

複数ページテスト(ファネルテスト)

複数ページテストとは、複数のページの特定要素に変更を加えてテストする実験形態です。

マルチページテストを実施するには2つの方法があります。

1つ目は、サイト流入者が通るサイト全てを抜き出し、それぞれの新しいバージョンを作成して既存ページと比較する手法です。これをファネル・マルチページテストと呼びます。

2つ目は、セキュリティバッジやテスティモニアル(専門家の意見)等の繰り返し使用する要素の追加や削除が、ファネル全体のコンバージョンにどのような影響を与えるかテストすることです。これはクラシックまたはコンベンショナルマルチページテストと呼ばれています。

複数ページテストのメリット

A/Bテストと同様に、複数ページテストは簡単に作成・実行でき、意味のある信頼性の高いデータを簡単にかつ最短時間で得ることができます。

マルチページテストの利点は以下の通りです。

  • サイト訪問者に対して、一貫したページの流れを提供できる。
  • 同じ変更を複数のページに行うことで、サイト訪問者がウェブサイト内を移動する際に、異なるデザインで気が散らなくなる。
第3章のまとめ

A/Bテストとは、既存サイトと変更後サイトを比較する包括的な用語です。種類としては、A/Bテスト、スプリットテスト、多変量テスト、マルチページテストの4種類のテスト方法があります。
A/Bテストでは、シンプルなページ要素をテストすることができますが、多変量テストでは、組み合わせの概念を利用して、さまざまな要素を同時にテストすることができます。一方、スプリットテストでは、まったく新しいページを作成してテストすることができます。また、複数ページテストでは、1つの変更を様々なページで同時に実施することができるため、時間・コスト・労力を節約することができます。
この4つのテストはそれぞれ、ウェブサイトの価値を複数の方法で分析し、コンバージョンを高める最適化に役立ちます。

第4章:A/Bテスト実行に向けた統計的アプローチ手法

この章では、以下のことを説明します。

  • 頻度主義的アプローチとは?
  • ベイズ的アプローチとは何か?
  • 頻度主義的アプローチとベイズ的アプローチの比較

4種類のテストを学んだ後は、テストを成功させ、正しくビジネス上の結論を導き出すために、どのような統計的アプローチを採用すべきか理解することも重要です

世界中のA/Bテスト実施者が使用している統計的アプローチには2種類あります。「頻度主義的アプローチ」と「ベイズ的アプローチ」です。これらのアプローチにはそれぞれ長所と短所があります。

頻度主義的アプローチ

頻度主義的アプローチとは、ある事象がどれだけ頻繁に発生するかを、多数の試行/データから調べるものです。言い換えると、何回も繰り返せば正しい確率が出るので、たくさん試行しよう!というものです

特徴として、当然ながら正しい結論を出すためにはより多くのデータが必要です。ABテストの場合なら、テストした訪問者の数や期間が大きくないといけません。

このアプローチでは、後述するベイズ的アプローチよりも、長い期間のテスト実施が必要です。ただ、考え方的には理解しやすいものですね。

ベイズ法

ベイズ的アプローチは、ベイズ統計学を使用したアプローチです。

基本的に、あるパラメータを移動させると、内容にもよりますが確率は以下のように分布します。ベイズ統計学では、今あるデータがどの確率で怒るものなのか?を分布から調べることで推定します。

確率分布のイメージ

ベイズ統計学における確率は、固定された値ではなく、新しい情報が増えるたびに変化します。

ベイズ的アプローチでは、分布のイメージがありますので少ないデータからでもある程度の推測を示すことができます。頻度主義的アプローチ、統計的有意性を重視しながら、実用的な結果をより早く得ることができます。

どちらの方がおすすめか?

頻度主義的アプローチでは、結果を出すためにある程度データ数が必要となりますが、ベイズ的アプローチではデータ数が少なくてもある程度の結果を出すことができます。

ビジネスはスピードを尊ばられますので、少ないデータからでもある程度推定できる手法であるベイズ推定がおすすめと言えると思います。

また、ベイズ的アプローチでは、新しいデータをもとに随時推定を更新することもできるのもポイントです。

参考
A/Bテスト等のテストを実施する際には、統計的有意性を得ることが最も重要です。頻度主義的アプローチとベイズ的アプローチの2つは、結論を効率的に導き出すのに役立ちます。しかしこの2つのアプローチには、考え方に基づく大きな違いがあります。
頻出主義とベイズ主義の違いを一言で言うと、ベイズ主義では仮説に確率を与えるということです。一方頻度主義的アプローチでは、今ある情報から確率を付けずに検証します。
ビジネスには、ベイズ的アプローチの方がお勧めかもしれません。

第5章:A/Bテストを行うには?

この章では、以下のことを説明します。

  • A/Bテストを実施するための基本的な手順
    ・徹底的に調査する
    ・観察し、仮説を立てる
    ・必要なバリエーションの作成テスト実施
    ・テスト結果を分析し、結論を出す

A/Bテストは、マーケティングにおいて何が有効で何が有効でないかを見つける、非常に体系的な手法です。多くのマーケティング活動は、より多くのユーザを獲得することを目的としています。

ある程度サイトが大きくなると、サイトを訪れたユーザーに最高の体験を提供することが何よりも重要です。そうすることで、ユーザーが目標を達成し最速かつ効率的な方法でコンバージョンを獲得することができます。マーケティングにおけるA/Bテストは、既存ユーザを最大限に活用し、収益の流入を増やすことができます。

構造化されたA/Bテストは、最適化が必要な課題をピンポイントで特定することで、マーケティング活動をより収益性の高いものにすることができます。A/Bテストは、構造化された継続的な活動であり、常に明確なCROプロセスを経て実施されるべきものです。大まかには以下のようなステップがあります。

ステップ①:調査を行う

A/Bテストの計画を立てる前に、サイトが現在どのように動いているか、徹底的に調査する必要があります。何人のユーザーがサイトに来ているのか、どのページが最も訪問者数が多いのか、各ページの様々なコンバージョンゴールなど、関連するすべてのデータを収集する必要があります。

ここで使用するA/Bテストツールとしては、Google Analytics、Omniture、Mixpanelなどの定量的なWebサイト分析ツールがあります。最も訪問されたページ、最も滞在時間の長いページ、最も直帰率の高いページなどを把握するのに役立ちます。

例えば、収益の可能性が最も高いページや、1日のアクセス数が最も多いページをリストアップすることから始めてみましょう。その後、このトラフィックの質的側面をより深く追求することができます。

例えば、ヒートマップツールは、ユーザーが最も時間を費やしている場所やスクロール行動などを調べるために使用される代表的な技術です。これは、ウェブサイトの問題点を特定するのに役立ちます。また、ウェブサイトのユーザー調査も人気のツールです。アンケートは、サイト運営者に対してエンドユーザーの意見を伝えて、集合的なデータでは見逃される可能性のある問題を浮き彫りにすることができます。

さらに、訪問者の行動に関するデータを収集するセッション記録ツールからは、質的な意見を得ることができ、ユーザージャーニーのギャップを特定するのに役立ちます。実際、セッション記録ツールとフォーム分析調査を組み合わせることで、ユーザーがフォームに記入しない理由を明らかにすることができます。個人情報を入力する欄があったり、ユーザーが長い間フォームを放置していることが原因とわかるかもしれません。

このように、定量調査と定性調査の両方を行うことで、次のステップに向けて実用的な観察を行うことができます。

ステップ②:データを分析し仮説を作る

調査結果を記録し、コンバージョン率の向上に向けてデータに裏付けられた仮説検証を行うことで、ビジネス目標に近づきます。

定性的、定量的な調査ツールは、訪問者の行動データの収集にしか役立ちません。そのデータを分析し、意味のあるものにするのは運営者側です。

集められたデータを活用する最善の方法は、データに裏付けられた仮説を作成することです。仮説の準備ができたら、それが勝つ自信がどれくらいあるか、マクロの目標への影響、設定のしやすさなど、さまざまなパラメータと照らし合わせてテストしてみましょう。

ステップ③:仮説に基づくサイト変更とテスト

次のステップは、仮説を作ることです。既存サイトに対して、複数パターンの修正をテストし、どのバリエーションが最も効果的かを確認することができます。

UXの観点から何が機能するかという仮説に基づいて、修正を行います。例えば、フォームに入力しない人が多いのではないですか?その理由は、フォームの入力項目が多すぎること、個人情報の入力があること等あるでしょう。そのため、例えば、フォームの長さを短くしたバリエーションや、個人情報を入力する項目を省いたバリエーションなどを試してみましょう。

ステップ4:テストの実施

次はいよいよABテストです。このステップに入る前に、どのようなテスト方法やアプローチを採用するかを決めておくことが重要です。

サイトにおけるニーズとビジネスの目的に基づいてテスト内容を定めたら、テストを開始して統計的に有意な結果が十分出るまで、規定の時間を待ちます。どの方法を選んでも、テストの方法と統計的な精度が最終的な結果を左右するということを覚えておいてください。

例えば、テストキャンペーンの実施時期もその一つです。テストのタイミングと期間は、ポイントを押さえておく必要があります。1日および月間の平均訪問者数、既存の推定コンバージョン率、期待するコンバージョン率の最低改善率、バリエーションの数(コントロールを含む)、テストに含まれる訪問者の割合などを考慮して、テスト期間を計算します。

A/Bテストを実施すべき期間を計算するには、ベイズ計算機をご利用ください。

ステップ5:結果を分析してサイトを変更する

最後のステップは、結果の分析とサイトの変更です。A/Bテストでは、継続的なデータ収集と分析が必要なため、このステップですべてが明らかになります。

テストが終了したら、増加率・信頼度・他の指標への影響等の指標を考慮して、テスト結果を分析します。テストが成功した場合は、勝利したサイトに変更します。テストで結論が出なかった場合は、そこから洞察を得て次のテストに反映させます。

第5章のまとめ

A/Bテストは、概念的には簡単に思えるかもしれません。しかしそうではなく、A/Bテストは、根気と粘り強さ、そして正確さを必要とする複雑な手順です。A/Bテストの実施には、5つの主要段階と複数の段階があります。調査、分析、仮説立案を徹底的に行うほど、勝率の高いテストを作ることができます。
実験の各段階の詳細を理解すれば、必ず良い結果が得られたり、失敗した実験から学んだりすることができます。

第6章:A/Bテスト計画の作成
– 計画と優先順位付け

この章では、以下のことを説明します。

  • A/Bテストカレンダー作成の重要性
  • A/Bテストカレンダー作成の4段階プロセス
  • サイトのパフォーマンス測定
  • 優先順位付けの方法を学び、実行
  • 変更後のサイトを作成、A/Bテストを実施
  • 結論と学びから改善を行う

A/Bテストは、最適化の一回だけと考えるべきではありません。A/Bテストは、全体的なCROの一部として扱うべきです。CROでは通常、計画と優先順位付けの2つの部分があります。テストでは十分な調査と、リアルタイムの訪問者データがあって初めて成り立つのです。

そのための最初のステップは、A/Bテスト計画を作ることです。優れたテストカレンダーや優れたCROプログラムは、4つのステージを経ることになります。

第1段階:調査

これが、A/Bテスト計画の初めの段階です。訪問者がどのように反応するかという観点で、サイトパフォーマンス含め、目標設定と調査を行いましょう。

まず、ビジネスの目的を明確にしましょう。サイトに対する行動はすべて、ビジネスの目的に対応する必要があります。

またこの段階では、サイトで何がなぜ起きているのか、訪問者の反応はどうなのか把握する必要があります。調査には、Google Analyticsのようなツールが役立ちます。目標を明確に定義したら、ウェブサイトにGAを設定し、評価指標を定義します。

データを整理した後は、仮説設定とそれに合わせたキャンペーン計画を立てましょう。

例えば、第1段階でデータを分析した結果「複数の支払い方法がないと、見込み客がチェックアウトページで脱落する」という結論に達しました。そこで、「複数の支払い方法を追加することで、チェックアウトページの脱落を減らすことができる」という仮説を立てました。

このステージを終える頃には、自分のウェブサイトの「何が」「何のために」がわかるようになっているはずです。

第2段階:優先順位付け

次の段階では、仮説やテストに優先順位をつけます。優先順位をつけることで、複数の仮説を科学的に分類することができます。

第2段階では、ウェブサイトの問題点やファネルの漏れを特定するための十分な仮説やができているはずです。しかし、すべての仮説が同じようにビジネスの可能性を秘めているわけではありません。仮説の候補を吟味することが必須となります。改善の可能性・ページ価値・コスト・ビジネスの観点から見たページの重要性・ページの流入数など、実施内容の優先順位を決める際には、以下のような点に留意する必要があります。

主観をなくす

優先順位付けのフレームワークに主観が入らないようにするにはどうすればよいでしょうか?

主観を排除するための最良の方法は、優先順位付けに関するフレームワークを使用することです。

専門家でさえ、膨大なデータ分析には優先順位付けのフレームワークを使用しています。ここでは、最も一般的なフレームワークであるCIE優先順位付けフレームワーク、PIE優先順位付けフレームワーク、LIFTモデルについて学びます。

CIE優先順位付けフレームワーク

CIEフレームワークでは、テストを1から5のスケールで評価しなければならない3つのパラメータがあります。

  • 信頼性:仮説による効果への自信度合いを、1~5(1が最も低く、5が最も高い)で選択
  • 重要性:1~5の5段階(1が最低、5が最高)でテストの重要性を選択
  • 容易さ:1〜5の5段階(1が最も難しく、5が最も簡単)で、テスト実行の難易度を選択

仮説評価前に次の3つの質問に答えることで、これらを考え流ことができます。

①この目標達成の自信がどれだけあるか?
ターゲットのユーザーペルソナを想像することで、仮説の可能性を判断することができます。ユーザーをよく理解していれば、その仮説がユーザーの不安や疑問を解消し、コンバージョンに結びつくかどうかについて、経験に基づいた仮説を立てることができます。

②テスト実施により得られる効果の価値は?
あなたのサイトには多くの訪問者がいるかもしれませんが、すべての訪問者が購入してくれるわけではありません。例えば、チェックアウトページを中心に構築された仮説は、商品特徴ページを中心に構築された仮説よりも高い重要性を持ちます。なぜなら、チェックアウトページの訪問者は、コンバージョンファネルの奥深くにいて、商品特徴ページの訪問者よりもコンバージョンする確率が高いからです。

③このテストを実施するのは簡単ですか?
次に、テストの実施のしやすさを判断します。いくつかの質問に答えてみてください。
・この実行のために、多くの戦略を立てる必要があるか?
・この変更を設計・開発するのに必要な労力はどのくらいか?
・この変更は、サイト作成のシステムだけで実装できるのか、それともコーディングが必要なのか?

PIE優先順位付けフレームワーク

PIEフレームワークでは、何をテストすべきかを選択する際に考慮すべき3つの基準として、「潜在性」「重要性」「容易性」を挙げています。

「潜在性」とは、ページの改善能力のことです。計画段階では、これを判断するために必要なすべてのデータを用意する必要があります。

「重要性」とは、ページにどれだけの訪問者が集まるかという、ページの価値を意味します。問題のページを特定しても、そのページにそもそも訪問者がいない場合は、訪問者の多い他のページと比較して、そのページの重要性は低くなります。

最後の3つ目の基準は「易しさ」です。易しさとは、特定のページや要素でテストを実行することがどれだけ難しいかを定義するものです。ページのテストのしやすさを判断する方法の一つは、ツールを使用してランディングページの現状を把握し、変更数と規模を推定し、どれを行うか、あるいは全く行わないかの優先順位をつけることです。

よく難しさで挙げられるのが、以下2種類のリソース不足です。

・人的資源
CROやA/Bテストは以前から行われていましたが、最近は表舞台に出てきませんでした。そのため、大部分の企業はCRO専門のチームを持っていません。これに対しては、計画を明確に設定することで解決することができます。
・ツール
A/Bテストツールは数百種類あるため、選ぶのが大変です。専門家の視点がなければ、企業が最も安価なものを選び、全ての仮説をA/Bテストで検証したとしても、統計的に有意な結論は得られないでしょう。これには2つの理由があります。1つは、優先順位をつけずにテストを行うと失敗し、ビジネス上の利益を得ることができないこと。2つ目は、すべてのツールが同じ品質ではないことです。あるツールは価格が高いかもしれませんが、優れた質的・量的調査ツールと統合されていたり、単独でも優れたツールであるため、統計的に有意な結果を出すことができます。一方、あるツールは安価かもしれませんが、メリットがない場合は企業にとって投資の損失でしかありません。優先順位をつけることで、利益のあるテスト候補にわずかなリソースを割くことができます。

3.LIFTモデル

LIFTモデルは、ウェブやモバイルの体験を分析し、優れたA/Bテストの仮説を立てるのに役立つフレームワークです。LIFTモデルは、6つのコンバージョン要素を用いて、ページ訪問者の視点から体験を評価します。このフレームワークでは、6つのコンバージョンファクター(価値提案、明確性、関連性、注意力散漫、緊急性、不安)を用いて、ページ訪問者の視点から体験を評価します。

優先順位をつけることで、少なくとも6ヶ月から12ヶ月間は、A/Bテストカレンダーを実行できる状態にすることができます。これにより、テストの準備をするための時間と余裕ができるだけでなく、リソース計画も立てることができます。

第3段階:A/Bテスト

3つ目の段階は、テスト実施の段階です。目標に沿った仮説を立て、それらに優先順位をつけたら、いよいよ新しいサイトを作成し、テストを開始しましょう。

テストの実行中は、正確なトラフィックでテストを行うこと、多くの要素を同時にテストしないこと、適切な期間でテストを行うことなど、テストを終了する前に統計的に有意な結果を出すためのすべての要件を満たしていることを確認しておきましょう。

第4段階:改善

この段階では、過去と現在のテストから学んだことを、今後のテストに応用します。規定の時間テストを行ったら、テストを中止して集めたデータの分析を開始します。まず最初のチェックは、テストしている多くのパターンのうち1つが、他のバージョンよりも優れた結果を示し、勝利を収めたということです。テストの結果は3パターンに分かれますので、それらを紹介します。

  • 変更後のサイト、または他のサイトの1つが統計的に有意に勝った。
  • あなたの元サイトがより良い結果が出た。
  • テストが失敗し、重要でない結果が出た。

最初の2つのシナリオでは、勝者が決まったからといってテストをやめてはいけません。そのサイトに改良を加え、テストを続けてください。3つ目のシナリオでは、すべてのステップを思い出し、プロセスのどこで間違ったのかを特定し、その間違いを修正してからテストをやり直します。

週間A/Bテスト計画

A/Bテストプログラムをスケーリングする際には、以下の点に注意してください。

①過去に実施したテストを再検討する
優先順位付けされた仮説があれば、次に何をテストするのか、どのテストをいつ実行するのか、明確なビジョンを持つことができます。

仮説の各要素またはほとんどの要素をテストしたら、成功したキャンペーンと失敗したキャンペーンをそれぞれ再検討しましょう。テスト結果を分析し、別バージョンのサイトをテストするのに十分なデータがあるかどうかを判断します。もしあれば、必要な編集や修正を加えた上で、再度テストを実施します。

②テストの頻度を上げる
あまりにも多くの要素の同時テストはかなり大変ですが、テスト規模を拡大するためにはテスト頻度を増やすことが不可欠です。ABテストでは、他のテストやウェブサイトの効果に影響を与えないように計画する必要があります。

ひとつの方法として、ウェブサイトの異なるウェブページで同時にテストを実施したり、同じウェブページの要素を異なる時間帯にテストしましょう。これにより、テスト頻度が増えるだけでなく、他サイトに影響を与えることもありません。例えば、ホームページ・購入ページの各要素をテストした後、現在のテストが終了したらこれらのページの他の要素(1要素ずつ)を同時にテストしてみましょう。

③テストの間隔を空ける
テストの頻度を上げるためには、ウェブサイトの全体的なコンバージョン率を下げないようにしてください。

同じウェブページで2つ以上の重要な要素をテストする場合は、2つのテストの間隔を空けましょう。先に述べたように、ウェブページの多くの要素を一緒にテストすると、どの要素がテストの成功または失敗に最も影響を与えたかを特定することが難しくなります。2つのテスト間隔を空けない場合、どの要素がサインアップの増加に最も貢献したのかがわからなくなってしまいます。

A/Bテストでは、適切な計画、優先順位付け、そして精度が必要です。ここでの最初のステップは、A/Bテストを成功させるために必要なものをすべて含む、構造化されたテストカレンダーを作ることです。A/Bテスト計画には、4つのステージがあります。

第1段階:訪問者の行動を分析し、その他の重要なビジネス指標をまとめることで、ウェブサイトの目的を測定します。
第2段階:選択したフレームワークに基づいて、仮説の優先順位付けで最初に行うテストを決定します。
第3段階: 変更後のサイトを作成し、必要な目標を達成しているかどうか確認する適切なQ-Aを実施します。
第4段階:テストから結論を導き出し、収集した知識を活用してウェブサイトを最適化し、今後のテストを実施します。

徹底的に構築された計画があれば、物事を大幅に効率化することができます。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です