今回はデジタルマーケティングにおいてCVR向上のために必須である「ABテスト」についてまとめました。
そもそもABテストとは
ABテストとは、パターンAとパターンBを用意してどちらがよりCVRを高められるかを検証する方法で、デジタルマーケティングの領域で使われています。
「よりCVRを高められるか」と言われて「メディアサイトにCVはなくない？」と思われるかもしれませんが、どのようなサイトでもCV=ビジネスゴールへの貢献ポイントは存在します。
広告収入を軸とした運営をしているメディアサイトであれば、PV数が重要なファクターになるのでCV＝回遊になりますし、広告記事があるようなサイトであれば、広告主サイトへの遷移数がCVになります。つまり、どれだけ他ページや広告主ページに遷移させられるかという回遊率・遷移率がCVRになるわけですね。
そういったCVをいかに増やすか、ビジネスゴールへの貢献度をいかに上げるかという観点で行われるのがABテストです。
なぜABテストをするのか
ではなぜABテストを行うのか。
こうしたほうが良いと思った物をそのまま取り入れるのではなく、なぜわざわざ手間暇をかけて検証するのでしょうか。ABテストをするメリットに通じるのですが理由は大きく分けて2つあります。
最速で最大の成果を出す
デジタルマーケティングの世界では広告出稿もページ制作も、出してすぐにその反応を見ることができるので、出す→ユーザーの反応を見る→改善するというサイクルをクイックに回せるのが大きな特徴です。
作って終わりではなく運用で成果を出すために、常に「よりパフォーマンスの良いもの」が何なのかを仮説立てて検証する。さらに言うとそれを他の領域に転用する。そういったデジタルマーケティングのメリットを最大限活かして、最速で成果を最大化するための手法がABテストなんですね。
リスクヘッジ
こちらは保守的な話になりますが、ABテストをする場合、ユーザーに見せるものを100%変更するのではなく50%変更してテストできるので、仮に「仮説を立てて出したパターンB」が悪かったとしても、全てを変更する場合と比べてリスクヘッジになるわけですね。
例えば、パターンAがCVR1.80%に対してパターンBが1.50%だった場合、全てパターンBにしてしまうと-0.30ptですが、半分だけ変更する場合は-0.15ptの低下で抑えることができますね。
得てして仮説は外れるので、100%変えた場合に既存のパターンAのみだった場合と比べてCVRが大きく低下してしまいます。その下がり幅を押さえる=リスクヘッジする意味でもABテストは効果的です。
どういう場面で使われるのか
ではABテストがどういう場面で使えるのかですが、大きく分けて3つの場面で使用できます。
広告クリエイティブの検証
リスティングやディスプレイにおいて、どういった訴求をしたら効果的なのかを検証します。
かなり大雑把な検証だと、男性か女性か犬か猫かといった検証も可能で、一般的に猫画像はCTRが高くなる傾向にはありますね。
ここでのKPIは主にCTRだと思われがちですが、CTRとCVR両方の観点で見ていく必要があります。
例えば、先述の猫画像が最もCTRが高かったとしてもユーザーの興味としては猫でありサービスではないので、CVRは低くなることが容易に想像できます。
CTRが高くてCVRが低いケースであれば、
・クリックしやすいユーザー(いわゆるクリッカー)に当たっている可能性
・ターゲットにならないユーザー / 温度感の低いユーザーに当たっている可能性
・すでにCVしているユーザーに当たっている可能性
・ページ側に問題がある可能性(いわゆる穴の空いたバケツに水を入れている状態)
などが考えられますよね。
そういった可能性も含めて、当初持っていた仮説に対して訴求がどうだったのかを振り返り、次のクリエイティブ制作に活かすことが大切です。
ランディングページの検証
広告の飛び先であるランディングページにおいて、どういったコンテンツが必要で、どのような順番で置いていればわかりやすく、どこにCV導線があればCVに至りやすいのか、を検証します。ここでのKPIはほぼCVR一択です。
なお広告クリエイティブとキービジュアルが全く違うトーンだと「あれ、違うページに飛んじゃったかな」くらいに意図してないページにきてしまった感が強くなってしまうので、バナーとキービジュアルは「使う素材を一致させる」「トンマナを揃える」「訴求軸を統一する」のがいいですね。
その他参考
ウェブではなくアプリ側の話なのでやや話がそれますが、Clubhouseはよくアイコンが変わりますよね。アプリのアイコンはサービス認知の観点からあまり頻繁に変えるものではないのですが、Clubhouseは頻繁に変わります。もしかしたらここも写真によって起動率が変わるか検証しているのかもしれないですね。
ちなみに、前後比の検証にはなりますが、過去にカスタマーサポートのアイコンを男性・女性・猫のキャラクターで変えたところ、メッセージの内容が変わったという検証結果があるので是非ご参照ください。
ABテストの流れ
よく「ここをこうしたらいいんじゃないか」というジャストアイデアでABテストを始める人がいますが、それは明らかに時間の無駄です。
ABテストに時間を割くからには、そこに時間をかけるだけの価値があると論理的に説明できるだけの合理性は必要です。ABテストを行う上で注意すべきポイントにも関わってきますが、必ずビジネスゴールから逆算したABテストの設計を行うようにしましょう。
逆算の方法としては以下のようなロジックツリーを使うとわかりやすいでしょう。
※organicも含めて露出×CTRと考えて分解しています
では順を追ってステップを1つ1つ見ていきましょう。
KPIを決める
ビジネスゴールを踏まえてウェブでのKPIを決めます。基本的には運用フェーズに入っていればKPIは決まっていると思いますが、まだ決まっていないようであれば設計しておきましょう。
上のようなロジックツリーを作っておくと、どこの数値が低くて最終的なビジネスゴールに対して未達になっているのかというボトルネックが特定できます。
改善対象を決める
各指標における目標値に対してショートしてる指標を確認します。
例えば上述のロジックツリーで、メインで使用しているLPのフォーム到達率が低い場合は、ここが改善ポイントになります。
なお改善対象として「メインで使用しているLP」となっていますが、流入数の母数がそもそも少ない場合は入り口の指標を改善できる施策を、流入数がありCVRを改善する必要がある場合はCV導線を見た上で改善幅の大きなページ・ポイントを選ぶことが重要です。
そこを探す時間を毎回かけていては時間が勿体無いので、基本的な重点指標は定点観測できるようなフォーマットを用意しておくことをオススメします。
仮説を立てる
上記で決めた改善対象について、何が課題となっていて数値が低いのかの仮説を立てます。
なおこの時点で、考えうる要因がないケースや、重箱の隅をつつくような仮説しか出てこないようであれば選択した改善対象がおかしい可能性があります。
もちろん細かい点の改善が必要なフェーズもありますが、ABテストを十分に行えていないのであればもっと大きな切り口・改善対象が見つかるはずなので、その場合は改善対象を再考しましょう。
やって見て検証する
仮説が立てられたら、あとは実行あるのみです。とりあえずやって見ないことにはわからないですし、ボリュームにもよりますが検証期間は2週間くらいは見ておいた方がいいので可能な限り早めに実施しましょう。
やってみて得られた結果を踏まえて、想定していたKPIに対してどうだったのかを振り返り、仮説が合っていたのか、外れていたのか、またなぜそうなったのかを考えた上で次の施策に移ります。
ABテストをする際の注意点
最後にABテストをする際の注意点をまとめました。
ビジネス成果へのインパクトを考慮する
上述の通り、必ずビジネスゴールを踏まえて改善対象を選択しましょう。
加えて、検証する項目の優先順位付けとしては、流入数が少ない場合は入り口から順に、ある程度流入数がある場合はCV地点から近い順に検証をすることを意識しましょう。そうすることで、改善した時のCV数向上への貢献度が大きくなります。
母数を取れる条件で設定する
ABテストあるあるですが、母数が少なくてうまく検証できない、検証期間が長くなることがあります。加えて母数が少ないページで検証したところで得られるインパクトもたかが知れてます。
必ずある程度のボリュームがあるページ・配信面を選び、母数を確保して検証するようにしましょう。
同時期に行うこと
よく「Apple to Apple(AtoA)」と言われるように、同じものを比較することが分析においては重要なのですが、例えば、ページAとページBを比較する場合にはページ以外の条件(期間・広告配信の有無・導線の有無など)比較するものの条件を一致させて見るのが一般的です。
ABテストにもおいても同様で、必ず時期は同じタイミングでやるようにしましょう。
もちろん、時事的に発生するもの(SEO関連のコアアップデートや時事記事配信など)は前後比較になってしまいますが、ABテストはあくまで同時期で一部分だけを変えた場合のKPI貢献度の差を見るものなので検証したい項目だけが違う状態を作るようにしましょう。
まとめ
いかがでしたか。
今回はABテストの基本と流れ、注意点についてまとめてました。
ちなみにABテストをする際に使えるGoogle Optimizeの導入方法については以下記事でまとめているのでご参照ください。
ABテストの基本を理解して効果的なPDCA運用を行なっていきましょう！