Web担当者の方であれば「ABテスト」という言葉を一度は聞いたことがあるかもしれません。

ABテストを簡単に説明すると「AのパターンとBのパターンではどちらが良いのかを、条件が揃った状態で掲載、出稿し検証すること」です。

広告の出稿やバナー掲載、LPの効果検証などによく扱う手法になります。

ABテストの結果どちらが良いのかを、目先の情報だけで判断するのは充分とは言えません。

大切なことは「ユーザーの体験」という視点を持つということです。

今回のブログではそのことについて、当社のABテストの検証を交えてお伝えしたいと思います。

バナー広告

ある商材をインターネットで販売し、バナー広告で集客を行います。

このとき2パターンのバナー広告を用意し、ABテストを行なって「よりアクセス数が多い方はどちらか」ということを検証しました。

実際に配信した結果は次の通りです。

結果はBの広告のほうがクリック率が高く、多くのユーザーがWebサイトに訪問することに繋がったということが分かりました。

この段階ではBの広告のほうが優れていると判断できます。しかし「本当にこれでいいのか」と疑うことが今回の本題です。

Webサイトのファーストビュー

バナー広告をABテストすることにより「良い広告」は分かったので、今度はwebサイトのファーストビューのTOPバナーを改善し、ユーザーをより惹きつけられるよう検証しました。

(※ファーストビュー：webサイトにアクセスしたときに最初の画面に見える部分のこと)

ファーストビューのTOPバナーも同様にABテストを行いました。

ユーザーをより惹きつけるのかということは、今回は「より直帰率が低い」という観点で判断しています。

検証結果は以下のとおりです。

検証の結果、直帰率が低いのはAのファーストビューバナーを掲載した方と分かりました。

2つの検証結果を踏まえて、アクセス効率の良い「広告B」と、訪れたユーザーをより惹きつける「ファーストビューバナー A」を組み合わせて運用をしました。

良いバナーの組み合わせの方が、アクセス数が増え、Webサイト内で滞在するユーザーが増えると期待していましたが、実際の結果はこうでした。

同じファーストビューバナーAを使用したのに、直帰率がTOPバナーのみで検証した結果よりも悪くなってしまいました。

そこで、今回の広告バナーおよびファーストビューバナー全ての組み合わせで検証し直した結果、最も直帰率が低い組み合わせは以下のものでした。

なんと、単体での検証では良くなかったもの同士を組み合わせた方が良いという結果でした。

ABテストの際に注意したいこと

なぜこのような結果が生じたのか。それは「ユーザーの体験」という視点がポイントです。

今回の事例の場合、「集客できるもの」と「惹きつけるもの」を個別で判断し、部分的には最適化はされています。

しかし実際のユーザーは、広告からWebサイトにアクセスしてファーストビューにたどり着くという一連の行動になることを忘れてはいけません。

例えば「売り出しセール」のバナーで集客したユーザーに対して、ファーストビューで「新作のご案内」をしていたとしても、その新作に魅力を感じてもらえないといったことは簡単に想像できます。

いくら部分的には良くなったとしても、それが全体的に良い影響を与えるかというと、そうではないということです。

ABテストの鉄則は条件をできるだけ揃えて検証することです。

そういう意味で「バナー広告を検証する」、「ファーストビューバナーを検証する」という一つ一つの検証自体は間違ってはいません。

ですが、一つ一つのABテストで部分的に最適化はできても、一連の行動、全体の行動パターンでみたときに必ずしも良いとは言えないことがあります。

ABテストの結果のみで満足せず、全体を俯瞰して見ることを忘れないようにしましょう。

※今回の事例はあくまで一例です。直帰率が高い＝悪いとは限りません。検証する上での判断軸はその時々のケースで異なります。