Never Ending Re-InventionKaizen Platform オフィシャルブログ

売上げを大幅に向上させたA/Bテストのプランニングとは

nestel_main

以前にA/Bテストで成果を出すチームのプランニングシートの書き方というテーマで、プランニングシートの書き方に焦点を当てて事例を紹介しました。

そちらでも紹介したように、優れたテストプランニングが良質なデザイン案を生み出すことに繋がり、最終的には事業を前進させることになります。

本稿では秀逸なテストプランニングの結果、A/Bテストで月間の売上を数億円改善して事例を紹介します。

事例概要

nestel_casestyudy_top
今回紹介するのは、ネスレ日本株式会社様が運営する通販サイトの1つである、コーヒーマシン「ネスカフェ ドルチェ グスト」のカプセル定期便販売ページ改善事例です。

販売数(定期購入数)の増加を目的とし、グロースハッカーの方から案を募りA/Bテストを実施しました。

目標の数値に最も効果がある”場所”を見分ける

A/Bテストを実施する場合、どのページでテストをするか、つまりテストの”場所”をどこにするかが、その後の結果に大きな影響を与えます。

今回の事例では、テストのゴールを事業の成長に直接関わる、”販売数の増加”に決定した後、すぐにその目標に1番影響を与えるページをテスト対象ページに選定。

テストページを選ぶ際にはどうしても複数のページで迷ってしまうものですが、選定時も選定後もブレることなくこのページを集中的に改善したことが大きな成果に繋がったと言えます。

コンパクトかつ明確な文章に落としこむ

特に外部の方にデザインを依頼する時のように、テスト設計者とデザイン制作者が異なる場合には注意が必要です。

デザイン制作者に、テストの背景や企画の意図、依頼したいことを正確に過不足なく伝えることができるかでデザインの方向性や質も変わってきます。

今回の事例でグロースハッカーの方向けに作成されたオリエンシートでは、目的から背景、依頼したいことが初見でもわかりやすいように、シンプルかつ明確に整理されていました。

nestel_orienseat
上の図はシートの一部ですが、「変更して欲しい箇所」と「変更してほしくない箇所」がはっきりしていることがわかります。

キャッチコピーは指定する一方で、その他かなりの部分では変更をOKとすることで”表現の方法”をグロースハッカーに一任。グロースハッカーとのタッグの組み方が非常に上手い事例です。

結果として定期購入数を9%改善、売上では数億円規模の向上に

テストの結果としては、2回のA/Bテストを実施した段階でCVRが9%改善しました。

「特典」の見せ方を変更しCVRに8%の変化が

nestle_casestyudey_abtest1
1回目のA/Bテストでは、既存のデザイン案よりもCVRが8%高いデザイン案が登場。

プランニング通りトップのキャッチコピーは変更していませんが、画像やテキストを変更し、特典部分の見せ方を変更したことが改善に繋がりました。

細かい装飾でさらに1%改善

nestle_casestyudy_abtest2
2回目のA/Bテストでも、「特典」部分に背景色の変更やリボンでの装飾といった細かい変更を加えた案が、さらに1%CVRが高いという結果に。

先程の案と比べると1%とわずかな違いではありますが、こちらも既存の案と比べると10%近くCVRが増加しています。

CVRの改善率以上にインパクトのあった売上への貢献

A/Bテストが年間数億円レベルの売上げアップに貢献

CVRが9%改善すること自体素晴らしいことなのですが、今回の事例ではそれ以上にインパクトがあったのが売上への貢献です。

定期お届け便のお客様を獲得することは、複数回購入を約束してくれるお客様を獲得することであり年間を通して売上に貢献します。つまり、CVRが数%改善されることが、売上の大幅なアップに繋がるとのこと。

A/Bテスト単体ではなくて、マーケティング全体の視点で見ると今回のテストが非常に大きなインパクトがあったことがわかります。

今後の可能性

上記の結果を受けて今後のA/Bテスト方針も、やたらと複数のページをテストするのではなく、CV数が多いページに絞って集中的に改善していくことに改めて決定。

そうすることで新たなテスト設計の手間も省け、ページの改善に多くの時間を割けます。

同一ページでテストを複数回実施し、CVRの向上に効くカギとなる要素を細かく把握していくなど、継続的にページを改善し、さらに大きな成果を上げることも期待できるでしょう。

また今回のテストに関して担当者の方からもコメントを頂きました。

ウェブサイトの改善に際し、数種類のページを作成するにもブリーフからproductionアップまで数週間から1か月以上の時間を要するという問題がありました。

ところが、KAIZEN PLATFORMでは瞬く間にたくさんの提案をグロースハッカーの方々からいただくことができ、短期間で何度もテストをし改善をすることが可能で、結果も出すことが出来ています。

ウェブサイトは作って終わりではなく、作ってからがスタートなわけですが、5年ほど前まではそれはあくまで理想論で制作を内製化していな場合は特に、時間を要することが通例でした。それが、ユーザーの反応を見ながらトーナメント形式でCVRを上げ続けることができるツールを手に入れ、理想が現実になったなと実感しています。

投稿の選定から結果の確認まで同じペー以内でできるのも助かるポイントです。これまではのアクセス解析での別途の目標設定や事後の解析の作業を考えると、社内の事後処理も大幅に軽減されています。

大変有り難いお言葉を頂き恐縮です。ありがとうございます!

継続的なサイト改善には明確なテストプランニングが必要

いかがでしたでしょうか?今回はA/Bテストプランニング時のポイントに焦点をあてて事例を紹介してきました。

最終的に事業の成長に繋げるためには、プランニングの段階で「ビジネス全体で見て改善すべき数値は何か」「その数値に最も影響を与える場所はどこか」を明確にすることが必要です。

もし今A/Bテストがあまり上手くいってないという場合は、ぜひ一度テスト設計段階に立ち返り、テスト計画を見直してみることをおすすめします。

事例紹介にご協力頂いたネスレ日本株式会社様、ありがとうございました。