Never Ending Re-InventionKaizen Platform オフィシャルブログ

40日で登録数2.23倍。転職会議が行った32回のABテスト【前編:効果的なKPIとテスト設計のコツ】

tensyokukaigi_abtest

「来月末までに登録数を2倍に!」
一見無理そうなこの目標に挑んだのは株式会社リブセンスの転職会議運営チーム。

“40日間”という限られた期間の中で多額のプロモーション費をかけるわけではなく、A/Bテストを中心としたサイトの改善を徹底的に回し続け、短期間で登録数を向上させることに成功しました。

今回はディレクターとしてこのプロジェクトを牽引されていた黒澤氏に伺った、数多くのA/Bテストを実施し、成果を出すために大切なKPIやテスト設計の考え方を紹介します。
(写真の右から4番目がお話を伺った黒澤氏)

■なお今回の事例記事は全3回にわけて紹介します
  • 【前編】効果的なKPIとテスト設計のコツ(本稿)
  • 【中編】実践A/Bテストケーススタディ(後日公開予定)
  • 【後編】チーム・文化作りのポイント(後日公開予定)

圧倒的なスピードでテストを回すためのKPI・テスト設計

スクリーンショット 2014-10-29 17.48.40

『来月末までに残された日数は40日間のみ。非常に限られた時間の中で登録数を2倍にするために自分たちができることは、圧倒的なスピードでA/Bテストをまわすということしかなかった。』(黒澤氏)

40日間で行ったA/BテストはPC版、スマートフォン版を合わせると32回。A/Bテスト以外も含めると合計56回の登録改善関連のリリースを実行したといいます。

とにかくA/Bテストを回し続けるためにまずポイントとなるのが、最初に行うKPI・テスト設計。具体的な改善案を考える前段階で優れたKPI・テスト設計をしておくことが、A/Bテストを効果的に行っていくためには不可欠です。

A/Bテストのカギ、優れたKPI設計のための3つのチェックポイント

1.結果指標を分解し、先行指標を見る

転職会議チームがまず行ったのが、最終目標である”登録数”を分解すること。会員登録数を以下のような3つの要素に分解します。

tensyokukaigi1_1

ここでポイントとなるのが、“先行指標”に分解するということです。

通常、登録数や申込数、CPAなどがKPIとして設計されることが多いですが、それらに影響を及ぼす先行指標に分解することで、より具体的な改善案を考えやすくなります。

事例では登録数をサイトUU数、登録導線CTR、登録フォームCVRという3つの先行指標に分解されていました。また仮にサイトのPV向上が目標であるなら、Facebookのシェア数やTwitterのリツイート数なども先行指標として考えられます。

2.見る指標を絞る

ゴールとなる指標の先行指標を見極めた上で行うべきなのは、どの指標を追っていくかを決めること。

テストの期間やリソースには限りがあるため、その中で成果を出すためには追うべき指標を絞る(=追わない指標を決める)必要があります。

転職会議チームを見ても、自分たちのチームでコントロールが可能な登録導線CTR、登録フォームのCVRに指標を絞り改善を行うことに決定し、サイトUU数に関する施策は行っていないことがポイントです。

3.アクションできる粒度まで落とし込む

3つ目のポイントは指標をアクションができる粒度まで分解していくこと。

登録導線CTR、登録フォームCVRという指標を、さらに具体的な改善箇所に落とし込まれています。

tensyokukaigi1_2

『とにかくアクションプランに落とし込める最小単位まで分解すること』と黒澤氏がおっしゃるように、数多くのA/Bテストを実施するためには、具体的な施策が立案できる大きさまで細かく指標を分解する必要があります。

A/Bテスト実施前に押さえておきたいポイント

これまでに紹介したKPIの設計に加えて、優先順位や大まかなコンセプトといったその他の事前のテスト設計によっても、得られる結果は変わってきます。

コンバージョンに近いところを優先

転職会議チームではA/Bテストを行う際の優先順位を以下のように決定。

①登録フォームの改善
②流入経路最適化
③新規導線追加

コンバージョンに近い箇所から優先的に行っていくのが鉄則。後ろの部分をまず確定させて、徐々に手前を改善していくことを意識した』と黒澤氏。

順序を逆にしてしまうと、せっかく手前が改善されても、後ろの部分が悪いままで登録せずにユーザーが離脱してしまうという残念な結果になってしまうということも。

後ろから徐々に最適化するというのは効果的なA/Bテストをやる際には是非参考にして頂きたいポイントです。

各箇所でおおまかなコンセプトを決め、共有する

そして個別のテスト案を考える前にもう1つ行っていたのが、各箇所でA/Bテストのコンセプトを設定し、共有すること。

最初の段階で各箇所のテストの目的や全体の方向性を明確にし、各メンバーに共有しておくことで、1つ1つのテストは非常にスピーディーに、かつ軸をぶらさずに実行することができたといいます。

tensyokukaigi1_3

tensyokukaigi1_4

tensyokukaigi1_6

この時点で押さえておきたいのは、細かく決めすぎない、時間をかけすぎないということ。

転職会議チームでも重要視していたのは、とにかくたくさんテストを回し続けることであり、細かいテストのストーリーは実際に結果を見ながら最適化していったといいます。

上述したKPIの分解など、事前に決めておくことで効果的にテストが実施できるようなポイントだけに留め、後はテストを回しながら考えるのがオススメです。

細かい施策の前にきちんとテストを設計することが成果に繋がる

KPIの立て方や方向性の決め方が重要ということはよく耳にされている方も多いと思いますが、事例をみることでよりイメージして頂きやすかったのではないでしょうか?

ここまでが、転職会議チームが1つ1つのテストを実施する前にやっていたことです。やみくもにテストをやるのではなく、最初の段階でテストの設計をきちんとされていることがわかります。

次回の記事では今回の内容を基に、転職会議チームではどのようにA/Bテストを実施していったのか、豊富な事例とポイントを紹介していきますので、是非ご覧下さい。

またKAIZEN platformでは、様々な企業様のサイトを改善して下さるグロースハッカー・デザイナーの方を募集しております。
ご興味がある方は是非こちらからご登録(無料)ください。