Never Ending Re-InventionKaizen Platform オフィシャルブログ

A/Bテストを超えて – クリエイティブが自動学習する未来

クリエイティブが自動学習する未来
2015年9月8日に開催されたネット&スマートフォンコマース2015にて、Kaizen PlatformのSales&Development Lead 北祐一が、「クリエイティブが自動学習する未来」をテーマに講演しました。「ショップジャパン」ブランドを展開するオークローンマーケティング様とともに同テーマで取り組んだ新しいチャレンジの成果を発表しました。

Yuichi Kita, Kaizen Platform

A or B から A and B へ

A/B Testing -> Optimization

Kaizen Platformは、A/Bテストという手段を通じ、お客様のWebサイト改善してきました。クリエイティブとオーディエンスの組み合わせ、広告とLPの組み合わせの最適化は、その一歩先の問題意識です。

例えば、上の図にあるように、クリエイティブがAとBの2種類あって、オーディエンスが(1)と(2)という2つのセグメントに分かれ、それぞれ90%、10%という人数比率だったとします。各セグメントで図のようなコンバージョンレート(CVR)だったとします。従来のA/Bテストの結果では、Aをすべての人に出すことになり、1000人いたら21人がコンバージョンします。

しかし、(2)のセグメントというのは、実はAではなくBを見せれば、3%ではなく10%コンバージョンするオーディエンスです。もし全体ではAの勝ちであっても、(2)のセグメントにはBを出すことができれば、1000人中28人がコンバージョンすることになります。この7人の差はコンバージョン数でいえば、33%増です。

つまり、クリエイティブが人を選ぶとどうなるのか、クリエイティブが勝手に学習するようになると、セグメント毎に各デジタルタッチポイントで最適なクリエイティブが当てられていき、コンバージョン数は最大化されるのではないかという仮説のもと、機械学習によるオートメーションにチャレンジしました。

ショップジャパンで組み合わせ最適化を検証

Case Study

今回の検証では、テレビショッピングやeコマースなどの事業を手がけるショップジャパン、広告の配信面ではマイクロアドプラスに協力いただきました。「セラフィット」というフライパン商品のキャンペーンで、42本の広告バナーと4種類のランディングページを用意し、自動最適化の新機能Predictorの機械学習による各クリエイティブ組み合わせ最適化を検証しました。

Scheme

検証の結果、開始5日間でCTRおよびCVR最適化の効果が見え、初日比でCTRは14%増、CVRはカート投入まで50%増、購入まで100%増という結果が出ました。しかしながら、検証後半期間、急に何倍もの広告面大量露出を行っていくと、機械学習のための十分な時間が得られず最適化の効果が見えなくなりました。

Result

この結果から、配信面とオーディエンスがある程度固定している場合、クリエイティブのパターンと機械学習による最適化が図られると推測されます。講演では、CTRが高いクリエイティブにImp数を自動的に寄せられていった結果や、フリークエンシー数増に対するCTRの低減の抑制効果なども発表しました。

ショップジャパン 今氏の感想は?

講演の後半に登壇したショップジャパン E-コマース本部マネージャー 今歩美氏からは、今回のケーススタディに対し、「クリエイティブをまずたくさん作ってみて(※Kaizen Platformのグロースハッカーたちが作成)、一気にオーディエンスに試してみるというアプローチが初めてで、興味深かった。5年前、A/Bテストのツールは不十分でテストを作ること自体が大変だった。今後、こうして自動学習のようなものの精度が上がっていくと、クリエイティブをどうするのか、商品自体を考える、お客様の行動を観察するといった本来やるべきことに費やす時間が増えるのではないか」とコメントいただきました。

Ms.Kon, Awkloanmarketing

Human with Machine

「人の知恵をどう効率よく集めるか」と「機械学習によって自動化」をどう進めていくかは、対立するものではなく、補完しあうものです。ショップジャパン今氏の話と重なりますが、Kaizen PlatformはこれがWebサービスの継続的改善を実現すると考えています。

Our challenge

ROIの可視化

ROI Dashboard

継続的な改善を続けるには、効果を可視化して、高速にPDCAサイクルを回していくことです。Kaizen Platformは、8月からROI ダッシュボードの提供を開始しました。これはCVRのレポートにとどまらず、改善効果を金額としてお客様に示すものです。Kaizen Platformは、Web改善のROIがお客様に見合うのか、どれだけ事業貢献したかを重視し提案活動を行っています。お客様にとっての1コンバージョンの金額価値から、改善施策ごとのCVR向上が売上増、粗利増といった金額効果で可視化されます。これは、Kaizen Platformの価値を事業やサービスの責任者が把握できるようにするものです。

講演の最後に北は、「サイト改善のプラットフォームのブラッシュアップと、集合知であるグロースハッカーのネットワーク化を引き続き進めていく」と講演を締めくくりました。

  • ネット&スマートフォンコマース2015に登録/参加された方は、イベント主催者のサイトから、2015年9月25日(金)まで講演資料の抜粋をダウンロードできます。