注目のトレンド

【解説】強化学習

  • はてなブックマーク
  • follow us in feedly

身近になってきたAI

かつてAI(人工知能)はSFの世界の話と考えられていた。しかしいまや、人工知能ロボット「Pepper」が普及し、iPhoneには音声エージェント「Siri」が搭載され、部屋の掃除は「ルンバ」に任せることができ、自動運転車の実用化も現実味を帯びてきた。このように、AIはわれわれの生活において身近な存在となっている。

これらのAIは「弱いAI=特化型人工知能」といわれ、あらゆる場面において人間同等の対応ができる「強いAI=汎用(はんよう)人工知能」とは異なっている。昨今、AIを活用したマーケティングテクノロジーが一般化しつつあるが、それらを進化させているのは前者である。中でも人間が用意した知識ベース(*1)やルール、統計モデルなどを参照しながら、人間が行う判別処理を機械に代行させる「機械学習」(*2)と呼ばれる手法が広く採用されている。

その機械学習のアルゴリズムを大別すると、「教師あり学習」「教師なし学習」「強化学習」に分けることができる(*3)。

機械学習はAIに含まれる概念であり、その機械学習は「教師あり学習」「教師なし学習」「強化学習」に分類される。

そして3つのうち、歴代最強の棋士とも評されるイ・セドル九段を打ち破った囲碁AI「AlphaGo(アルファ碁)」(*4)の学習に用いられた手法のひとつとして注目を集めているのが「強化学習」だ。

強化学習のしくみ

そもそも強化学習の“強化”とは心理学で使われる言葉で、動物のある行動が、報酬や罰などの刺激を加えられることによって変化することを示す(たとえば、ほえている犬を叱ったところ、ほえるのをやめたというような場合)。この考え方を機械学習に応用したものが強化学習だ。

機械学習を代表する「教師あり学習」と大きく異なる点は、「教師あり学習」では、AIが下した判断に「教師データ」という明確な“答え”が提示されるのに対して、「強化学習」は問題のゴールに到達したときに“報酬”を付与されることを通じて、AIがよりよい行動選択を見つけようと学習するところにある。つまり、人間であれば未知の課題に対して自力で試行錯誤をして答えにたどり着けるように、AIにもそのような学習をさせるのが強化学習なのだ。

強化学習では、課題を与えられたAIが何かの判断を求められて行動を起こし、その結果何らかの報酬を得られると、能力が更新される。失敗と成功を重ねながら、報酬が最大化する方法を徐々に学習していくのである。

下図の例でいえば、スタート地点のAからゴールのFまで最短のコースを選ぶとき、正しい方向を選択すれば1ポイントの報酬が与えられ、誤った方向に進むと10ポイント減らされる。この報酬を最大化できるように学習していくというわけだ。

上述のイメージ図

ビジネスへの応用

現在、ロボット工学やゲーミング、ナビゲーションといった分野で使われることの多い強化学習だが、海外ではマーケティング分野で実用化に向けた取り組みもはじまっている。

IBM Researchと米国ニューヨークを中心に展開する高級百貨店チェーンのサックス・フィフス・アベニューの共同プロジェクトでは、実際の顧客データを使って強化学習を用いたダイレクトメールキャンペーンの最適化を行うことで、店舗の売り上げや利益の最大化を図った。

サックス・フィフス・アベニューでは、女性の服飾品・化粧品といったカテゴリーやクリスマスなどの季節行事のプロモーション、値引きセールのお知らせなどを含め、年間60以上のキャンペーンを行っていたが、メールのリストをつくる基準は完全には自動化されていなかった。この問題を解決するために使われたのが、強化学習のアルゴリズムだ。その結果、店舗利益が7〜8%増加する見込みが得られたという(*5)。

今はまだマーケティングオートメーションを活用するには、人間が最適だと推定したシナリオを設定して試行錯誤をしなければならないが、いずれは顧客のリアクションを報酬として、機械が自らシナリオを作成し、最適なコンテンツを選び、キャンペーンの実行まで自動で行ってくれるようになるだろう。そんな“真のマーケティングオートメーション”が登場する日はそう遠くないかもしれない。

  • はてなブックマーク
  • follow us in feedly

この記事が気に入ったらいいねしよう!

「いいね」してInsight for Dの最新情報をチェック

マルチビッグデータの活用で潜在顧客の発掘から優良顧客の育成まで! Yahoo! JAPANのデータソリューションを詳しく見る

マルチビッグデータの活用で潜在顧客の発掘から優良顧客の育成まで! Yahoo! JAPANのデータソリューションを詳しく見る

Insight for Dの公式Facebookページ、Twitterでも最新情報や取材の様子を発信中。