新着記事

IBMビッグデータ専門家のいう「Hadoopの人気減が著しい」はどういうことか?

「2016年のビッグデータ界隈におけるHadoopの人気減が著しい。私の想定以上だ」。 IBMでビッグデータエヴァンジェリストを務めるJames Kobielus氏が、2016年のビッグデータ界隈を振り返って述べた言葉が話題になりました。 KDnuggetsというIT系メディアサイトに掲載されたこの記事にて、Kobielus氏はさらに次のように話しています。 「(Hadoopの中核となる分散処理フレームワークの)MapReduceや(Hadoop上の分散データベースの)HBase、さらに(分散処理ファイルシステムの)HDFSでさえ、データサイエンティストにとって重要ではなくなってくるだろう」。 つまりHadoopの3つの基礎構成要素のいずれについても、活用が減ってくるというのです。 一時はビッグデータ処理の本命として、もてはやされたHadoop。Kobielus氏によるこのコメントを受けて、「Hadoopはダメだ」派と「いや、そんなことはない」派のそれぞれが、相次いでブログ記事を発信する事態にもなりました。 実際のところHadoopの活用状況はどうなのか?Kobielus氏による発言の真意は別として、ちょっと整理してみました。 Hadoopは必要、ごく一部の企業にとっては Kobielus氏のコメントを受けて書かれた記事の中で、特に反響の大きかったのがこちら。Innovation EnterpriseというBtoB向けITメディアで編集長を務めるGeorge Hill氏によるもの。「Hadoopはダメだ」派です。 Hadoopに関する調査データなどを示した上で、Hadoopを使ったビッグデータ処理への需要はあるにはあるが、企業がうまく使いこなせていない、と結論づけています。具体的には、 ・Hadoop関連の求人は2016年までの18か月間で43%増えているが、使いこなせる技術者が育っていない ・そもそもHadoopが必要になるだけのデータ量を抱える企業はごく一部。多くが2~10TB程度の少ないデータ量でHadoopを使おうとしている。 とのこと。 Richard Jacksonというビッグデータ領域のディレクターも、この意見に加勢しています。 彼によると、GoogleやFacebook、Yahooのような企業でない限り、そもそもHadoopを使う必要性もなければ、扱える専門家の確保も難しいだろうとのこと。 イギリスで活動するJackson氏は、企業が保有するデータ量の傾向について、次のように語っています。 「アメリカのテック企業は、世界の他の企業も自分たちと同様の規模のデータを有すると勘違いしている。過去数年でわれわれが関わったヨーロッパの多くの企業は、せいぜい1~20TB規模。100TB以上のデータを持っているケースはめったにない」。 こういった意見に対して、「大企業に限れば、銀行や通信、製造、保険などの分野で導入が急増している!」という反対派の記事もあったりします。 ただよくよく著者の経歴を見ると、主要Hadoopベンダーの一つHortonworksの中の人なので、ちょっとポジショントークっぽいなとも思ったり。 少なくともこれら現場レベルの人たちによる記事だけをみると、こういうことのようです。 つまり大量のデータを抱えており、かつHadoopを使いこなせるだけの人的・金銭的リソースがある企業なら使う価値があるが、そんなのはごく一部に過ぎないと。 この辺りは調査会社が出す有料レポートとか買えば、さらに数字でも検証できるんでしょうけど、どれもかなり高いのでちょっと割愛。 現場レベルの声だけでなく、もう少し違ったマクロな視点でも見てみましょう。もしHadoopの人気が急減しているのなら、主要なHadoopベンダーの動向にも影響しているはず。 そこでHadoop関連製品の大手、ClouderaとHortonworksの2社の動きをみてみました。 Hadoopブランドからの脱皮 色々調べる中で出てきたのは、ビッグデータの処理が従来のオンプレミスからクラウドに移行する流れが出てきているほか、AIの活用も増えてきていることで、2つとの相性が必ずしも良くないと言われるHadoopの存在感が徐々に薄れてきているということ。 さらにそうした中で、ClouderaとHortonworksが、これまで前面に打ち出してきたHadoop企業というブランドから脱皮しようとしている点です。 順を追って説明していきましょう。 調査大手のForresterは今年3月、「The cloud is disrupting Hadoop」(Hadoopを駆逐するクラウド化の流れ)という記事を発信。この中で著者のBrian Hopkins氏は、次のように述べています。 「より多くの企業がオンプレミスでHadoopを構築する複雑さを避け、クラウド化を進めている。そうなるにつれ彼らがHadoop以外の選択肢を探す流れも進むだろう。つまりHadoopベンダーは、収益源をオンプレミスからクラウドに移そうとするだろう」。 しかしそれは難しいとHopkins氏は考えているようです。 なぜなら保有データのセキュリティやガバナンスといった現状のHadoopの利点とされる項目は、どれもオンプレミスだからこそ。クラウド化とは矛盾してしまいます。 Hopkins氏はHadoopベンダーの関係者による話として、「もしわれわれがクラウドを本当に理解していたら、Hadoopは今のような仕組みにはなっていなかっただろう」というコメントも紹介しています。 こうした動きを踏まえて、Hopkins氏はこう予測しています。 ビッグデータ処理のクラウド化が進む中で、HadoopはAmazonやGoogle、IBMといったクラウド勢によるサービスに対抗できない。それに伴いClouderaやHortonworksなどのベンダーが、Hadoopブランドから離れる動きが次の2~3年で加速するだろうと。 クラウド化とAI化、どちらも難しく 少なくとも2019年までにはビッグデータ処理の大半がクラウド化する、という声もみられますが、そうした中で、Hadoopベンダーがブランディングを変えようとしている、という意見は先のHopkins氏だけではありません。 ITジャーナリストのArik Hesseldahl氏はCIO誌の記事にて、Clouderaがバズワードとしての旬が過ぎたHadoopから、機械学習プラットフォームとして脱皮しようとしていると主張。4月にニューヨーク証券取引所で上場を果たしたばかりの同社について、こう触れています。 「150ページに及ぶS-1上場申請書の中で、Clouderaは主要事業である”Hadoop”について14回しか触れていない。一方で”machine learning”という言葉は70回以上も繰り返している」。 確かにS-1上場申請書の冒頭で、自社を「データマネジメント及び機械学習、アナリティクスのプラットフォーム」と言及したのをはじめ、繰り返しこの単語を登場させています。 「しかしClouderaの主要事業は、疑いの余地なく依然としてHadoopだ」(Hesseldahl氏)。 また競合のHortonworksも同様の動きをみせているようです。4月3日付のForbes誌による記事の中で、2016年度の決算発表時の同社によるコメントが紹介されています。 「人工知能や機械学習など、ビッグデータ市場のトレンドとなる新技術への研究開発投資を一層強化していく」。 両社によるAI技術強化の取り組みはうまくいくのでしょうか?先のForbes誌の記事を書いたGil Press氏は、そうは考えていないようです。ForresterのHopkins氏による次のコメントを引用しています。 「Hadoopがクラウド向けに設計されていないのと同様に、ディープラーニングに求められる行列演算にも向いてない」。 クラウド勢がAIの活用に適した環境を整えている中で、Hadoopベンダーがこうした流れにキャッチアップするのは難しいといいます。 なぜHadoopが機械学習に最適ではないのかという点については、この記事とかこの記事とかが分かりやすかったですが、あまり技術的な方面に立ち入るとウソ書きそうなので割愛。 ここまでの流れをまとめると、 ・Hadoopの人気が衰えてきているとの声が出ている ・そもそも必要性のない企業が導入するケースが目立つほか、必要性があっても技術者の確保が難しい、という現場の声がある ・またマクロ的な流れとして、ビッグデータ界隈がクラウド化・AI化に進んでいるが、Hadoopがこの2つに適応するのは技術的な観点から難しい ということになります。

次のAIは常識を理解できるようになる、アメリカの軍事研究機関が予測

人工知能(AI)のテクノロジーは、現在の「第2の波」から「第3の波」へと移りつつある。 アメリカで軍事目的の新技術を開発・研究する機関、アメリカ国防高等研究計画局(DARPA)がこんな予測を明らかにしました。 まず「第1の波」とは、人間がAIに知識を細かく教え込む段階。また次の第2の波は、学習データを使って統計的に示唆を出すという、現在主流のAI手法です。 しかし第2の波のシステムによって分かることは、単に膨大な学習データを統計的に処理した結果であり、物事を理解しているわけではありません。 だからデータの質によっては、人間ではありえないような間違った判断を下してしまう場合もあります。 一方で今後主流になるという第3の波では、同じく学習データを処理する中で、その根底にある常識やルールを「理解」することが可能になるといいます。そのため、ほんの少しのデータだけでも学習が可能になる領域も出てくるそう。 今回の元ネタは、DARPAが公開したこちらの動画。話し手は、同機関のJohn Launchbury氏という人物。 https://www.youtube.com/watch?v=-O01G3tSYpU 15分ほどの動画ですが、面白かったのでゴリゴリ翻訳してみました。ちょっと全部訳すと長いので、第2の波の課題とは何か?第3の波によってどう解決できるのか?といった部分に絞って翻訳(5:00~)。 そもそも第2の波の仕組みとは? 第2の波のシステムでできることはとても限られています。一つの物事を抽象化した上で知見を引き出し、別の物事に応用するということはできません。 データの分類から始まり、その後の帰結を予測することはできるかもしれません。しかし物事の文脈を理解する能力はないのです。また物事を判断する能力も欠けています。 第2の波のシステムは何ができて、何ができないのか?この点については、もう少し深堀りする価値があるでしょう。そのためには、ちょっとした数学的な説明が役に立ちます。 多様体仮説(manifold hypothesis)と呼ばれる考え方があります。 多様体とは、幾何学における構造体です。多様体は、様々なデータがグルーピングされて一つの集合体となっている状態を指します。 私たちが自然界で起きる現象を分析しようとする時、データはこうした集合体の形をとっています。一つ例をご紹介しましょう。 ここに回転している球体があります。これは自然界から収集したデータを3次元で表したものです。 異なる様々なデータが一つに集まっています。あるものは糸状の形をしており、あるものはけば立ったスポンジのような形をしています。また中心のほうには、赤いオレンジの皮のような形をした2次元の物体が、表面上に張り付いています。 こうしたそれぞれの多様体、つまりそれぞれの集合体は異なる現象をあらわしています。AIシステムが物事を理解するには、これらを識別して分離する必要があるのです。 第1の波のシステムでは、この分離作業は難しいでしょう。たとえば「左上にある何々の形をした集合体」といった指示では正確に識別できません。 そのため第2の波では、異なる方法で分離させる必要があります。何をするかというと、空間そのものをいじることで、データの集合体を伸ばしたり圧縮したりするのです。 こちらが一例です。話を単純にするために、2次元であらわしました。青と赤の曲線があります。 それぞれの曲線は、異なる多様体をあらわしています。空間そのものをいじり、これらを圧縮したり伸ばしたりすることで、2つの多様体をきれいに分離させることができるのです。 これが、第2の波でできることです。 第2の波、実態は強力な統計処理 皆さんも聞いたことがあるかもしれないニューラルネットワークは、まさにこの伸縮と圧縮をするよう設計されています。 ニューラルネットワークによる働きは、とても神秘的で複雑にみえるかもしれません。しかし一つ秘密を明かすと、それはあくまで単なる強力なスプレッドシートに過ぎないということです。 ここに幾重にも重なっているレイヤーがあります。それぞれのレイヤーにて、データの計算を実施します。 最初のレイヤーから計算を始め、20番目のレイヤーまで順々に計算を実施するとしましょう。最後のレイヤーでの計算が終わると、異なる多様体の分離が完了するイメージです。 それぞれのレイヤーでの計算によって、データがある空間を伸ばしたりつぶしたりしながら、分離を進めていくのです。もちろん実際の作業は、さらに複雑です。高いスキルや膨大な手間がかかります。 こうした計算の末に、明らかに間違っている回答が出ることもあります。その場合は、正しい回答を導き出すために、データを少しずつ調整していきます。そうした作業を様々なデータ群に対して5万回から10万回も実施します。 そうして回を重ねるにつれ、パラメーターの精度が少しずつ良くなっていき、多様体の分離作業、つまりたとえば息子の顔から私の顔を分けるといった作業をより正確に実施できるようになるのです。 第1と第2の波、すでにDARPAも実用化 このように、この技術は仕組みがシンプルですが非常に強力です。DARPAでもよく活用されています。 たとえばネットワーク上でのサイバー攻撃の状況を把握するために、ネットワークの流れをリアルタイムかつ広範囲で監視するのに使います。 またWi-FiやBluetooth、GPSといったものの電波干渉を解消するためにも使っています。電話が数多くある空間の中で、いかに個々の端末の性能を最大限にしつつ、干渉を避けるかという用途です。 さらに第1と第2の波によるテクノロジーの両方を活用したプラットフォームを開発しました。防衛ミッションの常識をくつがえすほどのインパクトを持っています。 たとえば新型の船。人間による操縦がなくても、目的地へ向けて数カ月の間自動で航行できます。他の船舶による動きを把握することも可能です。 このようにAIテクノロジーは、非常に強力であり、防衛の世界でも大きな変化を起こしています。 第2の波の課題 ただ第2の波には課題もあります。完璧な技術ではないのです。 たとえばここに1枚の写真があります。キャプションには「野球のバットを握っている若い男の子」とあります。実際の人間であれば、このような言い回しはしないでしょう。 第2の波のシステムは、膨大な試行錯誤の末にこうした変なアウトプットを出したりするのです。確かに統計的な素晴らしい処理をしているのかもしれませんが、単体での信頼性は低いといえるでしょう。 もう一つ例があります。左側にパンダの写真があります。そして画像認識システムも正しく「パンダ」だと認識できている状態です。 ここでエンジニアが画像から特定のデータパターンを抽出して、スプレッドシート上で歪みを加えます。 その結果、出来た画像が右側です。人間の目には全く変わらないようにみえます。しかし画像認識システムは、「99%の確率でパンダではなく、テナガザルだ」と判定してしまいました。 また時間がたつにつれ分かってきた課題もあります。マイクロソフトが開発した学習型人工知能ボット「Tay」が一例でしょう。リリースから24時間で緊急停止する事態に陥ってしまいました。 当初の目的はTwitter上でユーザーたちと会話をすることでした。しかしTayは教えられたことを学習する能力が高かったばっかりに、故意に差別的な言葉を教え込むユーザーがあらわれました。 その結果、Tayは差別発言を連発するようになってしまったのです。こちらの画像は、私が見つけたツイートの中でも比較的マシなものです(「ヒトラーは間違っていない!」)。 このように学習し続けるシステムがある場合、元になるデータには非常に気をつける必要があることが浮き彫りになりました。 場合によっては悪意ある使われ方をすることもあるのです。これが第2の波の課題です。 次の第3の波でできることとは? こうしたAIの課題は、現状のようにスプレッドシートで実施するようなシンプルな計算手法を見直す必要があることを意味しています。ここで第3の波のテクノロジーが求められてくるわけです。 この第3の波は、文脈理解が中心になってくるでしょう。 そもそもこの世界では、現実世界を解釈するための説明モデルをシステムそのものが時間をかけて作り上げてきました。 いくつか例をご紹介したいと思います。 まずは膨大な計算を主とする第2の波が、画像を分類するとしましょう。猫の画像を与えれば、システムはそれが猫だと判別するでしょう。 もしこのシステムが話せるとしたら、「なぜ猫だと思うんだい?」という問いにこう答えるはずです。 「計算をした結果、猫である確率が最も高いと判定されました」と。 これでは十分な答えとはいえません。願わくば、「耳があって、前足があって、表面に毛がはえていて、他にも色々な特徴があるからですよ」くらいの回答は欲しいところです。 そのためには物事を理解したり、決断の要因を認識したりする能力をシステムに持たせる必要があります。ただ話はこれだけにとどまりません。 膨大な学習データが必要ない場合も 第2の波の特徴の一つとして、物事を学習するために膨大な量のデータを要するという点があります。 たとえば手書き文字を認識できるようにさせるためには5万個、場合によっては10万個もの例が必要になるでしょう。 もし私が自分の子供に文字を覚えさせるために、10万個も教えないといけないとしたらうんざりです。しかし実際には1個か2個で十分でしょう。人間による学習方法はそもそも異なるからです。 われわれは、同じように1個か2個の例だけで学習できるシステムの可能性を模索し始めています。手書き文字の認識がその一つです。それは次のようなやり方で可能になると考えています。 まず文字を書いている手の動きを認識できるモデルを作ります。次に「この手の動きの場合は”0”、こういう場合は”1”、またこんな場合は”2”だよ」という紐づけを実施します。 そして仮に、この文字を認識しろという課題が出たとしましょう。 その場合、様々なモデルを参照します。つまりすでに学習した「4」というモデルと、お題の文字がどれだけ似ているのか?「9」というモデルとはどれだけ似ているのか?という具合です。 その結果、どちらが正しいのかを決めることができるのです。 AIの第3の波は物事の背後にあるルールの理解が中心になると、われわれは考えています。このモデルは、ルールや常識を学び取った上で、現実世界を認識することができます。 物事を判断した上で、自ら決定を下すことも可能になるでしょう。さらにデータから得たことを抽象化することもできるようになるはずです。ただしこうしたシステムを作り上げるには、まだやらなくてはならないことが数多くあります。 ここで最後のまとめです。 DARPAとしては、AIを3つの波に分けて考えています。第1の波では、人間がシステムに知識を教え込む段階。まだまだ非常に重要な手法です。 第2の波は膨大なデータによって統計的に学習するやり方。現在のメインストリームの手法です。 しかしこれら2つのシステムには問題もあります。両方の良さを合わせる必要があります。またルールや常識の学習が可能になる第3の波がやってくるはずです。

Facebookによるチャットボット元年から早1年、結局これまでどうだったの?的まとめ

2016年のF8でFacebookがチャットボットのプラットフォームを発表して、企業がより簡単にサービスをリリースできるようになってから早1年。 チャットボット元年と呼ばれてから最初のF8が、4月18日と19日にカリフォルニア州サンノゼで開かれました。 今回の発表内容も含め、ここ1年のメッセンジャー上のチャットボットをめぐる動きをまとめてみました。 今ではメッセンジャーの月間アクティブユーザー数は12億人、稼働するボットの数は10万件にも上るそうですが、直近の評価はどうなんでしょうか? 鳴り物入りで発表も期待外れ? 「友人との会話のように、企業と個人がコミュニケーションを取ることができるようになる。これまでのようにアプリをインストールする手間もない」。 2016年4月のF8にて、ボットについてマーク・ザッカーバーグ氏はこうアピールしていました。 チャットボットによって、ユーザーは人と会話するようにサービス側とコミュニケーションできるようになる。誰もが慣れ親しんだチャットというインターフェースでサービスが完結するようになり、ウェブサイトやアプリに取って代わるようになる。そうした期待が一気に沸き起こりました。 確かに長い目でみればそうなのかもしれませんが、まだ少し時期が早すぎたのかもしれません。 発表から半年後の2016年11月、同社のデビッド・マーカス氏(メッセージング製品担当副社長)は、インタビューの中で初期にリリースされたボットを振り返り、「非常に悪い」(really bad)とコメントしています。 当時の時点でチャットボットの数は3万4000件にも上っていました。 ただし当初狙っていた水準には至っていませんでした。すでに体験されている方も多いでしょうが、チャットボットの質が、当初狙っていた『友人との会話』とは程遠かったのです。 「Facebookのいう『友人』の定義は広すぎるようだ。こんな友人とはとても付き合えない」。 ブロガーのVictor Luckerson氏は、4月18日付の記事「The Chatbot Revolution Is on Hold」(チャットボット革命は停滞)にて、こう皮肉っています。 彼の友人であるKateさんが、人気バンドのMaroon 5によるチャットボットとやりとりした際の様子です。何をたずねても「Hi Kate!」としか答えないMaroon 5とイラつくKateさん。 ボットの価値は会話ではない? 「アプリやウェブサイトも当初は質が低かった。これからさらに改善できる」と、Facebookのマーカス氏は去年11月の時点で話していました。 その後、Facebookはチャットボットの仕様変更に動き出します。2016年3月、従来のような会話形式ではなく、ユーザーによる回答を選択肢の中から選ばせるメニュー式の機能を開発者向けにリリースしたのです。 https://videopress.com/v/prkprUKp 現状の技術レベルに合わせた現実的な仕様でしたが、自然な会話の実現を期待していたメディアからは、失敗とみなす声が相次ぎました。チャットができない「チャットボット」など、ただのアプリではないかと。 「われわれは『チャットボット』という言葉を使ったことはない。あくまでボットだ。会話こそがボットの未来だという期待が先行しすぎた」。 先に触れたFacebookのマーカス氏は、今年のF8開催中にジャーナリストに対してこう語ったといいます。 その上でボットの位置づけについて、「アプリとも違う」と話しています。つまりアプリのような機能をユーザーが慣れ親しんでいるメッセンジャー上で実現するのが「ボット」、という考え方のようです。 開発者にとっては、Facebookという巨大プラットフォームで多くのユーザーにリーチできることに加え、膨大なユーザーデータを活用できるというメリットもあります。 またFacebookにとっては、ユーザーの滞在時間を上げることによって、マネタイズの機会を増やせるというわけです。 確かにこうした文脈の中で、今年のF8で発表されたボット関連の新機能は、ビジネス活用(特にBtoC)を促進するものが中心になっていました。 量から質重視に転換、ビジネス活用重視へ メッセンジャー製品を担当するStan Chudnovsky氏は、今年のF8にて次のように話しています。 「Facebookの目的は、数多くのボットをリリースすることではない。メッセンジャー上でのビジネスを成功に導くことだ」。 こうした文脈をふまえた上で、今回のF8で発表されたボット関連の主な新機能をみていきましょう。 ・Discovery チャットボットの検索機能。メッセンジャーアプリのホーム画面上に表示される「Discovery」タブから、お目当てのチャットボットを探すことができるようになるようです。アプリでいうアプリストアのような位置づけの機能が、チャットボットでも出てきた形です。 ・Chat Extensions メッセンジャー上のユーザー同士の会話を元に、文脈に合ったサービスを自動で表示する機能。すでに食品配達サービスのDelivery.comでテスト済みだとか。この場合ピザを注文するか?という選択肢が、会話の最中に表示されるというもの(ちょっとウザそう。。)。ほかにも対応サービスとして、サブカル系のトリビアを提供するTrivia Blastや音楽配信サービスのSpotify、ソーシャル投票サービスのSwellyなどが挙げられています。 ・Messenger Codes QRコードに近いイメージ。Messenger Codesを端末で表示すると、ドットやダッシュで丸く囲まれたユーザーのプロフィール写真があらわれます。それを他のユーザーがカメラで読み取ると、自動で友人に追加されるというもの。それは企業アカウントでも同じ。たとえばユーザーがあるカスタマーサービスボットのMessenger Codesを読み取れば、その場ですぐにやり取りを始められるという仕組みです。ボットの露出を増やすという意味では、Discoveryと通じる機能ですね。マーケティング活用の幅が広がりそうです。 テキストでやりとりするチャットボットが、今後自然な会話ができる水準にまでレベルアップして花開くのか?それともメニュー選択式の現状の仕様でそれなりの役割をみつけるのか?(中国のWeChatなんか結構そうですね)、もしくはGoogle Echoのような音声アシスタントが一般化するまでの過度期的な存在にとどまるのか?今後の動向をウォッチしていきたいところです。

リクルートによるAI活用のリアル、華やかさの裏に潜む試行錯誤

リクルートが人工知能(AI)関連の技術に力を入れています。 2015年には、リクルートホールディングスとして人工知能研究所を設立。米カーネギーメロン大学のトム・ミッチェル教授をはじめ、AI分野の世界的権威を招いて技術開発に乗り出しています。 さらにこのたびホールディングス傘下のグループ会社からもAI関連の取り組みが出てきました。 それが機械学習技術を活用した各種サービスのAPI群「A3RT」(アート)。リクルートテクノロジーズが3月にリリースしたソリューションです。 リクルートテクノロジーズは、数年前からAI関連のソリューションを開発し、グループ会社向けに展開。業務の効率化や付加価値の増大などに取り組んできました。 たとえば機械学習によって文章の誤字脱字を自動で検出できる機能や、画像検索機能などが一例です。 こうした機能を外部の企業や個人も使えるよう、リクルートテクノロジーズがAPIとして無料で一般公開したのがA3RT。 これによってAI関連のサービスを開発できるリソースがなくても、より手軽に各種のAIサービスを利用できるようになるというもの。現状公開されているAPIはこちらの6種類になります。 ・Proofreading API 文章の誤字脱字を検知するAPI。 ・Talk API チャットボットを作成するためのAPI。 ・Listing API リスト作成のためのAPI。Webサイトでのレコメンド機能やターゲティングメールなどに使える。 ・Image Influence API ある画像がどれだけユーザーに受け入れられるか、点数で表してくれるAPI。 ・Text Classification API 文章をカテゴリごとなどによって自動で分類できるAPI ・Text Suggest API ユーザーが入力した単語や文章に対して、次に続く適切な文章を表示してくれるAPI。 GoogleやMicrosoft、IBM、AmazonなどのITジャイアントが相次いで自社によるAI技術をAPIという形で一般公開する中、リクルートも同じ流れに乗り出した形です。 そもそもリクルートはなぜAI技術に力を入れているのか?どのような経緯でA3RTの開発や一般公開に至ったのか? 今回、丸の内にあるリクルートテクノロジーズさんのオフィスにお邪魔して、こういった点についてお話を伺ってきました! リクルート社内に眠る膨大なデータを活かせ、AI活用の原点 AIを含む新技術をいち早く取り入れ、リクルート全体に展開する役割を持つリクルートテクノロジーズ。今回話を聞いたのは、同社の石川信行氏(左)と白井祐典氏(共にITソリューション統括部ビッグデータ部)のお二人です。 石川氏はA3RTを発案して開発を主導。白井氏はA3RTの各種APIの中でも、画像解析関連の開発を手がけた人物です。 そもそもリクルートが人工知能、つまり機械学習を中心とするAI技術に注力するきっかけから聞いてみました。 「事の発端はデータ解析です。リクルートの各事業会社に眠るデータを使って、ビジネスに貢献しようという動きが5、6年前から始まっていたんです」(石川氏)。 従来のリクルートによる主な分析対象は、Web上での行動ログといった数値データが中心だったといいます。いわゆる構造データと呼ばれる類です。 しかし非構造データと呼ばれるテキストや画像、動画、音声などは、従来の技術では扱いが難しく、十分に活かすことができていませんでした。 美容や旅行、就職、住まいなどあらゆる領域でビジネスを展開するリクルートには、原稿や商品・店舗の画像、社員による営業日報など、膨大な非構造データが溜まっています。これらを整理・分析して何らかのビジネス価値を引き出すことが、長らく課題だったといいます。 「まずは画像の解析から始めよう、うまく解析できれば何か用途もあるはずだと考えました」(石川氏)。 こうして非構造データを活かしてビジネス貢献につなげるための取り組みが、石川氏主導によるボトムアップで始まりました。 まだいわゆる「AI」と呼ばれる機械学習技術が、今のように一般的になる前の話です。 難航する解析作業、効果的な手法もなく 当初の解析作業は難航したといいます。「ディープラーニングすら使っていませんでした。商用利用に堪えられるような、利用が多いフレームワークがなかったんです」(白井氏)。 石川氏「最初はスパースコーディングという特徴量抽出の手法を使って画像を判別しようとしましたが、精度はすごく低かったです。45%くらい。これじゃ人が見たほうが早いよねとなってしまいました(笑)」。 画像に映る物体を判別するためには、物体の特徴をうまく抽出することが必要。当初精度が上がらなかった主な要因は、その手法にあったといいます。 「SIFT特徴量などを用いた従来の手法では、何を特徴として抽出するか人が設定する必要がありました。たとえば『ヒゲがあって耳がここにあって輪郭はこうだったら猫です』みたいな。人が決めた特徴なのでバイアスがかかりやすく精度が上がりませんでした」(石川氏)。 ただ取り組みを始めて半年ほどたったころ、より優れた特徴量抽出の手法であるディープラーニングを一般に使える環境が整ってきます。 ディープラーニングを実装するためのフレームワーク「Caffe」が2014年に登場したのです。さらに実際にディープラーニングを動かすためのより安価な基盤が、クラウドなどで手に入るようになってきたことも活用を後押ししたといいます。 「ディープラーニングだと、画像に映る物体を一番よく表す特徴を勝手に抽出してくれます。人が介在しないので、飛躍的に精度が上がったんです。いよいよ実用で使えそうだと思いました」と石川氏は言います。 ディープラーニングの課題、学習データの用意が手間 とはいえディープラーニングを使った画像解析にも、難しい点が多々あります。まず直面した課題の一つが、AI施策につきまとう学習データの用意です。 ディープラーニングが「勝手に特徴量を抽出してくれる」といっても、そうなるためには、まず元となるデータを人がニューラルネットワークに入れ学習させる必要があります。 画像解析施策の第1号として選ばれた、ホットペッパービューティーでもそれは同じでした。 白井氏らは、ユーザーがネイル画像を閲覧すると、デザインや色が似ている他のネイル画像を表示してくれる機能を開発しようとしていました。 そのためにはユーザーが入力したネイル画像を認識できる判別モデルを開発する必要があり、それに向けたネイルの学習データが不可欠です。 同メディアを運営するリクルートライフスタイルには、当然ながらネイル画像が数多くありました。しかしそれらがデザインごとに適切に分類されていなかったため、そのまま学習データとして活用するとネイルの判別精度が非常に低くなってしまったといいます(18%程度)。 そこで学習データとして適した分類に整理し直すことになりました。約20人のメンバーで、約4万枚ものネイル画像を分類していったといいます。ネイルに詳しくない男性メンバーばかりでしたが、作業が終わるころには「ピーコック」と「マーブル」と「プッチ」の違いを即座に判別できてしまうエンジニア男性が誕生することに。 「ディープラーニングといっても、基本的に人が判別できる精度より高くなることはありません。人が用意した学習データが元になるので。より高い精度を求めるのであれば、データをきれいに整備しないといけないんです」(石川氏)。 実装した結果、成果はどうだったのでしょうか? 「類似のネイル画像を表示することによって、ユーザーの回遊率が上がりました。ただそれよりも画像データをビジネス価値につなげられるんだという認識を、リクルート内で広められたというのが大きいですね」(石川氏)。 AIへの過剰な期待、コミュニケーションで解消 リクルートグループ内でのAI施策導入を推進してきた石川氏と白井氏。技術的な部分以外で難しかった点を尋ねると、白井氏がこう答えました。 「一番難しいのは期待値の調整ですね。AIへの期待が高いがゆえに、事業からは高い精度を求められる。理想と現実はズレてくるので課題も多いです。ただ基本的なスタンスとしては、事業の『こうやりたい』に対して、全力で考えて実現するということですね」。 類似ネイル検索機能を開発した時は、週1回のペースで事業担当者との進捗確認会を実施。課題や現実的な実装範囲を共有しながら、ステップバイステップで進めたといいます。 白井氏「今でこそ少しノウハウが溜まってきたので、機械学習によってどれくらいの判別精度が見込めるか、ということが以前よりは事前に予測できるようになってきました。ただ当初は全然読めなかった。ということは事業担当者と一緒に試行錯誤していくしかない。毎週毎週ありのままの結果を共有しながら進めました」。 石川氏「今は『AI』という言葉がかなり一人歩きして魔法の技術のように言われているので、僕らはそこを否定していくというか、現実に引き戻す役割を担っていると思っています」。 A3RTとして結実したAI施策、一般公開の狙いとは? こうしてホットペッパービューティー以外の各種サービスでも、様々なAI機能が実装されていきました。 中古車情報サービス「カーセンサー」では、ユーザーが撮影した自動車画像から車種を判定する機能、婚活支援サービス「ゼクシィ縁結び」ではチャットボットによる顧客サポート機能、といった具合です。 石川氏らが社外での講演でこれらのサービスを紹介したところ、外部のエンジニアから「ぜひ使ってみたい」という要望が出てきたことが、API公開のきっかけだったといいます。 APIとして公開した狙いについて、石川氏は次のように話します。 「それぞれのAI機能について、使い方の提案・相談などのフィードバックを得たいと思っています。それを受けて新しいAPIを作って展開することもあるかもしれない。A3RTというプロダクト自体をより進化させていきたいという思いがあります」。 またより多くのユーザーが使えば使うほど、学習データがたまるため精度の向上も期待できるといいます。 ユーザーからのフィードバックはどのように得ているのでしょうか? 「Twitterはずっと見ています。あと問い合わせ画面経由や、講演の後に直接フィードバックをいただくこともありますね」(石川氏)。 3月の公開以来、APIの利用数は順調に伸びているとのこと。現状のユーザー層としては、法人よりも個人が比較的多いそうです。「コール数の多いAPIは日によって異なりますが、(チャットボットを作成できる)Talk APIの利用数が総じて多いですね」(石川氏)。 今後の方針、3つのポイント A3RTに含まれるAPIのラインナップは、今後も増えるといいます。ラインナップを決めるにあたって、基準のようなものはあるのでしょうか? 「リクルートの業務でよく使用されたことで洗練され始めた機能は出したいです。それといち早くユーザーのフィードバックを得たい、新しい技術も優先的に公開していきます。また3つ目の基準として、GoogleやAmazon、Microsoftさんなどが出しているAPIと差別化できるということも重要です。彼らと同じことをやって争う理由はないので。より多くのフィードバックを得るためにも、そこはむしろ避けたいです」(石川氏)。 そのためにはこんな方向性を想定しているそうです。 「汎用性を失わせて専門領域に特化したAPIにしたい。たとえば自動車の分類に特化したAPIといった具合です。また他のAPI群は基本的に課金モデルですが、A3RTは無課金というのもポイントですね」(石川氏)。 A3RTの一般公開によって、特別なリソースがなくても、誰もがAI機能をより手軽に使えるようになりました。いわゆる「AIの民主化」につながる動きであり、今後の動向が楽しみです。

Googleが新たな機械学習手法をテスト中、クラウドではなくスマホ上で学習実施

ユーザーのプライバシーを保護しつつ、いかにAIによってビッグデータを分析するか? Googleはこの課題の解決に向け、新たな機械学習モデルをテスト中だと発表しました。 従来はモバイル端末を使うユーザーによる行動データ、たとえば検索時に表示される予測キーワードの中からどれをクリックしたか等々、は同社のデータセンターに集約されていました。 そうしてクラウド上に一元化されたユーザーデータが、機械学習モデルによる分析の対象になっていたのです。 しかし行動データを一つの場所に集めておくということは、その分だけ個人が特定される可能性が増してしまいます。 仮にクラウド上のデータだけでは特定できなかったとしても、外部にある別のデータと照合することで、個人が判別できてしまう恐れも。実際にNetflixが以前そんなことになっていましたね。 Googleの新手法、学習データはクラウドに残さず 今回Googleが発表した手法は、機械学習を使った行動データの分析を、ユーザーのモバイル端末上で実施しようというもの。そして結果をGoogleのクラウド上に送信するわけですが、それは分析されたデータ丸ごとではなく、親モデルの改善に必要な分だけを抽出して送信するそうです。 つまり個別のユーザーによる行動データがクラウド上に丸々存在する、という事態を避けることができるようになるわけです。 この「Federated Learning」と呼ばれる一連の流れを図にしたものがこちら。 まず個々のユーザーがAndroid端末を使うことによって、行動データが発生。端末にダウンロードされている機械学習モデルがそれに最適化されます。 (A.)それぞれのユーザーによる行動データのうち、クラウド上にある親モデルの改善に必要な分だけが抽出・集約されます。 (B.)多くのユーザーから集約されたデータを「平均化」(averaged)する、という手順を繰り返した後に、 (C.)クラウド上の親モデルに適用します。 こうして多くのユーザーによる行動データを使って改善された親モデル。その結果は、すぐに個々の端末での利用に反映されるそうです。これまでのように、Googleがアップデート版をリリースするタイミングを待つ必要がなくなるわけです。 Federated Learningの適用先 GoogleはこのFederated Learningのテストとして、Android向けのキーボードアプリ「Gboard」で検証を進めているとのこと。 検索時に表示される予測キーワードのうち、どのキーワードがクリックされたのか?どんな文脈で検索されたのか?といった情報をクラウド上に集約して、親モデルによる予測精度を改善していくというもの。 実装するにあたっては、TensorFlowの簡易版を使っているとのこと。 ちなみに普通にスマホを使っている時に、こんなモデルをローカルでグルグルまわされたらたまったものではないですが、もちろんそこもちゃんと考慮されています。 Federated Learningが端末上で稼働するタイミングは、 ・端末が使われていない ・電源につながれている ・Wi-Fiにつながれている という条件を満たした時のみとのこと。 Federated Learningの課題 ただFederated Learningにも技術的な課題はあります。 従来の機械学習モデル、つまり学習データをクラウド上に集約するやり方であれば、 SGDのような最適化アルゴリズムを大規模データ上で一気に走らせることができます。 しかし各端末上で機械学習モデルを走らせるFederated Learningでは、処理があちこちに分散される上に、レイテンシが大きく処理能力も低くなる。さらにモデルを走らせることができるタイミングも限られてしまいます。 そこで解決策として、端末とクラウドとのやり取りの数を少なくするためのアルゴリズムを開発しているほか、アップロードされるデータを圧縮する技術も適用するとのことです。 Federated Learningによって、Googleの各種サービスの使い勝手がどう変わるのか楽しみですね。 ただGoogleによると、これまでの機械学習モデルを全て捨てて、Federated Learningを全面採用することはないとのこと。Gmailのように、学習元となるデータが最初からクラウドにあがっているサービスもあるためです。 ちなみにAppleも、Federated Learningと近い「Differential Privacy」という手法を2016年の開発者向けカンファレンス「WWDC」で発表しています。 プライバシーを保護しつつ、ビッグデータを分析する手法の開発については、各社ともに力を入れているようです。

こんな使い方もあった、チャットボットのユニークな活用事例集

ビジネスやテック系のニュースで、引き続きチャットボットが日々話題になっています。 こういうテクノロジー系のメディアをやっていると、つい目新しい部分、つまり「技術的にこんなこともできるようになった!」「この業界でもついにチャットボットを導入!」といった点に注目したくなってしまいます。 けれどもそもそもチャットボットは何らかのユーザーニーズを満たすための手段です。そうなると目新しい技術だけ騒いで終わりになってしまうのは、少し違う気もしてしまいます。ユーザーニーズを最も適切に満たす手段が、最も洗練された技術である必要は必ずしもないからです。 たとえばメルマガというチャネル。ネット黎明期からある古い情報発信手段ですが、検索技術が洗練され、SNSが登場した今になっても、存在感がますます増しています。メルマガにしか満たせないユーザーニーズ(関心の高い情報源による発信をタイムリーに確実に受け取りたい)があるからです。 チャットボットもまた同じかなと思います。まだぎこちないやりとりしかできないですが、うまく使えば効果は絶大なはず。「うまく使う」というのは、「自社のユーザーの悩み事は何か?」「それを解決するための手段とは?」という視点で、チャットボットを活用すること。 今回はチャットボットの事例集をお届け。特別な技術は使っていないけれども、ユーザーの課題解決を念頭に、絶妙なベネフィットを提供している施策例です。チャットボットの使い道は本当に多種多様だなと思わされます。 ■イヤな男をシャットダウン、女性の味方のチャットボット 最初の事例は、出会い系サイト向けのボット「Ghostbot」です。 出会い系サイトを使う女性にとって、悩みの一つがデリカシーのない男とのやりとり。自分が相手にされていないと感じると罵声を浴びせかけたり、ひいては卑猥な画像を送りつける輩もいたりします。こういうシチュエーションにも対処しないといけないとなると、出会い系サイトを使う女性にとってはストレスでしょう。 そんな時に役立つのがGhostbot。女性が「あ、この男ダメだ」と思った瞬間に、以下のような設定一つで相手とのやりとりをボットが代わりに担ってくれるというもの。 Ghostbotの役割は、相手との会話を自然に終わらせること。これ以上メールを続けたくないという旨をやんわりと伝えてくれるそう。Ghostbotのプロダクトデザイナーいわく、「会話を盛り下げて、エンゲージメントを下げる」よう設計されているとのこと。 出会い系サイトでのやりとりにおいて、ボットが自動で返信できるようにするためには、元となる学習データが必要です。そのためGhostbotの担当者は、ネット上にアップされている(さらされている?)出会い系でのやりとりをかき集めたといいます。 一例がByeFelipeというインスタグラムのアカウント。ここには出会い系で逆上した男どもによる、女性へ罵倒メッセージのキャプチャがアップされています(彼らもまさかこんな形でネット上にさらされるとは思っていなかったでしょう)。 面倒な会話を自分で終わらせなくてはいけない、もしくはブチっと切ってしまうとなると面倒ですが、あとはボットがやってくれると思えば気が楽になりそうです。 ■ AI弁護士、複雑な法的手続きが一瞬で 英BBCから「ネット界のロビンフット」と称された期待のスタートアップDoNotPay。同社は一般人では難しい様々な法的手続きを自動で担ってくれるチャットボットを提供しています。 創業者は若干20歳でスタンフォード大学に通うJoshua Browder氏。18歳の時に30枚以上の駐車違反切符をきられたことがDoNotPayを立ち上げたきっかけだったといいます。 交通違反切符は、適切に申請すれば取り消してもらえる可能性がありますが、必要な法的手続きを個人でやるのは至難の業。DoNotPayのチャットボットを使えば、いくつかの質問に答えるだけで、1分ほどで申請書が出来てしまいます。 DoNotPayによって取り消された違反切符は、イギリスだけでも約17万5000件(16年末時点)。金額にすると約5億6000万円に上るといいます。 現在は違反切符の取り消しだけでなく、遅延した飛行機や電車の補償請求、ホームレスの住宅申請、HIV患者への法的アドバイス、難民申請などにも対応しています。 根底にあるのは、複雑な法的手続きをチャットボットが肩代わりすることで、市民が本来受けられる権利を享受できるようにしようという考えです。 複雑で面倒な手続きを肩代わりするというスタイルは、今後チャットボットのあるあるパターンの一つになりそうです。 ■投票率を上げろ、面倒な有権者登録を肩代わり これも同じく面倒な作業を肩代わり系のチャットボットです。有権者登録をチャットボットがやってくれるというもの。 アメリカの大統領選挙に投票するには、各州のルールに則って有権者登録をする必要があります。ただこの手続きが非常に面倒らしく、投票率を下げる要因になっています。 たとえば2012年の大統領選挙では、有資格者のうち30%以上が有権者登録をしていなかったとのこと。さらに18~24歳の若年層に限ると、この割合はさらに上がるそう。 そこでFight for the FutureというNPOが制作したチャットボット”HelloVote”では、いくつかの質問に答えるだけで、1~2分で手続きを完了できるようになっています。 氏名や住所、生年月日、運転免許情報などの個人情報を入力することで、州の有権者データベースに登録される仕組みです(ただしオンラインでの登録を認めていない州もあるので、一部郵送などのステップが入る地域もあり)。 https://www.youtube.com/watch?v=iIRMXnIRwIM ターゲットはスマートフォンに慣れ親しんだ若年層。モバイルのテキストメッセージやFacebookメッセンジャー上にてチャットベースで手続きできるので、従来の書類手続きよりかなり敷居は下がりそうです。 ただ投票率を下げている要因には、手続きの煩雑さに加えて、費用の問題もあります。最大で約7000円の費用がかかる州もあるため、貧困層による投票率に悪影響を与えているよう。 チャットボットだけで全て解決というわけにはいかなそうですね。 ■有料購読の管理キャンセル 毎月費用がかかる有料サービスの管理って、地味に大変だったりしますよね。 通信サービスのオプションをキャンセルしたと思っていたけれども、実はできておらず毎月数百円引かれていた、なんてこともありがちです。 チャットボットのTruebillでは、銀行口座もしくはクレジットカード情報をもとに、Netflixやスマホの通信費、スポーツジムのメンバーシップといった有料サービスを抽出。一覧化して管理できることに加えて、キャンセルもボット上でできてしまいます。 ターゲット層は、お金の管理が苦手なルーズな人が主になってきそうです。となると、慣れ親しんだプラットフォーム(Facebookメッセンジャーなど)でチャットによって完結できるという手軽さは、非常に良さそうです。 ■ボットを通してユーザー調査 上記の事例とは少し毛色が違う施策です。 米デザインコンサル大手のIDEOは、ユーザー調査の手段としてチャットボットを活用。そこで得た知見を製品デザインに活かしているとのこと。 一例として挙げられているのが、日本の電機メーカーとの協業。2014年に運動する女性向けのウェアラブルデバイスとスマホアプリのデザインに携わったそう。ユーザーによる日々の行動をトラッキングして得たデータをもとに、フィットネスに関するアドバイスを提供するというもの。 ここで問題になってくるのが、ターゲット層(35~54歳のアメリカ人女性)はフィットネス向けのウェアラブルデバイスに何を求めるのか?という点。従来の男性向け製品のように、走行距離のようなデータの優劣を他のユーザーと競う、というベネフィットでは女性が満足できません。 そこで彼女たちのニーズを探るためのプロタイピングツールとして、IDEOはボットを開発。被験者の女性がランニング中に、様々なメッセージを送りました。 たとえば「素晴らしいワークアウトです。この調子でいきましょう」「1万歩まであと5分です」といった具合です。 ボットを通して彼女たちの反応を観察した結果、やはり男性とは違うニーズがみえてきました。フィットネスデータで優劣を競いたがる男性に対して、女性の場合は自身のアクティビティにまつわるストーリー全体をシェアしたい、という傾向があったそう。 たとえば疲れて途中でワークアウトをやめてしまった、甘い物に手を出してしまったなどの失敗談も含めて、コミュニケーション手段としてシェアしたがったとのこと。 ターゲットの反応をリアルタイムで吸い上げる手段として、チャットボットをうまく活用した事例といえるでしょう。 ■履歴書替わりにチャットボット 最後は、求職者がチャットボットによって自身の経歴をアピールした事例。チャットボットを通じて、採用担当者が彼女の経歴や実績を閲覧できるようにしたのです。「求職者に関する情報を知りたい」という企業側のニーズに応えた一例です。 ボットを作ったのは、サンフランシスコ在住のマーケター、Esther Crawfordさん。彼女はエンジニアではなく、HTMLやCSS、JSの基礎知識がある程度。そのためTextItのようなプログラミングなしで構築できるツールを使ってボットを作ったといいます。 求職者が自身の経歴をボットでアピールする斬新さが話題となり、2万4000件ものメッセージをやりとりするに至ったそう。その中にはFacebookやGoogle、Microsoftなどの大手も含まれていたといいます。 チャットボットが話題になり始めた旬な時期だっただけに、彼女のマーケターとしてのセンスやテクノロジーへの理解を強烈にアピールできた結果といえるでしょう。

チャットボットで難民申請、AI弁護士のDoNotPayが新機能、ネットでは非難の声も

英BBCから「ネット界のロビンフット」と称された期待のスタートアップ、DoNotPay。一般人では難しい様々な法的手続きを自動で担ってくれるチャットボットで、話題になってきました。 もともとは駐車違反の罰金取り消し申請をしてくれる機能から始まった同社のボットですが、その後遅延した飛行機や電車の補償請求、ホームレスの住宅申請、HIV患者への法的アドバイスなどへジャンルを広げています(筆者もいくつか試してみましたが、30秒ほどで入力済みの各種申請書が出てきます)。 一貫しているのは、テクノロジーの力によって人権を擁護していこうという思想。煩雑な法的手続きをチャットボットが肩代わりすることで、市民が本来受けられる権利を享受できるようにしようという考えです。 2014年に同社を立ち上げたJoshua Browder氏は、スタンフォード大学に通う若干二十歳の若者。フォーブスが選ぶ「30アンダー30」(30歳以下の重要人物30名)にも選出された人物です。 そんなDoNotPayによるチャットボットが、このたび難民申請にも対応しました。申請できる亡命先はアメリカとカナダ、イギリスの3か国。各国の弁護士と協同での開発だそう。 Facebookメッセンジャー上で、「移民先の国はどこですか?」「あなたの安全を脅かす脅威は何ですか?」といったいくつかの質問に答えるだけで、移民申請書が作成されるというものです。 まだローンチから1週間たらずですが、BBCやGuardian紙で紹介されたこともあり、すでに約5,000件もの利用があったそう。同社の他のチャットボットと同じく無料で使えます。 Browder氏いわく「小金を稼ぐつもりはない」とのこと。 今後の課題は、より多くの難民が使える環境を整えること。難民の多くはネットのリテラシーが高くないため、Facebookメッセンジャー上のチャットボットはベストなチャネルではないとの声もあがっています。また現状は英語にしか対応していません。 Browder氏によると、今後は対象プラットフォームをメッセージアプリのWhatsAppにも広げるほか、アラビア語にも対応させる方針だとのこと。 ネットで反発、脅迫メールが数百通届く事態に 今回の難民申請対応が、欧米の大手メディアで称賛される一方で、移民に反対する層からは反発する声もあがっています。 ルイジアナ州の元政治家で白人至上主義団体のクー・クラックス・クランの元最高幹部でもあるDavid Duke氏は、新機能がリリースされた直後に、早速Twitter上でBrowder氏にかみついています。 「イスラエル人が、アメリカへの難民申請のためにロボット弁護士を開発したらしい。ただそもそもイスラエルが受け入れたらどうなんだ?」 https://twitter.com/DrDavidDuke/status/839205356446302210 これに対してBrowder氏はこう反論しています。 「私はイスラエル人ではない。あなたは白人至上主義の人種差別者だ。トランプですらあなたとは関わりたくないだろう」。 https://twitter.com/jbrowder1/status/839318833257197568 「あなたはユダヤ人だ。にもかかわらずあなたはイスラム教徒をイスラエルではなくアメリカに送り込んでいる。なぜだ?有能な移民を受け入れればイスラエルの利益になるはずなのに」。 https://twitter.com/DrDavidDuke/status/839345188380229632 さらにBrowder氏のもとには、同じく移民に反対する層から数百通に上る脅迫メールが送られているそう。一方でBrowder氏を称賛し、Duke氏らを非案するツイートも相次いでおり、賛否両論含め大きな話題になったようです。 「David Dukeのような人たちをいら立たせているということは、何かしら正しいことができているということだ」(Browder氏)。

量から質へ、方向転換を迫られるFacebookのチャットボット

Facebook上のチャットボットが答え損なっているユーザーのリクエストは、全体の70%に上る。 こんなレポートが先日、テック系メディア「The Information」によってリリースされました。同レポートは「現状のチャットボットは人間による手助けがないと、ユーザーのリクエストに答えきれない。人間の要望に答えるだけの技術力がまだない」と結論づけています。 また今後のFacebookによる対応について、こう予測しています。 「ユーザーがチャットボットに失望するような事態を避けるため、より限定された用途での活用を重視していくはずだ」。 そしてこの見方を裏付けるかのような機能が、同レポートがリリースされた直後の3月2日にFacebookによってリリースされました。 従来のようにテキストではなく、ユーザーによる回答を選択肢で選ばせるメニューを表示させる機能を、チャットボット開発者向けに出したのです。 https://videopress.com/v/prkprUKp 確かにどうせユーザーが複雑な文章を打っても理解できないのなら、はじめから選択肢で選ばせたほうが合理的と言えそうです。 しかし合理的といっても、あくまで短期での話。つまり選択式メニューを単純に多用してしまうと、ユーザーとの自然な会話が発生しない、すなわちボットが会話から学習して改善する機会が減ることにもなりかねません。 いずれにしてもFacebookがチャットボット向けのプラットフォームを昨年4月にリリースしてから、早一年。リリースからたった3か月後には、プラットフォーム上のチャットボットの数が1万1000件を超えるなど、破竹の勢いをみせていたものの、このタイミングで方針の見直しを迫られた形です。 チャットボットの今後、量から質へ転換 今回リリースした選択式メニューについてFacebookは、「会話方式を排したシンプルなMessengerエクスペリエンス」だとしています。 会話方式を排除するという動きについては、Facebook上のチャットボットを使ったことのある人にとって意外ではないかもしれません。もともと会話と呼べるほどのコミュニケーションなどできていなかったからです。 たとえば1-800-Flowers.comというフラワーギフトのECサイト。メッセンジャー上からテキストで花のオーダーができます。チャットボットの代表事例の一つとしてよく紹介されますが、現在でも会話といえる水準には至っていません。 オーダーする場面で、欲しい商品(Red rose)を伝えても、あくまでボットが理解できるギフトカテゴリーをまずは選ぶよう指定されてしまいます。 この1-800-Flowers.comを例に挙げつつ、Digital TrendsのライターであるJustin Pot氏は、次のように述べています。 「人間がボットとの会話方法を学ぶのではない。ボットが人間との会話方法を学ぶのだ。そうなるまでアプリやウェブサイトの存在が脅かされることはないだろう」。 これまでは数の伸びが強調されることの多かったメッセンジャー上のチャットボット。プラットフォームのリリースから1年たって、その質が問われる時期に差し掛かっているといえるでしょう。 来月に開催されるFacebook主催の開発者カンファレンス「F8」では、チャットボットの質向上を重視した何らかの発表があるのではとの予測も出ています。今後のチャットボットの動向を追う上で、ぜひ注目したいところです。

Spotifyって機械学習をどう活用してるの?⇒元社員がQuoraで回答

Q&AサイトのQuoraに、先月こんな質問があがっていました。 「Spotifyはどのようにして機械学習で成果を出してきたのでしょうか?機械学習を当初から重要視していたのか、もしくは途中からキャッチアップしたのでしょうか?」 この質問に対して、2008年~2015年まで同社にて機械学習チームを率いていたErik Bernhardssonという人物が回答を寄せています。 機械学習も活用した楽曲リコメンドに力を入れるSpotify。その中の人だった彼が、若干の内部事情も含めて同社による取り組み状況を明かしていました。 興味深い内容だったので、少し補足しながら彼の回答を紹介していきたいと思います! Spotifyにおける機械学習の重要性 Bernhardsson氏によるコメントを紹介する前に、Spotifyにおける機械学習の重要性について触れておきたいと思います。 言わずもがなですが、Spotifyはスウェーデンを本拠地とする音楽ストリーミング配信サービスの最大手。同社は、各ユーザーに最適な楽曲をリコメンドする機能を実現する仕組みの一部として、機械学習を取り入れていいます。 2011年に1500万曲だったSpotifyによる配信楽曲数は、いまや4,000万曲以上にまで膨れ上がっています。この膨大な楽曲群の中から、一人のユーザーが自力で好みの曲を探しきることは不可能です。 そこで重要になってくるのが楽曲のリコメンド機能。同機能を通じて、自分では思いもよらなかった新しい曲と出会えることも、この手のサービスの魅力です。 Spotifyはリコメンド機能として、毎週月曜にお薦めの楽曲群を配信してくれる「Discovery Weekly」を2015年にローンチ。同社でプロダクト・ディレクターを務めるMatthew Ogle氏は、「Discover Weekly」について、次のように豪語しています。 「仮に世界中にリスナーが20人しかいないようなニッチで変わったミュージシャンがいたとする。我々ならその20人とミュージシャンをつなげることができる」。 実際にユーザーの好みを把握するDiscovery Weeklyの精度に驚愕する人も出てきています。「精度が高すぎてもはや怖い」との声も。 https://twitter.com/Dave_Horwitz/status/659084401691615232?ref_src=twsrc%5Etfw 毎週の配信を手ぐすね引いて待っているユーザーも多いのでしょう。システムの不具合によってDiscovery Weeklyの配信が遅れた時には、「生きる意味を見失わないようにすることで精いっぱいだ」と嘆くユーザーが出る始末。 https://twitter.com/crush/status/645971114473193472 こうした背景がありつつの、「Spotifyってどうやって機械学習で成果を出してきたの?」という先の質問が出てきたのでしょう。 当初は協調フィルタリング中心 QuoraでのBernhardsson氏によるコメントによると、Spotifyのリコメンド機能の開発は、2012年まではサイドプロジェクトとして彼一人で担当していたとのこと。 初期は「協調フィルタリング」と呼ばれる手法に注力するようにしたことで、一定の成果が出るようになったと語っています。協調フィルタリングとは、ユーザーによる過去の行動履歴から類推した好みをもとに、おすすめを提示する方法です。 しかし単純な協調フィルタリングの欠点は、ユーザーによるレビューや購買といった行動にあらわれた物事しか評価できない点。それではユーザーの好みを正確に評価しきれません。 例えばあるジャンルの音楽を全く聴いていないユーザーがいたとしても、嫌いだからではなく単に知らないからかもしれません。 また普段はロックばかり聴いているユーザーが、ある日子供向けの音楽ばかり流したとしても、それは自分の子どものために流しただけという場合もあります。こうした文脈を考慮しないで、子ども向けの曲ばかりリコメンドしてしまっては、「なんだ、分かってないな」となってしまいます。 そこで協調フィルタリングをベースとしつつも、行動履歴としてあらわれない要因を統計的に把握する手法を開発したことで、さらに精度が改善されたといいます。 また2014年に、ビッグデータを駆使した音楽リコメンデーションエンジン「The Echo Nest」を買収したことも大きな契機だったそう。 The Echo Nestは、楽曲のテンポやコード、ピッチなどの音楽的要素や、楽曲に関するネット上の情報を解析できます。これによって協調フィルタリングでは難しかったセマンティック分析、つまり楽曲そのものを分析した上でのリコメンドができることになります。 ただBernhardsson氏によると、こうした技術がSpotifyのリコメンド機能に活かされることはなかったそう(理由は書かれていませんが)。それよりもThe Echo Nestにいた優秀な人材が流入してきたことのメリットのほうが、はるかに大きかったとのこと。 ディープラーニングの活用 さらに2014年にインターンとして入社してきたSander Dieleman氏による取り組みをきっかけに、Spotifyによるディープラーニング(深層学習)の活用が本格化したといいます。Dieleman氏は、現在Google傘下のDeepMind社でリサーチサイエンティストを務める人物です。 Bernhardsson氏によると、現在のDiscovery Weeklyの仕組みは、協調フィルタリングをベースにしつつ、ディープラーニングで補強した形ではないかとしています(Bernhardsson氏はDiscovery Weeklyローンチ前に退社しているので、あくまで推測)。 協調フィルタリングとディープラーニングのかけ合わせによるリコメンドとは、どういうことなのでしょうか? Quoraの回答には詳細がなかったので、Dieleman氏による過去のブログ記事をみてみます。 Dieleman氏によると、協調フィルタリングの欠点は、リコメンド対象がメジャーで人気の楽曲に偏りがちになってしまうこと。過去の購買パターンをもとに分析するため、データ量の多い人気曲が目立ってしまうのです。 「これではリコメンド内容が退屈で予測しやすいものになってしまう」というのがDieleman氏の懸念でした。 ユーザーが過去にまだ出会ったことのない新しい曲、もしくは非常にニッチな曲もリコメンドできる必要があります。 そのために彼が考えたのが、協調フィルタリングとディープラーニングを組み合わせた手法。ものすごくざっくり説明すると、この手法はリコメンドする曲を選ぶために、 ・協調フィルタリングなどによってユーザーの好みの楽曲リストを作成 ・その上で共通点の多い楽曲リストを持つ他のユーザーを抽出 ・抽出された他のユーザーによる楽曲リストの中から、ユーザーの好みと「似ている」曲を選んでリコメンドする というやり方。この「似ている」曲を判別するために、曲の音声シグナルを解析した上で、ニューラルネットワークによる学習を行っているそう。 自分と共通点の多い他のユーザーのプレイリストの中から、まだ自分のプレイリストにない「似ている」曲をリコメンドしてくれるので、未知の曲でありつつ好みの曲である可能性が高いというわけです。

音声注文を始めた米スターバックスの狙いとジレンマ

米スターバックスが1月に発表した音声注文機能「マイ・スターバックス・バリスタ(My Starbucks Barista)」。すでにリリース済みの注文・支払い用アプリ「Mobile Order and Pay」に追加される新機能で、音声によって商品を注文できるというもの。ついにスターバックスも人工知能(AI)系のサービスを投入してきた、ということで話題になりましたね。 メディア向けに公開されたデモ動画では、スマホを手にした女性が「フラットホワイトと温めたバナナブレッドをください」と注文する様子が紹介されています。 https://www.youtube.com/watch?v=v1pyZiDVlRw ただこの機能はまだベータ版。現在アメリカで試験的に1,000人のみに公開されている状態です。正式リリースは、iOS版が2017年下期、Android版が2018年になる予定とのこと。 スマホアプリ強化と狙いとジレンマ 現在アメリカのスターバックスにとって、アプリを通じた注文や支払いの利便性を高めることが至上命題となっています。 同社が2016年12月に発表した5か年計画の中でも、アプリ利用の促進はデジタル戦略の中心として位置づけられています。 スマートフォンを使って手軽に注文できるようになれば、その分だけ販売数の増加を期待できます。これまでの「Mobile Order and Pay」では、ボタンを押すと商品を注文できるというものでしたが、注文できる商品は限られていました。 今回追加された音声注文機能によって、ディスプレイをたたかずとも注文を済ますことができるだけでなく、「熱めにして」「ミルクは無脂肪乳で」などより柔軟なオーダーもできるようになります。 おそらく新機能によって、スマートフォンを通じた売上はますます増えると思われますが、実は単純に増えすぎても困るというジレンマもあるようです。 背景はこうです。 ここ数年アメリカのスタバでは商品を受け取るまでの待ち時間の長さが問題となっているため、その解決策としてスマートフォンでの注文・支払いを促進したいという事情がありました。 一部の人気店舗では、店内が客であふれかえってしまい、その様子を目にした来客が買わずに帰ってしまうという状態が相次いでおり、売上に悪影響を及ぼしている状態なのです。 そこで同社は、ボタンを押すだけで注文できるアプリ「Mobile Order and Pay」を2015年9月にリリース。来店前に注文と支払いを済ませることができるので、店内の混雑解消に役立つと期待されていました。 このアプリは人気を集め、着実にダウンロード数を伸ばしていきます。実際にアメリカ市場での売上において、スマートフォンでの注文が占める割合は、2016年末までの1年間で4倍の8%にまで上昇しました。 ただスターバックスにとっての誤算は、手軽に注文できるアプリの人気によって、現状の運営体制でさばききれないほど来客数が増えた店舗が続出してしまったことでした。 アメリカにあるスターバックスの中で、「混雑」状態にあるとされる店舗の数は、2016年末までの1年間で、600店舗から1,200店舗まで倍増したといいます。 ハワード・シュルツ最高経営責任者(CEO)は、2017年1月に行われた決算発表会にて次のように発言しています。 「Mobile Order and Payの利用が急激に進んでいる。特に過去3か月間の伸びが原因で、来客数の増加に対処できない店舗数が増えている」。 つまり混雑を解消するために投入したアプリが原因で、皮肉にもかえって混雑状態が悪化してしまったことになります。 シュルツ氏は同じ席にて、「この問題を非常に重要視している」と発言。作業手順や設備の改善に加え、商品が出来上がったらメールで通知するといった対応策を、アプリの利用が多い上位1,000店舗に対して実施していくとしました。 今回発表された音声注文機能によって、さらに来客数の増加に拍車がかかることになりそうですが、本格リリースは少し先なので、その間に客の受け入れ態勢を整えていくということでしょう。