レジ不要のAmazon Go、特許書類からみるその仕組み

店内での会計はなし。食料品などの商品を手に取って外に出れば買い物が済むという次世代型スーパーのAmazon Go。案の定「人の雇用への影響は?」という視点での議論が広がり始めていますが、それを横目でみつつ今回はその仕組みについて紹介していきたいと思います。

店内で買い物客が商品をバッグや買い物かごに入れる。それをシステムが自動で検知し、買い物客のAmazonアカウントへ請求。だから店内での会計は不要。買い物客に必要なのは、AmazonのアカウントとAmazon Goアプリが搭載されたスマートフォンだけ、というのは改めてすごい仕組みですね。

このAmazon Goを実現する仕組みとはどのようなものなのでしょうか?

Amazonによるプレスリリースでは、「自動運転に活用されている技術と同様」とされています。

つまりコンピューターによる視覚を実現するコンピュータービジョン、複数のセンサで得られた情報を統合・処理するセンサ・フュージョン、そしてディープラーニング(深層学習)です。

今回は同社による特許書類を参考にしながら、もう少しだけ細かい仕組みを紹介したいと思います。

ただ最初に注意しておくと、2014年に公開されたこの書類に書かれた仕組みがそのままAmazon Goとして実現されているわけではありません。

たとえば同ドキュメントでは、棚からの商品の出し入れを検知するためにRFID(無線認証)を活用とありますが、GeekWireによると実際には活用されなかったとのこと。

ただ大枠として参考になるのではないかと思います。

複数の判断材料で商品を検知

1
Amazonによる特許書類

まず客が棚から商品を取る、もしくは戻すという行為は、どのように検知されているのでしょうか?

ドキュメントによると、まず棚に手を入れる直前と、棚から手を抜いた直後の手元の画像が撮影されます。棚に手を入れる前後の画像を比べることで、商品を新たに手にしたのか、もしくは戻したのかを識別するようです。

また客が手に取った商品内容の識別方法ですが、基本的には商品がある棚の位置と在庫情報によって導き出すといいます。その場で商品を撮影してその画像を処理するよりも、迅速に判別できるため、という旨の文章が記載されていました。

ただ上記プロセスの補助として、場合によっては商品画像の処理も行うそう。

しかしもちろんこの方法だけでは、識別しきれない時もあるでしょう。その際の対処法について、こう記載されています。

「仮に手に取られた商品がケチャップなのかマスタードなのか、識別できなかったとする。その場合は客による過去の購入履歴と、すでに手に取られた商品のリストを活用する。例えば仮に客が過去に手に取った、もしくは購入した商品としてケチャップしかなかったとする。その場合その情報は、”今回手に取られた商品はケチャップである可能性が高い”と判断するための材料の一つとして使われる」

さらに画像処理に加えて、商品の重さも判断材料の一つとして考慮する場合があるとのこと。複数の判断材料を組み合わせることで、商品検知の精度を上げているようです。

Amazon Goは、現在Amazonの従業員向けに米シアトルで試験的に営業中。2017年はじめには一般向けに開店予定とのことです。