人間がAIを助ける！逆転の発想から生まれたパンの画像識別レジ「BakeryScan」【IT×ベーカリー】（2021年12月14日号）

ITと新たな分野を掛け合わせた取り組みをご紹介する「IT×○○」。今回は、人間がAIのミスを補うという逆転の発想から誕生したパンの画像識別レジ「BakeryScan」(ベーカリースキャン)を開発した株式会社ブレインの神戸壽代表取締役にインタビュー。試行錯誤しながら開発した100％の正確性が求められる店舗レジ、そして医療分野など他分野への展開について伺った。

織物解析の技術応用、画像だからできるパンの識別

― パンの画像識別レジ「BakeryScan」の特徴を教えて下さい。

お客さんがトレーに置いたパンを『BakeryScan』の識別台の上に置くと瞬時に複数のパンの種類と値段を一括識別します。所要時間は１秒です。識別台の上に置くと本当に１秒で合計金額が表示されます。また、AIが識別に自信のないパンは画面上で黄色や赤色の枠線で囲まれます。レジ担当者が画面をタッチすると候補の商品が表示されるので、そこから正しい商品が選択できます。

パンの名前や値段をまだ覚えられていない新人スタッフでもすぐレジに入れて、精算スピードも上がるのでレジ待ち行列の解消ができます。人手不足対策にもなり、ある都内の店舗では『BakeryScan』を導入したことでレジを５台から３台に減らし、レジ担当を10人から5人に減らすことで業務効率が改善し、売上げアップにもなったと伺っています。

― パンの精算と画像識別技術のかけ合わせですが、開発の背景について伺えますか？

2007年にある外食産業の会社からお声がけいただいたのがきっかけです。中国でチェーン店を展開する計画をお持ちだったのですが、一番のネックがレジの部分でした。パンは30種類並べるより100種類並べる方が単位面積当たりの販売効率が1.5倍良く、包装せずにそのまま売る方が売上も3倍という実験結果がありました。しかし、焼きたてパンにはバーコードがつけられません。新人はすぐレジに入れないし、精算にも時間がかかってレジ待ち行列ができて売り損じが生じていました。それらの問題を何とかできないかという相談が当社に持ち込まれました。

― 画像識別技術は以前から研究開発されていたんですよね。

当社は先染織物の産地である兵庫県西脇市に本社があり、創業から3年後の1985年に先染織物のデザインシステムを開発しています。以降、繊維の他にも医療や放送分野でずっと画像処理、ＣG事業を続けています。パンの画像識別開発を持ち込まれた当時は、先染織物の糸配列解析の技術開発をしていました。従来は、人間の目で糸一本一本を確認するのですが、これがなかなか大変な作業で人の負担を減らすために画像識別で自動化しようという試みでした。この技術はパンにも応用できるだろうと思い、この開発チームに『ついでにパンもやってくれ』と指示を出しました。

大手電機会社の依頼で静脈認証を開発していたので自信はあったのですが、思った以上にパンは大変でした。パンというのは大体が茶色で円形ですので、違う種類でもよく似ている『異種間の類似性』、同じ種類でも焼き具合で見た目が違って見える『同種間の個体差』という外観上の矛盾をどう解決するかに四苦八苦しました。

パン撮影9万枚　精度100％へ技術陣の試行錯誤

― パンの識別は想像以上に難しいんですね。どうやってAI識別を可能にしたのですか？

実証実験ではパンの写真を９万枚撮影しました。そんなに撮影するつもりはなかったのですが気づいたら９万枚になっていました（笑）。どんな形で販売されているのかと色々なケースを想定しました。パン同士がくっついていても識別できるかとか。パンをひっくり返すケースも考えたのですが、９万枚撮影する中で自分の食べるパンをわざわざひっくり返す人はいないと分かり、そのケースは除外しました。あとはバックライトがある方が識別率は３％上がることも分かりました。

ただ、どうしても識別率100％にはならないんですね。焼き具合の違いは、焼いてからの時間経過とパンの色変の相関関係がきれいな直線状になることが分かりましたので数式でフィルタリングできます。しかし、つくり手が変わるとパンは形状のばらつきが非常に大きく、識別率が低下する原因になっていました。ある店舗では、クリームドーナツの白い粉糖が時間経過とともに溶けて、AIがカレーパンだと誤認するケースもありました。そのため、100％が要求される精算にこういう技術を導入するのは間違っていると開発陣からは大きく反対されましたね。

― AIによる誤識別の可能性は、どう克服されたのですか？

「AIが人間をサポートする」という発想を全く逆に転換しました。「人間がAIをサポートすればいい」と考えたのです。実験を重ねても、画像識別率は100％にならず、99％ぐらいが限度でした。そのためにAI識別の信頼度別に自信があるパンは緑、自信が無いパンは黄色、全く分からないパンは赤色の枠で囲む仕組みを考えました。

黄色と赤色の枠で囲まれた商品は人間が最終的に判断して訂正するので、100％正確な精算ができます。人間が訂正したデータは学習データとしてAIに蓄積されるので、識別の精度はその都度向上します。パン屋さんでは一週間に一回ほど新商品が出てきているので、こうして走りながら覚えていく方法が実用的なんですね。新商品でも20回くらいデータ蓄積すればAIによる識別率が99％ぐらいになります。

コロナ禍にも対応　個別包装も識別、セルフレジにも

― 導入した店舗からの反響を教えて下さい。

2013年に発売して、現在は全国で約1100台が稼働しています。当社の画像識別システムの一番のメリットは教師データが少なくて済むという点です。他製品によく使われているディープラーニングですと教師データは１万枚以上必要ですが、当社の機械学習の技術であればわずかで済みます。初期学習も１商品あたり数分で登録できます。新商品を簡単に登録できるのもパン屋さんにとって使いやすいのだと思います。

― コロナ禍を受けてニーズの変化はありましたか？

接触を避けるため、パンの個別包装がされるようになりました。そのため今の機械では包装ビニールで光が乱反射しても識別できるように改良しています。コロナ禍ではやはり都心の店舗は厳しかったのですが、一方で郊外型の店舗は比較的需要がありました。密集した状況をつくらないようセルフレジにも活用いただいています。海外からも注文をたくさんいただいているので、販売ルートを整備して拡販したいと思います。

癌診断にも応用　他分野への展開も積極的に

― パンの画像識別技術の医療分野への応用について教えて下さい。

テレビ番組で『BakeryScan』の取材をたまたまご覧になった臨床病理研究の先生から連絡がありました。開口一番『パンが癌細胞にみえました』と言われまして何のこっちゃかなと。先生は画像識別技術を使えば癌の細胞診断の負担を減らせると思われたそうです。

病理医は顕微鏡で癌の細胞診断をしているのですが、非常に集中力が必要な作業で１日２時間50例が限界だそうです。全国約2600人の病理医に対して癌の細胞診断の需要は増加し続けているため、病理医の負担を少しでも減らすシステムが求められていました。それで先生の指導を受けながら、通常の細胞と癌細胞を画像識別する技術開発を始めました。かなり良い識別精度が出ていますので、来年度あたりに実際の現場に導入する計画でいます。

― 画像識別技術の可能性は幅広いですね。

人間の目視で確認している工程を自動化したいニーズは想像以上に多いみたいで、ほとんど毎日何かしらの問合せがあります。理化学研究所からもお声がけいただき、1500万枚におよぶ撮像データ解析に『BakeryScan』の技術が応用されました。患者さんが持参された医薬品の種類を識別する薬剤鑑別装置にも応用されています。

ユニークなものだと、神社やお寺でのお札やお守りの販売にも採用されています。パンと同様、バーコードが貼れないという課題があったようです。すっぽん養殖で個体識別に利用なんていう応用事例もあります。また、アメリカのIT専門誌「WIRED」から取材を受けたり、地元の兵庫県立高校の英語の入試問題に採用されたりとご注目いただいています。これからも面白い事例を世間に発表していきたいと思います。