実施主体
大阪大学大学院　情報科学研究科・菅野裕介准教授

実証実験名
集合的視線推定システムに関する実証実験

2018年12月15日（土）～12月24日（月）の期間、大阪大学大学院　情報科学研究科・菅野裕介准教授による『集合的視線推定システムに関する実証実験』が、アジア太平洋トレードセンター ハーバーアトリウム（ATC ITM棟2F）で実施されました。

 

＃今回の実証実験で使用された「集合的視線推定システム」は、どのようなものですか？
視線推定とは、人がどこを見ているかを計測・推定する技術です。この技術自体は昔から研究が重ねられていましたが、パブリックディスプレイやデジタルサイネージなどを見る不特定多数の人の視線を、キャリブレーションせず個人ごとに推定することは、既存技術では難しいものがありました。その課題に対して、私は2008年頃から機械学習によるアプローチをしています。今回使用した機械学習はいわゆる深層学習（ディープラーニング）で、大規模な顔画像を学習データとして用意し、顔画像から3次元視線方向へのマッピングを学習することで、人がどの方向をみているのかを推定できるようにしました。その結果、本技術によって、通常のWebカメラや監視カメラなどで撮影した映像からでも、人の視線方向を推定することが可能となっています。

 

＃今回の実証実験の概要と目的を教えてください
実験期間は2018年12月15日（土）～12月24日（月）の10日間で、ATC ITM棟2Fのハーバーアトリウムにあるデジタルサイネージに市販のWebカメラを取り付けて行います。デジタルサイネージにはATCさんの催事情報を10秒ごとに6コンテンツ表示し、その合間に動物や動くロゴなどの動画を15秒間放映。サイネージ視聴者の様子はWebカメラで撮影・録画し、表示コンテンツのタイミングと同期させることで、前を通り過ぎる人たちが表示されたコンテンツを見ているのか、見ていないのか、またはどのコンテンツは見ていて、どのコンテンツの際には見ていないのかなどを推定することが目的のひとつです。また今回のサイネージの設置条件を考えた際に、立ち止まって注視する人よりも、通りすがりで視線を合わせる人の方が多いと予想されます。そうした条件下で市販のWebカメラベースでの解析がどれだけ役立つのかを実験したいとも考えています。

 

＃なぜATCで実証実験を行おうと思ったのですか？
本技術の研究は、私が大阪大学に来る以前のドイツのマックスプランク情報学研究所に在籍していた当時から、JST（国立研究開発法人科学技術振興機構）CRESTの研究プロジェクト「集合視による注視・行動解析に基づくライフイノベーション創出」の一環として行なっていたもので、社会実装を見据えた取り組みの必要性を感じていた際に、実証実験のサポートをしていただいているOUVC（大阪大学ベンチャーキャピタル株式会社）からの紹介を受けて、ATCさんで実施することにつながりました。カメラを使用した実験は施設や場所によって敬遠されがちなのですが、ATCさんではそれらの実験実績が豊富だったことも大きな要因です。

 

＃実証実験の手応えは、どのような感じですか？
まだ初回のデータ抽出が完了していないので、正確な実験結果は測定できていませんが、実験環境としては申し分ないと思います。照明環境は理想的で、サイネージを通過する人出も多すぎず少なすぎすという感じですが、一方でサイネージの前をただ通過するだけの人も多く、視線推定という意味では非常にチャレンジングな環境になっています。初めて公衆環境で行う実証実験としては、意義深い環境と言えます。

 

＃今後の展開を教えてください
具体的な事業化のアイデアを検討中です。現状では実験を重ねて現場レベルで、どれくらい活用できるのかを見定める必要性があります。しかし、今回の実験結果によっては、社会実装を見据えたビジネス化に向けて本格的に進めていきたいとも考えています。商用利用の有用性は非常に高いと思います。今回のサイネージの視線の計測が最もわかりやすい例ですが、他にもコンビニの棚で計測することでさまざまな情報を計測することも可能ですし、医療分野の診断などにも視線推定の技術は応用可能と言われています。
また、本技術に関しては私自身が論文としてほとんどの情報を発表しているのですが、今後は他の皆さんにも利用しやすいようにオープンソース化してライブラリーで公開する予定です。視線推定技術は発展途上の分野で、まだキラーアプリケーションと呼ばれるものが出ていませんので、技術情報を開放することでさらなる発展につながればと思います。

取材・文　中西 義富（Office Vinculo）