2020年最初のテックスセミナーは、
ディープラーニングの判別根拠をテーマに開催されました。

https://www.sansokan.jp/events/eve_detail.san?H_A_NO=29665

―人工知能（AI）はなぜそう判断したのか？
データから特徴量を抽出し、人間よりも高精度な判別が実現されつつあるディープラーニングですが、「ディープラーニングは結果を示すだけで、その判別根拠はブラックボックスだ」と言われてきました。

そこで今、「判別根拠の可視化技術」が注目されています。

―Deep Learningは何をしているか分からない？
様々な分野での利用が期待されるにあたり「ディープラーニングはなぜそのような推定をしたのか」という根拠が不明では、本当にその判断が最適であったのか説明することができずに困るケースが想定されます。

このことについては政府も「意思決定の透明性と説明責任を確保すべき」と、AI利用に当たっての骨子を示しています。

（参考）人間中心のＡＩ社会原則検討会議

https://www8.cao.go.jp/cstp/tyousakai/humanai/index.html

セミナー中ではこのほか、この問題についての取り組みや問題提起に関するニュースをご紹介いただきました。 （「AI　ブラックボックス」などのキーワードで検索してみてください）

―AIはどこを見て判断したのか？
判別根拠の可視化についてはいくつかの手法が開発されていますが、今回のハンズオンで主に取り上げたのは、ディープラーニングによる「画像識別」において、計算過程を元に、どの部分を重視して判断したのかをヒートマップで表す「Grad-CAM」でした。

例えば、異物検知のようなシステムが異物を検知した際、どの部分をもってそれを異物と判断したのかが分かるようになります。