ドライブレコーダーの音声、映像、センサーデータを AIが解析することで、交通事故における自動検知の精度向上に成功

～マルチモーダル深層学習を活用し、運転手の安全意識向上・事故軽減対策に貢献～

2018-10-03 15:00

　NTTコミュニケーションズ株式会社(本社：東京都千代田区、代表取締役社長：庄司哲也、以下 NTT Com)と日本カーソリューションズ株式会社(本社：東京都千代田区、代表取締役社長：野上誠、以下 NCS)は、ドライブレコーダーの映像、センサーデータ(速度、加速度)に音声データを加え、NTT Comが開発したAI(マルチモーダル深層学習※1)が解析することで、交通事故における自動検知の精度向上に成功しました。
　今後両社は、ドライブレコーダーから交通事故やそれにつながる危険運転を自動検知し、運転手の意識向上や事故軽減への対策など安全運転の実現に向けた取り組みを行っていきます。
　なお、本AIはNTTグループのAI関連技術「corevo(R)(コレボ)」※2を活用しています。

背景
　NCSは、カーリースを契約している企業のお客さまに、安全運転促進のための自動車IoTツールとして「NCSドライブドクター(R)」※3を提供しています。このサービスのオプションである「NCS交通安全プログラム」の映像解析サービスでは、専任スタッフがドライブレコーダーに記録された映像ビッグデータの中からさまざまな危険運転シーンを抽出し分類を行っていますが、この業務には多くの時間を要するという課題があり、より手早く正確に行うことが求められていました。
　NTT Comは、2016年より車両向けマルチモーダル深層学習の開発に取り組み、ドライブレコーダーデータの解析による危険運転(以下ヒヤリハット)の検知に成功しました。従来は映像やセンサーデータのみを解析対象にしていましたが、今回、新たに交通事故発生時の接触音や人の声などの音声データを加えた車両向けマルチモーダル深層学習を開発し、これまで検知が困難であった交通事故についてもAIで自動検知することを実現するために、両社でこれらのデータ解析に関する実験(以下本実験)を開始しました。

本実験の概要
　本実験では、車両や歩行者などと接触しそうになるシーンをヒヤリハット、接触したシーンを交通事故とする設定に基づき、NCSがお客さまに提供しているドライブレコーダーデータから、音声や映像、センサーデータである「時系列マルチモーダルデータ」を約850件※4抽出しました。そして、その7割(約600件)をAIに学習させた後、残り3割(約250件)のデータをAIに判定させて解析を実施しました。
　ドライブレコーダーは、車両の前方映像を記録するため、特に後方や横方向の状況において、ヒヤリハットか交通事故かを判別するのは困難でした。今回新たに交通事故発生時の音声データを追加したことで、映像には映らない場所の状況についても、接触音などを含めて解析することが可能となり、その結果車両の全方位においてAIでの自動検知精度が大幅に向上しました。
　音声、映像、センサーデータを対象にした解析では、映像、センサーデータのみを対象にした解析と比べて、交通事故と判定した精度が約1.75倍の89％(正解率※5)に、通常運転、ヒヤリハット、交通事故の全体においても、約1.2倍の85％と高精度を記録※6しました。

本実験の流れ

本実験の判定イメージ

今後の展開
　今後も両社はAIを活用し、さまざまな危険運転、交通事故の検知・解析の精度をあげ、実用化していくことで、安全運転を推進していきます。
　NTT Comは、本実験で確立した本事象を検知するアルゴリズムを、車両向けAI/IoTソリューションとして、お客さまへ提供していきます。
　NCSは、既にコンサルティング業務のためのヒヤリハット検知に、これまで開発したAIを実利用しています。本実験の成果により新たに事故映像の分類やヒヤリハット検知の精度向上が見込めることから、今後「NCS交通安全プログラム」をご利用のお客さまにAIによる解析データを提供することで、コンサルティングサービスのレベル向上を目指していきます。

出展情報
　2018年10月4日、5日に開催する「NTT Communications Forum 2018」にて、本実験内容を出展します。AIがドライブレコーダーの音声、映像、センサーデータを解析する様子を映像でご紹介します。ぜひご覧ください。

会期： 2018年10月4日(木)　9:30～18:00(9:00受付開始)
　　　 2018年10月5日(金)　9:30～18:00(9:00受付開始)
　　　 (3日(水)　17:00よりメディアプレビューを行います)
会場：ザ・プリンスパークタワー東京
URL ： https://www.ntt.com/business/go-event.html

※1：マルチモーダル深層学習は、人間が視覚や聴覚などの複数の感覚様相(モダリティ)を使って物事を把握しているように、AIにおいても音声や映像など、複数のビッグデータを統合的に解析するニューラルネットワークです。
※2:「corevo(R)」は日本電信電話株式会社の商標です。 http://www.ntt.co.jp/corevo/
corevoロゴ

※3：「NCSドライブドクター(R)」は走行中の運行データを自動的に転送することで、車両の運行状況や運転者の安全運転実施状況をWeb上で把握でき、運転映像も録画できるテレマティクス運行管理サービス。
ドライブドクターロゴ

※4：データ解析対象、約850件の内訳は、(1) 加速度の変化は検知したが、ヒヤリハット、交通事故では無かったもの(通常運転)が約300件、(2) ヒヤリハットが約360件、(3) 交通事故が約190件でした。
※5：正解率は、本アルゴリズムの予測結果全体と、答えがどの程度一致しているかを判断する指標です。Accuracyとも呼ばれ、主に適合率(本アルゴリズムがヒヤリハットや交通事故と判断した結果のうち、実際にその事象であった割合)、再現率(ヒヤリハットや交通事故と判断されるべきデータのうち、本アルゴリズムがその通りと判断した割合)を算出します。
※6：本実験で記録した精度は以下のとおりです。