「Kinect（キネクト）」を用いたドラム練習支援システムを開発 演奏時の熟練者と練習者の動作を比較し、正しい動きをレクチャー
近畿大学理工学部（大阪府東大阪市）情報学科 教授 井口信和と同学部電気電子工学科 講師 越智洋司らは、ゲーム機「Xbox One」等で動体センサーとして使用されるマイクロソフト社の「Kinect Sensor（キネクト センサー）（以下、Kinect）」を用いたドラム練習支援システム「D-Learning（ディーラーニング）」の開発に成功しました。
なお、本件に関する論文が、『教育システム情報学会誌Vol.34 No.1 2017（出版：平成29年1月1日）』にて掲載されました。
【本件のポイント】
●ドラム熟練者と身体の動作を比較し、正しい動きをレクチャーするシステムを開発
●画像センサーを用いることで、大掛かりな機器を必要としない手軽な動作分析が可能
●楽器演奏だけではなく、熟練者の動作を真似ることで正しい動作を習得するスポーツなどの幅広い分野への応用が可能
【本件の概要】
スポーツやストレッチなどでは、競技の上達や運動効果の向上のために、自分の動作が適切であるかを客観的に判断することが非常に重要です。本研究グループは、これまでに、画像センサーを用いて、シンプルな足・腰の上下運動を伴う「スクワット」における正しい動作を分析し、アドバイスするシステムを開発・研究してきました。
今回は、複雑な動作を必要とするドラム演奏において、客観的に演奏フォームを分析できるドラム練習支援システム「D-Learning」を開発しました。これにより、自主練習時においても、誤った動作の反復で上達が阻害されることを防ぎます。
本システムでは、赤外線を利用した深度カメラ（被写体を立体的に撮影することができるカメラ）を用いて人の関節位置の認識・追従が可能なマイクロソフト社の画像センサー「Kinect」を利用しました。これを用いることで、運動センサーなどの装置を身体に装着することなく、模範となる演奏者の動作データの記録や練習時の動作の比較・分析が可能です。身体の部位ごとに色分けされたマーカーを確認することで、修正が必要な各部位の動きをピンポイントで把握することができます。
この「D-Learning」は、特定の部位だけでない複数部位の動作を記録し、総合的に動作データを分析することが可能です。そのため、ドラム演奏に限らず、スポーツなどの身体全体を動かす様々な行為の学習支援システムとして応用が可能です。
【掲載誌】
■雑誌名：『教育システム情報学会誌Vol.34 No.1 2017（出版：平成29年1月1日）』
（参照：http://www.jsise.org/journal/journal_jp/034/034_01.html）
■論文名：Kinectを利用した演奏動作検出によるドラム練習支援システムの提案
■著 者：越智洋司、平野光正（※）、井口信和
※元近畿大学大学院 総合理工学研究科 エレクトロニクス系工学専攻 博士前期課程
大学院生（2015年度卒業）、現所属株式会社テイジイエル
【研究の詳細】
本システムでは、画像センサーのKinectを用いて練習者の演奏動作を計測し、あらかじめ記録した熟練者の演奏動作と比較します。これにより、熟練者と練習者の演奏動作がどの程度一致していたかを判定します。
本システムでは、プログラミング言語「C#」とKinect専用ソフトウェア開発ツール「Kinect SDK1.7」を用いて、多様な演奏方法を記録するための「教則データ作成機能」と自分の演奏を客観的に分析できる「練習機能」を実装しています。「練習機能」では、教則データとの演奏動作の違いを演奏中にリアルタイムでメッセージ表示したり、演奏終了後に譜面上で確認したりすることができます。これらの機能により、習得したい楽曲や演奏技術の教則データを複数から選択し、練習者の様々な演奏技術の向上をサポートします。
また、画像センサーの動体認識においては動作のブレ（ノイズ）が生じますが、センサーから出力された数値（空間座標）を平均化した動作データを記録する「ノイズフィルター機能」を実装することで、これによる誤判定を防いでいます。
本学のオープンキャンパスで実施した過去2回の体験デモでは、小中高生125人が参加し、概ね良好な評価を得ています。
【今後の展望】
本研究では「演奏動作を真似ること」を学習目標として想定しているため、全関節の動作が熟練者の動作と完全に一致していることを目指しました。しかし、実際のドラム演奏では、各部位の動きが異なっていても、良い演奏(正しいリズム・適正な強弱での発音)となる可能性もあります。そのため、動作データだけでなく、リズム情報等を新たに取り入れ、各関節の動作の改善が良い演奏に繋がっているかの検証を目指します。さらに、ドラム演奏だけでない、動作を真似ることで上達するスポーツなどの幅広い運動分野への応用を目指します。
【研究者プロフィール】
■理工学部 情報学科 教授 井口 信和（いぐち のぶかず）
研究テーマ：ネットワーク運用管理技術に関する研究
専 門：情報ネットワーク、教育システム、農業情報
生年月日 ：昭和38年（1963年）5月25日、53歳
平成14年（2002年）4月 近畿大学理工学部 助教授
平成20年（2008年）4月 近畿大学理工学部 教授（現職）
平成27年（2015年）4月 近畿大学総合情報基盤センター長（兼務）
■理工学部 電気電子工学科 講師 越智 洋司（おち ようじ）
研究テーマ：動画像認識技術を利用した教育・学習用センシング技術
専 門：教育情報工学
生年月日 ：昭和46年（1971年）5月15日、45歳
平成15年（2003年）4月 近畿大学理工学部 講師（現職）
【関連リンク】
理工学部情報学科 教授 井口 信和（イグチ ノブカズ）
http://www.kindai.ac.jp/meikan/238-iguchi-nobukazu.html
理工学部電気電子工学科 講師 越智 洋司（オチ ヨウジ）
http://www.kindai.ac.jp/meikan/464-ochi-youji.html
