脳科学とAIで音楽トレンドを可視化、ヒットソング予測に成功～Billboard JAPANとNTTデータグループによる共同研究成果を分析サービスとしてトライアル提供開始～

2020-09-04 14:45

株式会社NTTデータ（以下：NTTデータ）、株式会社NTTデータ経営研究所(以下：NTTデータ経営研究所）と株式会社阪神コンテンツリンク（以下：阪神コンテンツリンク）は、NTTデータの人間の脳活動を推定する技術 NeuroAI（注1)と、阪神コンテンツリンクのBillboard JAPANの総合ソングチャートHOT 100のデータを組み合わせた共同研究を2019年9月から実施しました。2016年12月から2020年5月までにチャートインした2185曲を対象に、楽曲を聴いた際の推定脳活動・音色の特徴、歌詞、コード進行や過去のチャート情報等の楽曲特徴を利用し研究を行った結果、以下の技術開発に成功しました。
(1)楽曲の脳情報化による新たな特徴の獲得（脳情報化された楽曲特徴の類似性が評価可能に）
(2)ヒットソングの特徴の可視化（「ヒットの要因」を脳情報や歌詞・コード進行などの楽曲特徴から把握）
(3)未来の音楽トレンド予測（どんな楽曲がトレンドとなるのか4か月程度先まで予測）
これにより、どのような特徴を備えた楽曲がトレンドとなっているのか、そして今後どうなるのかの定量的な評価が可能となり、思いもよらないヒットソングが突然現れる今日のマーケットへの適応が期待されます。
3社は今後、所属アーティストの躍進を目指すレコード会社などに向け、アーティストの発掘・育成やマーケティングの支援、そしてストリーミング事業社などに向けたチャートデータや脳情報を基にしたプレイリストの制作支援を行うなど、新たなサービスのトライアル提供を2020年9月から開始します。

背景

デジタル技術の発達に伴い、ストリーミングサービスや動画配信サービスなど音楽の楽しみ方が多様化しています。阪神コンテンツリンクは、日本でビルボード・ブランドのマスター・ライセンスを持ち、この多様化した音楽市場の実態を多角的に捉えた「ストリーミング」や「ダウンロード」、「CDセールス」など8種類の指標を組み合わせた総合楽曲チャート「Billboard JAPAN HOT100」を構成する多様なデータを保有しています。一方、NTTデータグループでは、脳情報通信技術「NeuroAI」の研究・事業開発に取り組み、動画広告の分野では、広告効果の予測が既存の機械学習に優越することを示すなどの成果を上げています。（注2)
そこで、3社は音楽に対する人間の反応を科学的に把握するために「楽曲チャートデータ」と「脳情報通信技術」を融合させる共同研究開発プロジェクトを2019年9月から行いました。

共同研究について

目的

(1)楽曲を聴いている際の脳活動の推定による特徴の抽出と可視化
(2)楽曲特徴（脳情報・歌詞・コード進行）とチャートデータによる楽曲トレンドの定量把握とトレンド予測

対象楽曲・チャートデータ

(1)楽曲データ：2185曲（2016/12-2020/5の8種類のチャートで100位以内にランクインした楽曲）
(2)Billboard Japan Hot 100の週次チャートデータ：2047曲（2016/12/5週-2020/7/20週まで）

方法

・NeuroAIで楽曲の音声から1秒ごとの脳活動を予測。また、音声の周波数を解析し、楽曲の特徴を抽出。
・歌詞情報、コード進行情報、アーティストの過去チャート情報を定量化し、独自アルゴリズムを構築。

研究成果

(1)楽曲の脳情報化による新たな特徴の獲得
NeuroAIは、映像・音声から人間の脳活動を推定する技術です。今回NeuroAIを音楽に適用することにより、音楽ジャンルの情報や音声信号処理によらない新たな「楽曲特徴」を定量化しました。
また、脳情報に含まれる、人間が感じる音楽への潜在的かつ言語化不可能な反応を利用することで、楽曲トレンドを反映したCMタイアップソングの提案や、「今までは聴かなかったようなジャンルから好きになれる楽曲との出会いを提供する」など新たなアプローチによるプレイリストの作成提案(図1)などが期待されます。

図1：“NeuroAI Selected Playlist” 特定の曲と類似した脳情報表現が推定された楽曲をリスト化
Playlist(左)：http://www.billboard-japan.com/common/special/others/nttdata/playlist3.html
Playlist(中)：http://www.billboard-japan.com/common/special/others/nttdata/playlist1.html
Playlist(右)：http://www.billboard-japan.com/common/special/others/nttdata/playlist2.html

(2)ヒットソングの特徴（脳情報・音質特徴・歌詞・コード進行）の可視化
単位の楽曲トレンドを定量的に把握するため、楽曲特徴（脳情報・歌詞特徴・コード進行特徴）およびアーティストの前週のチャートデータから、チャートポイントを説明する「チャートモデル」を構築しました。過去のチャート情報を加味しているため、アーティスト知名度等の影響をある程度差し引いたうえで、どのような楽曲特徴が支持されているのかを把握できることが期待されます。
例として、Billboard JAPAN HOT 100の2020年上半期チャートを対象とし、実際のランキングと「楽曲特徴のみ」のモデルで再構築したランキングでは、Official髭男dism、LiSA、菅田将暉などに加え、wacci、ヨルシカ、iriといった次世代アーティストたちもランクインする、新旧の楽曲が混交するランキングとなっており、楽曲特徴によるトレンドを把握する可能性が見出されました。

図2：Billboard JAPAN HOT 100の2020年上半期と楽曲特徴のみからトレンドを評価したランキング

(3)未来の音楽トレンド予測
週単位で、どのような楽曲特徴（含・前週のチャートデータ）を持つ曲が上位にランクインするかを定量的に表したこのモデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にどんな楽曲特徴が支持されるのかを予測することを試みました。
実際のチャートデータだけではなく、「急に聴かれるようになった」楽曲について指標化したデータ（急上昇トレンド指標）を対象に新たなチャートモデルをつくり、時系列変化を予測しました。すると、全データの90％を利用し（2016/12/5-2020/3/16）その変化パターンを学習させましたが、2020/3/23以降の未学習に仮設定したデータにおいても予測精度が維持できていました（図3）。今回対象としたデータの中では最新の2020/7/20週のチャートデータに関しても、YOASOBI、ヨルシカ、Rin音、Novelbrightなどによる楽曲の順位上昇を予測することができました。

図3：予測されたチャートモデルの精度と予測された楽曲

今後について

今後、研究成果に基づき、レコード会社、音楽出版社、マネジメント、広告代理店などに向けた、新たなサービスのトライアル提供を開始します。
～想定ユースケース～
●トレンド楽曲特徴を踏まえた、リリース曲の選定サポート
●CMタイアップソングの選定サポート
●リリース時に発信するプラットフォームの選定サポート
●Sound Cloud、YouTube、Bandcamp等における新人発掘サポート
●海外展開における海外市場のモデル化とその利用
今後も音楽チャートと脳科学的な分析を組み合わせた研究開発を進め、精度向上とサービス提供、新しい角度の音楽トレンドの発信を行い、音楽マーケットのさらなる興隆に貢献していきます。
また、NTTデータおよびNTTデータ経営研究所では音楽にとどまらず、今回の手法を動画広告・テレビ/ネット番組など多様なメディアに適用し、脳情報化とモデル作成によるコンテンツ最適化サービスを提供していきます。
※成果の制限範囲について
今回の共同研究成果である未来のチャート予測に関しては、アーティストの過去のチャートデータも強く貢献しているため、全く新しいアーティストが登場した場合の予測精度については今後検証が必要となります。また2020/5までの楽曲を対象としているため、6月以降に新しくチャートインした楽曲に関しての予測精度を保証するものではないことをご留意ください。
※詳細な背景・データ・方法や結果の詳細など補足情報についてはこちらをご覧ください
https://www.nttdata-strategy.com/assets/pdf/newsrelease/200903/SuppleMentalInfomation.pdf
※NeuroAI Selected Playlistの再生には、各社サービスのご契約が必要です。
※「NeuroAI」は株式会社NTTデータの登録商標です。その他の商品名、会社名、団体名は、各社の商標または登録商標です。
（注1）「NeuroAI」は、コンテンツ視聴時の視聴者の脳活動予測し、その脳活動からコンテンツ視聴により誘起される行動・広告視聴データ等を推定する技術です。（ https://nttdata-neuroai.com/ ）
（注2）米国の人工知能学会（AAAI）にて「NeuroAI(R)」基盤技術の論文が採択（https://www.nttdata.com/jp/ja/news/information/2020/013100/）
Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S. Brain-mediated Transfer Learning of Convolutional Neural Networks.
Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, 2020.