【連載】TECH-MAG 研究室レポート

中村先生先ほど吉井先生が話された「ピアノ演奏の自動採譜」の研究成果です。そもそもピアノ演奏の採譜は非常に難易度が高く、世界中で研究が行われているものの、実用レベルの楽譜生成はできていない状況でした。

課題はピアノ演奏ならではの複雑な音の組み合わせやピッチの認識です。そこで私たちは、数百曲に上る演奏データの「音の波形」や「和音パターンの関係性」を調べ、楽譜データからは「リズムパターン」の特徴を解析。これらを機械学習させることで、従来は難しかった音の認識精度を向上させることに成功しました。

生成した楽譜を音楽高校の生徒に試してもらったところ、93％の生徒が「部分的に演奏に用いられる」、74％が「採譜に役立ちそう」と高い評価を得ました。

人が採譜したものに近い精度に仕上がっているのですね。

中村先生とはいえ、まだ完璧でないので、より実用レベルに近い楽譜が生成できるようにしたいと考えています。例えば、ピアノの楽譜は右手と左手のパートに分かれています。さらにそれぞれの手の中でも異なるパートに分かれていたり、メロディーと和音に分かれていたりと複雑です。こうした、「音楽の構造」を反映した楽譜にすることが課題になっています。また、アルペジオなどの装飾音の認識、強弱記号といった、楽譜に記されている音楽要素を正しく認識していくことが次のチャレンジだと考えています。

※以下のページでピアノ自動採譜のデモが見られます
▼『ピアノ自動採譜研究 デモページ』
https://audio2score.github.io/index-ja.html

音楽産業・文化の発展に貢献する研究

吉井先生、中村先生の研究は、私たちの生活にどのような影響をもたらしますか？

中村先生そもそも本研究の背景にあるのが、楽譜の入手のしづらさと採譜難易度の高さです。現在において、楽曲自体は安価で聴けるようになったものの、楽譜は高価でそう何度も買えるものではありません。かといって採譜するにも、多くの時間と専門知識を要します。

もし自動化できれば、楽譜を買う必要がなくなり、音楽を楽しむハードルが下がるのではないでしょうか。音楽の楽しみ方も大きく変わる可能性があります。例えば、「カラオケ」で採点機能がありますが、同じように自分で弾いた楽曲を楽譜データにできれば、元の楽譜との比較もできるようになります。音楽教育という分野での活用も考えられます。

吉井先生どんな演奏でも自動で楽譜化できるようになれば、有名なシンガーがアドリブで弾いた楽曲など「楽譜のない楽曲」に対してもアプローチできるようになります。また、楽曲の検索にも影響を与えるかもしれません。従来は楽曲名やアーティスト、歌詞の一部で検索しますが、メロディーやコード進行で曲を探したいというニーズもあります。単に音楽データを楽譜にするだけでなく、編曲や楽曲解析、自動作曲などへの応用も期待されています。

音楽文化の発展にもつながりそうですね。

中村先生そうですね。自動採譜は必ずしも音楽産業だけでなく、古い楽曲の分析や民族音楽の解析など、音楽に関わる様々な学術分野での「基盤技術」としても求められています。

吉井先生特にヨーロッパは文化の積み上げを重要視し、音楽のアーカイブ化を進めていますので、文化への貢献にもなるとうれしいです。とはいえ、ただ音源をデータとしてアーカイブするだけでは、保存されたまま日の目を見ないかもしれません。昔の紙の楽譜に関しても、画像としてスキャンして保存するだけでは意味がありません。「使える形」として、記号としての楽譜を蓄積していくことで、音楽や文化への理解が深まるのではないでしょうか。

映像や画像において、AIによるフェイクが問題になるなど、人が中心になって行っていたサイクルにAIが入ることで、問題が起こることもあります。音楽においては今後どうなるか分かりませんが、「人とAI」が良い形で協調できるよう、私たちの研究が寄与できればうれしいです。

新しい世界を研究し、切り開く

「自動採譜の研究」の面白い点を教えてください。

中村先生従来、音楽は人文学や芸術学といった分野で研究されていました。しかし、現在は機械学習など、科学的な分析技術が発達し、これまでと異なる形での研究が可能になりました。科学的な視点で、定量的に音楽という「文化」を調べることができるのは、シンプルに面白いと感じています。音楽情報学はここ数十年で広がってきた新しい研究分野なので、新しい世界を研究し、切り開くという面白さもありますね。

吉井先生もともと「人間がなぜ音楽を楽しめるのか」という疑問を持っていました。多くの人は、音楽の専門教育を受けているわけではないのに、音楽を聴いて楽しめています。音を聞いて、これは音楽だ、いや音楽じゃないという線引きも人や国によって違います。音楽における文化的な背景や、音楽を理解する能力の先天・後天性の境界など、自分の興味を研究を通して理解できるのが面白いと思います。

そもそも研究者になった理由は何でしょうか？

吉井先生音楽に限らず、人が聴覚を通じて環境を理解する能力がどうなっているのか、この能力を計算機上で実現するにはどうすればいいのかを考えることに興味があったからです。そのため、大学時代から音楽を研究していました。当時はまだディープラーニングはなく、音を計算機上で解析するのも難しい時代でしたね。

中村先生私は音楽にも科学にも興味があったので、「両方につながる研究を」ということで今の道に進みました。ただ、大学時代から音楽の研究をしていたのではなく、博士課程までは素粒子物理の研究が専門でした。まずは物理を学んで、先々に音楽の研究をしようと、少し一般的ではない考え方でした。

吉井先生博士で研究したことを専門にするケースが一般的ですが、中村先生はダークマターなどの素粒子物理の研究から音楽という、珍しいパターンです(笑)。

中村先生ですので、学生の皆さんはあまり参考にならないかもしれません(笑)。