DOCTORAL DEGREE HOLDERS INTERVIEW [MY DECISION] - ここが原点、ここから未来。

人間の知的営為が紡ぐ
“歌詞”を科学する。
未開の領域をゆく意志と
勇気、使命感とともに。

国立研究開発法人 産業技術
総合研究所 人間情報インタラクション研究部門
メディアインタラクション研究グループ
渡邉 研斗さん
2018年3月 博士後期課程修了
博士論文タイトル
Modeling Discourse Structure of Lyrics
(歌詞の談話構造のモデル化)

いつも傍らにあった音楽という存在。師との出会いと導き、
歌詞情報処理研究のフロンティアへ。

両親が音楽関係の仕事に携わっていたこともあり、物心つくころからずっとピアノを習っていました。今では奏者としては楽器から遠ざかってしまい、もっぱら“聴き専”ですが、「音楽」は私という存在の多くを構成している要素です。高校の時には、初音ミクなどの歌声合成エンジンなどを用いて、ユーザーが楽曲(イラスト・CGなども含む)を自由に創作し、インターネット上で発表するという新しいカルチャーの黎明期にも立ち会い、大きな影響を受けました。そんな私が「歌詞情報処理」という研究テーマを戴いているのは、少し出来過ぎかもしれません(笑)。もちろんそこに至るまでには得難い出会いがあり、導きがありました。

私が、「歌詞を中心とした自然言語処理・音楽情報処理」の世界へ誘われたのは、学部4年生の秋。乾健太郎教授と後藤真孝さん(現:産業技術総合研究所 人間情報インタラクション研究部門 首席研究員)にお会いする幸運な機会に恵まれました。乾さんは自然言語処理分野の最前線を疾走されている方であり、(のちに私の上司となる)後藤さんは、初音ミクをはじめとしたCGM(消費者生成メディア)研究で、音楽情報処理分野に一石を投じられた方です。二人のスター研究者を前に、気持ちが高揚したのを覚えています。そこでのお話は、自然言語処理と音楽情報処理を融合させた「歌詞」の研究は、世界を見渡してみても誰も足を踏み入れていないフィールド、一緒に開拓していこうというものでした。とても興味を引かれたものの、先行研究のない取り組みであり、パイオニアとしての苦労は目に見えています。しかし、今ここで挑まなければ、当該分野は大きく後れを取るであろうと思いました。信念と使命感、そして長らく親しんできた音楽への愛着が原動力となったように思います。

博士前期課程(修士)では、就職活動もしましたが、その時に得たのは「圧倒的な売り手市場だ」という手応えです。多くの企業・研究機関が、自然言語処理や人工知能を修めた人材を必要としていました。最終的には博士後期課程への進学を決めるのですが、その理由としては「夢のある研究、面白さを増してきた探究を続けていきたい」ということの他に、「万が一、博士後期課程を途中で断念することになっても食べていけるだろう」という胸算があったことも確かです。結局、“プランB”を発動させることはありませんでしたが(笑)。

例えば歌詞の自動生成システムは、ライムを刻むことができるのか。
ゼロからの探究に挑む。

誰もが、歌(歌詞)を聴くことで、感情を揺さぶられたり、気分が上がったり、また頑張ろうと前を向いたり…という経験があると思います。歌詞は、メッセージや心の機微を伝える媒体、自由な表現と創作の舞台です。また、“歌は世に連れ、世は歌に連れ”の言葉の通り、誕生した時期の文化や価値観を色濃く反映する時代の申し子でもあります。人間の知的営為が紡ぐ歌詞、それを科学し学問するのが私の研究です。

「曲先(きょくせん、楽曲づくりにおいて作曲を先に行うこと)」で作詞をする場合、テーマやストーリー展開、繰り返し・倒置・押韻(rhyme)、曲調や旋律などの要素を考慮し、かつ音符・休符などと調和させ歌いやすくする必要があります。このように歌詞は、言語と音楽、双方の要素を満足させなければなりません。こうした歌詞特有の性質を数理的・定量的に解明していく点が、この研究の要諦であり、同時に難しい部分です。

この分野の先駆けであることは前に述べましたが、何もないところから始めるということは、研究手法や実験の設定などをゼロから構築しなければならないということです。取り組みの意義と成果をアウトプットするにも、言語と音楽を横断する取り組みであったがゆえに論文を受け入れてくれる学術組織がなかったという時期もあったのです。今では国内外問わず「歌詞情報処理」に興味を持ってくれる研究者・学生さんも増え、研究者コミュニティも成長してきました。

基礎研究にとどまらず、成果を製品化、社会実装できたことも、工学研究者としての実りに挙げられます。応用例としては、クリエーター向けの作詞支援ソフトウェア、メロディーに基づく自動歌詞生成、ユーザーの楽曲探索支援システムなどがあります。また、楽曲を聞いたり歌ったりする私たちが経験的に知っている傾向――長い休符付近では、歌詞の行や段落の切れ目が来やすい。単語の音節は休符をまたがない――を定量的に評価しました。このように当たり前と思われることを統計的に検証することも「歌詞を学問する」ことに他なりません。歌詞の中に隠喩的に示されるテーマやストーリーの学習にも挑みました。こうした研究の積み重ねが、より自然で聞きやすく歌いやすい歌詞の自動生成、さらにはユニークで魅力的な“ありがちではない”(しかも剽窃ではない)歌詞生成モデルの開発などにつながっています。ちなみに「ライムを刻む(韻を踏む)」ことは、大規模言語モデルに基づく作詞支援インターフェイスが得意とすることの一つです。

目指すは新価値の創造。
新しいカルチャーに夢中になったあの頃の感動を、多くの人に。 

「用がなくても毎日、研究室に来てください」。これは研究室に配属された折、初めての個別面談で乾さんから言われた言葉です。私たちの研究は基本的には一人で進めていくものであり、パソコンがありインターネットにつながる環境があれば、どこでも取り組むことができます。言葉の真意を測りかねていると乾さんは続けました、「研究とは関係がないことでもいいので、周囲の人たちと積極的に話をしてください」。

研究は進捗していくと、他大学や研究機関、企業との共同研究、チームプレーというフェーズを迎えます。そこで必須とされるのはコミュニケーション力なんですね。乾さんは、研究者として、また社会人として必要とされる能力の涵養を視野に置かれていたわけです。実際に私も研究内容を理解・認知していただき、研究者コミュニティを形成する過程においては、積極的かつ持続的に、様々な背景を持つ人と話をしなければなりませんでしたし、またそうした試みの中から、師であり導き手ともいえる人物と出会うことができました。

自然言語処理や人工知能は、現在、とてもホットな分野であり、人材は引く手あまたですが、就職先を決める際には、企業・組織のネームバリューや待遇だけではなく、「尊敬し、共に働きたいと思える人物がいるか否か」を判断基準の一つに置いてもよいのではと思っています。私の経験上から強く推奨できる方法です。また、研究は自分の興味や関心に沿って進めるというのが理想の姿ですが、社会への出口を照準とする企業では、個々人の研究志向に関係なく、テーマが与えられます。それにフラストレーションを感じる人は、起業という選択肢もあるかと思います。

尊敬する長尾真先生(1936-2021年、元京都大学総長、言語処理学会初代会長)は、「人がやらないことをやる」「10年でテーマを究め、それを後進に渡したら、次の10年で新しい分野を拓く」とおっしゃっていました。私も歌詞情報処理研究に携わってはや10年。考えうるすべてのことにチャレンジしてきたという自負があります。今、私の中では“次なる”研究テーマが胎動しています。

「ChatGPT」の話題が尽きない現在、社会や暮らしにおけるAI活用について、議論を深め、方向性を定めなければならない時期を迎えています。私はコンピュータに依存し、その中で閉じるのではなく、人間との協調・協働の中で新しい文化や価値を創出することはできないかと考えています。16年前、バーチャル・シンガー「初音ミク」の登場に驚き、魅了された原体験が、新しいアイデアを生む源泉となっています。

(2023年6月 インタビュー)

略歴

2013年 東北大学工学部情報知能システム総合学科卒業、2018年 東北大学大学院情報科学研究科博士課程修了。博士(情報科学)。2014〜2015年 アドミニストレイティブ・アシスタント(JSTさきがけ)、2014〜2016年 ジュニア・リサーチ・アシスタント(卓越した大学院拠点形成支援補助金)、2016〜2017年 協力研究員(招聘型・産業技術総合研究所)、2016〜2018年 特別研究員(DC2・日本学術振興会)。2018年より産業技術総合研究所 人間情報インタラクション研究部門の研究員として、歌詞を中心とした自然言語処理・音楽情報処理・ヒューマンコンピュータインタラクションの研究に従事。2013年 情報処理学会第75回全国大会学生奨励賞、言語処理学会2013年度論文賞、2014年 NLP若手の会第9回シンポジウム奨励賞、2015年 NLP若手の会第10回シンポジウムデモ賞、2017年 情報処理学会第231回自然言語処理研究会学生奨励賞、NLP若手の会第12回シンポジウム奨励賞(共著)、人工知能学会音声・言語理解と対話処理研究会第81回研究会第8回対話システムシンポジウム学生奨励賞(共著)、2018年 東北大学電気・情報系優秀学生賞、人工知能学会第32回全国大会全国大会優秀賞(共著)、2021年 言語処理学会第27回年次大会委員特別賞、2022年 第135回音楽情報科学研究会発表会ベストプレゼンテーション賞 Best Research部門(共著)、2023年 言語処理学会第29回年次大会委員特別賞等を受賞。