高瀬翔さん
DOCTORAL DEGREE HOLDERS INTERVIEW [MY DECISION] - ここが原点、ここから未来。

研究も、進路も。
「選択肢」を広げることで
見えてくる道、
かなえられる風景がある。

LINE株式会社
高瀬 翔さん
2017年3月 博士後期課程修了
博士論文タイトル
A Study on Encoding Natural Language into Distributed Representations
(自然言語の分散表現へのエンコードに関する研究)

「読むとは何か。計算機は小説を読むことができるのか」

文芸サークルに所属していたこともあり、学部1、2年生の頃は特にSF小説をよく読んでいました。東北大学にゆかりのある作家で言えば瀬名秀明や円城塔、海外作家ではホルヘ・ルイス・ボルヘス、スタニスワフ・レム、テッド・チャン辺りに強い衝撃を受け、言葉やお話というものは何なのか、お話の構造や、それがどのようにつくられていて、何故面白いと思えるのかについて興味を持つようになっていました。

私が、学問・研究対象としての自然言語処理を志すことになったのは、「言葉」への興味や探究心が拡大したから、とお答えしたいところですが、そこには「出会い」ともいうべき経緯が重なります。学部3年生の折、(4年生から所属が可能な)すべての研究室を訪問して、研究内容や雰囲気を確認する機会がありました。そこで巡りあったのが自然言語処理を標榜する乾研究室。私が入学したときには存在していなかった若いラボでした。当時、研究室で取り組んでいた「重み付き仮説推論(アブダクション)」の内容がとても刺激的で迫力があり、強く印象に残りました。人が言葉をどのように理解しているか自体もよく分かっていませんでしたし、その上で、計算機が言葉を理解するとはどういうことなのかと興味を惹かれ、研究として向き合ってみたいと思いました。

黎明期には人手で構築したルールが自然言語処理の主でしたが、使用できるコーパスの量や計算機の処理速度が上昇するに従い、コーパス上でモデルを学習する手法が主流になっていきました。私が大学院に進学した頃には深層学習という言葉がもてはやされ始め、自然言語処理でもニューラルネットを用いた「word2vec」が注目されていました。数年前には機械翻訳においてもニューラルネットを用いた手法が主流となり、極めて自然な翻訳が出力できるようになりました。最近ではOpenAI社の「ChatGPT」が自然言語での質問応答のみならず、指示文に従ってロールプレイでのチャット対話や、自然言語での文書の生成、さらには所望のプログラミング言語でのコード生成も行えるとして話題になっていますね。一方で、私が学生の頃から指摘されているような、論理的な一貫性は依然として課題になっています。例えば文と文の間にある文脈をとらえる点について、入力や出力の系列が長くなるほど破綻してしまう問題は根本的には解決されていません。

高瀬翔さん

“使える”技術、そして社会にインパクトを与える研究を。

アカデミアでは主要な職務の一つとして論文執筆が求められていると認識しています。少なくとも博士後期課程(以下博士課程)を修了するためには、大学や学部によって数の多寡はあれど論文の出版実績が必要という認識です。論文を執筆し、出版することは研究成果を発表し、客観的な評価を受け、その知見を(人間社会に向けて)開いていくという、人類の知の発展に貢献する意義深いプロセスです。博士課程進学においては金銭面と、この論文執筆が大きな障害と感じる学生が多いと思いますが、私は自然言語処理の研究に魅力を感じていたことに加え、幸いにも金銭面での不安が少なかったこと、また、論文執筆も苦にならなかったこともあり博士課程に進学しました。

私は現在、モノやサービスを直接個人に提供する企業で働いています。ビジネスモデルとしてはBtoC(Business to Customer)です。ターゲットである一般消費者は、非常に多様な属性・ライフスタイル・価値観を持っています。もちろんいろいろなマーケティング手法があることは理解していますが、全対象を満足させることはとても難しいことだと思います。片や論文は、査読者(内容を精査し、掲載にふさわしいか否かの判断材料を提供する人)を納得させることができれば、関門突破です。査読者とはバックグラウンド(専門分野)は共通していますから、執筆者としての傾向と対策は万全ですね。しかし、だからといって査読を通すのは造作ない、などと言っているわけではないことを付け加えておきます。

博士課程在学中は、民間の研究所のインターンシップに参加しました。そこで見聞したのは、大学との研究スタイルの違いです。自分が訪れた研究所では、技術がどの程度サービスに貢献するか、どれだけ社会にインパクトを与えられるかが問われているところを目にしました。まさに社会(活動)に実装する取り組みです。論文も一年に1本(報)課せられるとすれば、自分の研究をかなり戦略的に組み立てなければならないし、エンジニアリングとして実用を強く意識しなければならないと感じました。研究に対する多様な姿勢を知ることができた貴重な体験でした。

高瀬翔さん

研究コミュニティの先輩、友人は、豊かな無形の資産。

国内外問わず研究コミュニティのなかで友人を増やせたこと、また人的ネットワークを築けたことも博士課程での収穫の一つです。キャリアチェンジの節目で情報を寄せてくれたり、キーマンとつなげてくれたりしたのも、研究仲間です。こうした無形の資産(社会関係資本)は、不確実性の高い社会での力強い味方となってくれます。

さて、飛躍的な発展をみせている自然言語処理は、パラメータ数やデータセットのサイズ、計算量に従って向上するという性質があり、モデルサイズの巨大化によるコスト増大といった新しい課題を生んでいます。現在、私が取り組んでいるのは、学習済みのモデルの出力を小さなモデルで表現する、あるいは初めから少ないパラメータで効率よく学習させるという試みで、どちらも根本には広く使える基盤技術を構築したいという考えがあります。私の研究は、何かのひらめきで突然視界が開けるわけではなく、「うまくいくかな」という地道な積み重ねの中で進んでいきます。もっとドラマチックなことを言えればいいのですが(笑)。

進学や就職など、人生の岐路に立った時、目の前にある道だけを考えてしまいがちですが、今ある選択肢以外のルートもあり得る/取り得るという柔軟で弾力的な姿勢で臨むことも大切なのではないでしょうか。大学入学時には存在しなかった研究室に進み、深層学習の黎明期からずっと研究を続けてきた私がいうのですから間違いありません。チャンスとチョイスのはざまで悩む方の気持ちを少しでも軽くすることができれば幸いです。

(2023年2月 インタビュー)

略歴

2008年3月 千葉県立船橋高等学校卒業、2012年3月 東北大学工学部情報知能システム総合学科卒業、2014年3月 東北大学大学院情報科学研究科博士前期課程修了、2017年3月 同研究科博士後期課程修了。博士(情報科学)。2017年4月~2018年9月 NTTコミュニケーション科学基礎研究所リサーチアソシエイト、2018年10月~2020年3月 東京工業大学情報理工学院研究員、2020年4月~2022年9月 同情報理工学院助教、2022年10月~LINE株式会社。2015年 言語処理学会第21回年次大会最優秀賞、人工知能学会第29回全国大会学生奨励賞、2017年 東北大学情報科学研究科・研究科長賞、情報処理学会研究会推薦博士論文、2018年 言語処理学会第24回年次大会優秀賞、人工知能学会2017年度論文賞、2019年 情報処理学会自然言語処理研究会優秀研究賞、言語処理学会第25回年次大会優秀ポスター賞、EMNLP-IJCNLP Outstanding reviewer、2021年 言語処理学会最優秀論文賞、2022年 言語処理学会第28回年次大会委員特別賞、言語処理学会第28回年次大会優秀賞等を受賞。