深く高度に、
進化し続ける
大規模言語モデル
まだ開かれていない
扉を開ける。

勧めに従い、経済学部へ。
数学的モデルを用いる理論に興味を引かれて。

それは高校の進路相談の時でした。理系を希望していると言った私に、先生は告げました。「理系だと将来、専門職にしか就けないよ」。勧められたのは経済学部、曰く「就職活動に有利だから」。私が高校2年生の春（2003年）、日経平均株価はバブル後最安値を更新しています。そんな厳しい経済状況も鑑み、——本人の意向に反する指導ですが——私の将来をよくよく考慮してくださった上での発言だったのでしょう。素直に従い、学部は経済学部を選びました。

通常は文系とカテゴライズされる経済学部ですが、統計、数列、確率など数学的なアプローチが必要とされる学問分野です。私が興味を引かれたのは「ゲーム理論」。経済学におけるゲーム理論は、利害関係にある相手と自分、それぞれの利益を分析して、最適な行動を決めるための思考方法です。相手の動きをゲームに見立て、数学的モデルを用いて意思決定の仕組みを探っていきます。「囚人のジレンマ」などのモデルが有名です。こうした学びは、私の理系的志向と知的好奇心を満たしてくれるものでした。

1年間の海外留学も、学部生時代の得難い体験です。交換留学先に選んだのは、高麗大学（高麗大学校、大韓民国・ソウル特別市）。通っていた大学には、欧州、米国、オセアニア、東南アジアなどに多くの海外協定校がありましたが、選んだのは韓国でした。当時、私は寮で暮らしていたのですが、そこで韓国人留学生と仲良くなり、ランゲージエクスチェンジ（言語交換）などをしているうちに、韓国の歴史や文化に興味を持つようになったのです。高麗大学には、さまざまな国や地域から学生たちが集まっていました。多様なバックグラウンドを持つ人たちと交流する中で、ほんとうにいろいろな考え方やものの見方があると感じ入る場面が多々ありました。特に自分をアピールする場となると、日本人の謙虚さが際立ちますね。また、私が留学をしていた2005年を前後し、日韓関係は戦後最悪といわれ、少なくとも日本国内では好ましい報道のされ方をしていませんでした。しかし、実際に訪れてみると、韓国の人々のネガティブな感情はあまり感じられず、自然体で伸びやかに過ごすことができました。Seeing is believing（百聞は一見にしかず）とはこのことで、多文化、多様な価値観に触れた経験は、その後の自然言語処理研究に役立つこととなります。

修士課程からは、奈良先端科学技術大学院大学（以下NAIST）の情報科学研究科に進みました。前述の通り、元は理系志望でしたし、小学生のころからプログラミングを趣味としてきました。情報処理の領域に進むことは、決して大きく隔たった道ではなかったのです。

学会発表、査読付き論文採択…
成功体験を積み重ねて、研究者への志を立てる。

小学3、4年生の頃、家にプログラミングの本があるのを見つけました。持ち主である父は、興味が続かなかったようで、すっかり“積読”状態でした。私のほうは精読するほど夢中になり、それを好感した両親はパソコンを買い与えてくれました。「好きこそ物の…」のことわざの通り、小学校の高学年からはゲームを自作するように。NPC(ノンプレイヤーキャラクター)の構築は、賢い人工知能、ゲームAIをつくることであり、その試行錯誤は心から楽しいと思えるものでした。ゲーム制作は、大学に入ってからも続けていたので、志向的には（おそらく資質も）理系だったのだと思います。

周囲では就職内定の話題も落ち着き始めた学部4年生の夏、松本祐治先生（NAIST、情報科学研究科、教授/1993年- 2020年）のホームページを見つけ、早速、研究室を訪問。自然言語処理という研究フィールドに飛び込みました。

NAISTはアドミッションポリシーに「大学での専攻にとらわれず」と掲げており、情報分野の基礎的な授業もありましたが、やはり経済学部からやってきた身としてはキャッチアップに少し苦労しました。でも「楽しい」というのが圧倒的な感懐でした。また、“研究”は初めてであり、最初は指示された通りにコツコツと進めていきました。当時の松本研究室には、乾さん（編注：乾健太郎准教授。現在、東北大学言語AI研究センター教授、アラブ首長国連邦MBZUAI Visiting Professor）と飯田さん（編注：助教の飯田龍氏、現在、国立研究開発法人情報通信研究機構）がおられ、親身になって指導してくださいました。修士課程1年の冬には、言語処理学会の年次大会で発表をする機会をいただき、次の年には国際学会やジャーナルで採択（査読付き）されました。こうした成功体験は、探究の原動力になりましたし、博士（後期）課程に進むのはごく自然な成り行きでした。

修士課程を修了した2010年、乾さんが東北大学で研究室を立ち上げることになり、栄えある1期生として所属することに。博士課程での研究テーマは「行間を読む計算モデル」。たとえば人間同士の会話で、「今、ごはんを食べてきたばかりなんですよ」と言われたら、「おなかがいっぱい（少なくとも空腹ではない）」と容易に想像できるでしょう。私たちは、世界の一般的な概念や常識をもとに、与えられた事象に適切な説明（背景）を見つけることができます。一方、計算モデルに行間を読ませるには、起こったことに対して、世界知識や法則を当てはめ、うまく説明できる仮説を導き出すアブダクション（仮説推論）が高度に機能しなければなりません。

仮説推論の自然言語処理への応用は、1990年代にJerry R. Hobbsにより提唱され、大きな反響を呼びました。私は「源流に当たれ」という志を持って、Dr．Hobbsの研究室（南カリフォルニア大学・情報科学研究所、当時）に延べ6カ月間、インターンという立場で滞在しました。大いに刺激を受け、研究が加速したのは言うまでもありませんが、同じ研究室にいた博士学生と作業を分担して進めたことも奏功しました。それまで私にとっての研究は孤高の営みであり、チームでタスクに取り組むのは初めてだったので、目を開かされる経験となりました。

「楽しいからやるんだ」。
海外の研究者たちから学んだ研究との向き合い方。

Dr．Hobbsの研究室で過ごすことにより、研究という営為に新しい見方・価値を見出すことになりました。私はずっと研究にある種の”かたさ”を感じていました。社会の役に立たなければならないという義務感・使命感ですね。工学という学問・研究領域からすれば当然といえるものでしたが、どうしても堅苦しく思えたのです。しかし、海外（私が接した限りですが）の研究者たちは「おもしろいから/楽しいからやる」と口を揃えるのですね。結果は後から付いてくる、と。——もし日本の大学の研究室に足りないものがあるとすれば、自由とチャレンジ精神を許容する風土なのかもしれません。

好きな研究に思う存分没頭できる喜びもあれば、アウトプットである論文がリジェクト（却下）される厳しさもあります。もちろん意気消沈しますが、成果を研究コミュニティに問うことができた、アピールすることができたと思えば、一歩前進です。また、査読者からのフィードバックを成長の糧とすることもできます。それでも認めてもらえない悔しさが続くと、ひとり暗い深淵に沈んでいくような気分にも陥るものです。そんな時は、古今東西の書籍に当たり、セルフメンテナンスや心を軽くする方法を探っています。

東北NLPラボでは、学術・技術的なことだけではなく、研究者の姿勢、ひいては一人の人間としての有り様を学びました。乾さんがしばしば言われていたことに「研究は最高のOJTだ」があります。OJTは「On-the-Job Training」のことで、実務を通じて知識やスキルを身につける教育/訓練手法です。この場合、研究から何を習得するのかと言うと「批判的思考」「（自身の研究を）客観的な視点から見つめ直せる力」です。ともすれば夢中になりのめり込んでしまいがちな研究ですが、独りよがりにならぬよう、偏りが生じないよう、自分から一歩離れてみることが重要です。これは研究だけではなく、一人の人間として独善的になることを戒めることにもつながります。私も研究室を主宰し、学生さんを預かる立場になった今、この言葉を大切にしています。

自然言語処理は、昨今、非常にホットな分野として知られています。例えばOpenAIの対話型AIサービス「ChatGPT」は、社会、ビジネスの現場での活用が広がっています。さまざまなことができると考えられがちですが、研究・開発の伸びしろはまだまだあります。その一つが「無知の知」。これはソクラテスの言葉で、「無知であることを知っていること」、自らの無知を自覚することが真の認識に至る道であると西洋哲学の父は説いています。「無知の知」は、現在の大規模言語モデルにはないメカニズムであり、私が興味を持っている研究トピックの一つです。

ソクラテスには、プラトンやアリストテレス（孫弟子）を始め、多くの弟子や仲間がいました。これまでの私も国内外で出会った多くの人に助けられ、導かれ、研究者としての道を歩んできました。今、研究室の学生さんの成長を身近で感じ、心からうれしく思うにつけ、かつて私を指導してくださった先達もこのような心持ちだったのだろうと思いを馳せています。言語処理研究にはまだ開かれていない可能性が多くあります。学生さんと、仲間たちと一緒に、世界で誰も試したことのないアイデアに挑戦していきたいと思います。

（2024年3月 インタビュー）