The following work was presented at the 264th IPSJ NLP Conference held on July 6th and 7th.

7月6日から7日にかけて開催された第264回自然言語処理研究発表会 (NL-264) にて、下記の発表を行いました。

• 野末 慎之介, 松林 優一郎, 藤井 諒, 岸波 洋介, 森下 睦, 坂口 慶祐
  • “日英翻訳タスクにおける大規模言語モデルのゼロ照応解析性能の影響”

The following paper has been accepted to 2nd AI for Math Workshop @ ICML 2025.

下記の論文が Acceptance to 2nd AI for Math Workshop @ ICML 2025 に採択されました。

• Taishi Nakamura, Satoki Ishikawa, Masaki Kawamura, Takumi Okamoto, Daisuke Nohara, Jun Suzuki and Rio Yokota.
  “Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks”

The following paper has been accepted to the Conference of Language Modeling (COLM) 2025.

COLM 2025 に下記の論文が採択されました。

• Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono and Jun Suzuki.
  “Efficient Construction of Model Family through Progressive Training Using Model Expansion”
• Wataru Ikeda, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Keigo Shibata and Jun Suzuki.
  “Layer-wise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models”
• Sho Takase, Shun Kiyono, Sosuke Kobayashi and Jun Suzuki.
  “Spike No More: Stabilizing the Pre-training of Large Language Models”

The following papers have been accepted at the 26th Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2025).

SIGDIAL 2025 に下記の論文が採択されました。

• Ikumi Numaya, Shoji Moriya, Shiki Sato, Reina Akama and Jun Suzuki.
  “How Stylistic Similarity Shapes Preferences in Dialogue Dataset with User and Third Party Evaluations”
• Shiki Sato, Shinji Iwata, Asahi Hentona, Yuta Sasaki, Takato Yamazaki, Shoji Moriya, Masaya Ohagi, Hirofumi Kikuchi, Jie Yang, Zhiyang Qi, Takashi Kodama, Akinobu Lee, Masato Komuro, Hiroyuki Nishikawa, Ryosaku Makino, Takashi Minato, Kurima Sakai, Tomo Funayama, Kotaro Funakoshi, Mayumi Usami, Michimasa Inaba, Tetsuro Takahashi and Ryuichiro Higashinaka.
  “Key Challenges in Multimodal Task-Oriented Dialogue Systems: Insights from a Large Competition-Based Dataset”
• Tetsuro Takahashi, Hirofumi Kikuchi, Jie Yang, Hiroyuki Nishikawa, Masato Komuro, Ryosaku Makino, Shiki Sato, Yuta Sasaki, Shinji Iwata, Asahi Hentona, Takato Yamazaki, Shoji Moriya, Masaya Ohagi, Zhiyang Qi, Takashi Kodama, Akinobu Lee, Takashi Minato, Kurima Sakai, Tomo Funayama, Kotaro Funakoshi, Mayumi Usami, Michimasa Inaba and Ryuichiro Higashinaka.
  “Analyzing Dialogue System Behavior in a Specific Situation Requiring Interpersonal Consideration”

Mr.Aozora Inagaki, Mr.Keita Hoshii, Mr.Haruki Nagasawa, and Ms.Yuna Suzuki from CyberAgent, Inc. gave a talk entitled “The Social Implementation of ML Technologies at CyberAgent: What Changes and What Remains the Same with Generative AI” (MiCS)

株式会社サイバーエージェントの稲垣青空氏、干飯啓太氏、長澤春希氏、鈴木裕奈氏に、「サイバーエージェントにおけるML技術の社会実装 ～生成AIで変わるもの・変わらないもの～ 」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

We held a beer garden-style barbecue to welcome our new members. Under the gentle glow of swaying lanterns, conversations flowed freely, making it a memorable evening that marked the beginning of a new chapter.

新メンバーの歓迎会を兼ねて、ビアガーデン風バーベキューを行いました。提灯の明かりが揺れる中で会話もはずみ、新たなつながりを感じる時間となりました。

：Prof. JinYeong Bak from Sungkyunkwan University gave a talk entitled “Enhancing Memory in Neural Networks: Memory Retention, Efficient Adaptation, and Self-Training for Reasoning” (MiCS)

成均館大学校のJinYeong Bak准教授に、「Enhancing Memory in Neural Networks: Memory Retention, Efficient Adaptation, and Self-Training for Reasoning 」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

We held a surprise party at the Suzuki Laboratory to celebrate Professor Jun Suzuki’s birthday!
The event was themed around the lab’s symbolic color, blue.
Video messages were sent from colleagues with close ties to Professor Suzuki, including Professor Kentaro Inui from MBZUAI and Associate Professor Sho Yokoi from the National Institute for Japanese Language and Linguistics.
Professor Suzuki watched them with great joy and appreciation.

鈴木潤教授のお誕生日を祝うサプライズパーティーを鈴木研究室で開催しました！ 鈴木研のシンボルカラー「青」をイメージしたパーティでした。MBZUAIの乾健太郎教授や国語研の横井祥准教授など鈴木教授に縁のある遠方の方々からはビデオレターも届き、大変嬉しそうなご様子でご覧になっておりました。

Associate Professor Sho Yokoi gave a talk titled “An Introduction to Semantic Analysis of Corpora Using Large Language Models: Computing Meaning Beyond the Sentence Level” at the Spring 2025 Research Meeting and General Assembly of the Association for English Corpus Studies held on June 14.

6月14日に開催された英語コーパス学会2025年度春季研究会・総会にて、横井祥准教授が「大規模言語モデルを利用したコーパスの意味分析入門 — 文を超えた意味の計算」のタイトルでトークを行いました。

The following eight presentations were given at The 39th Annual Conference of the Japanese Society for Artificial Intelligence, 2025 (JSAI2025) held from May 27 to 30.

2025年5月27日から30日にかけて大阪府で行われた2025年度 人工知能学会全国大会 (第39回)(JSAI2025)において、Tohoku NLP メンバーが携わる下記8件の研究発表が行われました。

5/27(火)

[1Win4] ポスターセッション1　　　2025年5月27日(火) 15:30 〜 17:30 W会場 (イベントホールD-E)

• [1Win4-18] 言語モデルにおける知識の既知性判断の内部表象
  〇佐藤 魁 (東北大学)、高橋 良允 (東北大学)、Benjamin Heinzerling (理化学研究所/東北大学)、田中 健史朗 (北陸先端科学技術大学院大学)、趙 羽風 (北陸先端科学技術大学院大学)、坂井 吉弘 (北陸先端科学技術大学院大学)、井之上 直也 (北陸先端科学技術大学院大学/理化学研究所)、乾 健太郎 (MBZUAI/東北大学/理化学研究所)

5/28(水)

[2Win5] ポスターセッション2　　　2025年5月28日(水) 15:30 〜 17:30 W会場 (イベントホールD-E)

• [2Win5-23] 既知性を示す言語表現を伴う知識に関する内部表象の分析
  〇田中 健史朗 (北陸先端科学技術大学院大学)、坂井 吉弘 (北陸先端科学技術大学院大学)、趙 羽風 (北陸先端科学技術大学院大学)、井之上 直也 (北陸先端科学技術大学院大学/理化学研究所)、佐藤 魁 (東北大学)、高橋 良允 (東北大学)、Benjamin Heinzerling (理化学研究所/東北大学)、乾 健太郎 (MBZUAI/東北大学/理化学研究所)
• [2Win5-42] 説得エージェントの拡張戦略設計と意図変化を用いた自動評価手法の提案
  〇中野 雄斗 (東北大学)、野末 慎之介 (東北大学)、渡邉 陽太郎 (株式会社 PKSHA Technology)、髙﨑 環 (株式会社 PKSHA Technology)、赤間 怜奈 (東北大学/理化学研究所)、鈴木 潤 (東北大学/理化学研究所)
• [2Win5-50] 大規模言語モデルの推論能力向上に向けた信念空間の是正
  〇丹羽 彩奈 (MBZUAI)、金子 正弘 (MBZUAI)、乾 健太郎 (MBZUAI/東北大学/理化学研究所)

5/29(木)

[3G1-GS-6] 言語メディア処理　　　2025年5月29日(木) 09:00 〜 10:40 G会場 (会議室1002)

• [3G1-GS-6-03] 文長による内容語率の変化が引き起こす文ベクトルの品質低下
  〇原 知正 (東北大学)、栗田 宙人 (東北大学)、横井 祥 (国立国語研究所/東北大学/理化学研究所)、今泉 允聡 (東京大学/理化学研究所)、乾 健太郎 (MBZUAI/東北大学/理化学研究所)

[3Win5] ポスターセッション3　　　2025年5月29日(木) 15:30 〜 17:30 W会場 (イベントホールD-E)

• [3Win5-87] 知識汚染パラメータの枝刈りによる関係知識推論の改善
  〇金 輝燦 (東京都立大学)、金子 正弘 (モハメド・ビン・ザイード人工知能大学)、平岡 達也 (モハメド・ビン・ザイード人工知能大学/理化学研究所)、小町 守 (一橋大学)、乾 健太郎 (モハメド・ビン・ザイード人工知能大学/東北大学/理化学研究所)、Timothy Baldwin (モハメド・ビン・ザイード人工知能大学)

5/30(金)

[4G3-GS-6] 言語メディア処理　　　2025年5月30日(金) 14:00 〜 15:40 G会場 (会議室1002)

• [4G3-GS-6-01] 旅費制約を考慮したマルチエージェントによる旅行計画生成システムの有効性検証
  〇吉田 倖 (東北大学)、野末 慎之介 (東北大学)、阿部 香央莉 (マシンラーニング・ソリューションズ株式会社)、赤間 怜奈 (東北大学/理化学研究所)、鈴木 潤 (東北大学/理化学研究所)

[4K3-IS-2f] Machine learning　　　2025年5月30日(金) 15:00 〜 15:20 K会場 (会議室1006)

• [4K3-IS-2f-04] Learnability of Regular Languages in Language Models
  〇Masaya Taniguchi (RIKEN)、Naoki Negishi (Tohoku University)、Yusaku Nishimiya (University of Illinois Springfield/RIKEN)、Keisuke Sakaguchi (Tohoku University)、Kentaro Inui (Tohoku University/RIKEN/Mohamed bin Zayed University of Artificial Intelligence)

The research from Prof. Kentaro Inui and Yoichi Takahashi (researcher)’s team was featured in the May 7th edition of the Nikkei Newspaper (Japanese) and the May 26th edition of the Asahi Newspaper (Japanese).

乾健太郎教授、高橋容市（研究員）が携わる研究が、5月7日（水）の日本経済新聞【SNSに巣くう誤情報を正せない　過ちを認めたくない心理が助長】、および、5月26日（月）の朝日新聞【偽情報信じている人の誤り正す方法は?　 正しい記事だけでは効果薄】に掲載されました。

A press release for our work has been published.

東北大学より、乾健太郎教授、髙橋容市（研究員）らがかかわる研究成果に関するプレスリリースが公開されました。

• 誤情報を信じる人に訂正を伝えるには？ 訂正回避傾向へのメタ認知的支援の効果を解明

The following papers have been accepted to the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025).

ACL 2025 に以下の論文が採択されました。

Main Conference

• Ryo Kishino, Hiroaki Yamagiwa, Ryo Nagata, Sho Yokoi and Hidetoshi Shimodaira.
  “Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport”
• Munachiso S Nwadike, Zangir Iklassov, Toluwani Aremu, Tatsuya Hiraoka, Benjamin Heinzerling, Velibor Bojkovic, Hilal AlQuabeh, Martin Takáč and Kentaro Inui.
  “Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles”
• Diana Galvan-Sosa, Gabrielle Gaudeau, Pride Kavumba, Yunmeng Li, Hongyi gu, Zheng Yuan, Keisuke Sakaguchi and Paula Buttery.
  “Rubrik’s Cube: Testing a New Rubric for Evaluating Explanations on the CUBE dataset”
• Hai-Long Sun, Zhun Sun, Houwen Peng and Han-Jia Ye.
  “Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning”

Findings

• Ayana Niwa, Masahiro Kaneko and Kentaro Inui.
  “Rectifying Belief Space via Unlearning to Harness LLMs’ Reasoning”
• Masaki Sakata, Benjamin Heinzerling, Sho Yokoi, Takumi Ito and Kentaro Inui.
  “On Entity Identification in Language Models”
• Mengyu Ye, Tatsuki Kuribayashi, Goro Kobayashi and Jun Suzuki.
  “Can Input Attributions Interpret the Inductive Reasoning Process in In-Context Learning?”

Prof. Timothy Baldwin from MBZUAI gave a talk entitled “Fact-checking LMs: the Truth, the Whole Truth, and Nothing but the Truth.” (MiCS)

MBZUAIのTim Baldwin教授に、「Fact-checking LMs: the Truth, the Whole Truth, and Nothing but the Truth. 」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

Three members have been selected as JSPS Research Fellows for the academic year 2025: Hiroto Kurita (Research Fellow DC1), Keito Kudo (Research Fellow DC2), and Masaki Sakata (Research Fellow DC2).

令和7年度（2025年度）日本学術振興会特別研究員に採用されました。

• 栗田 宙人（特別研究員 DC1）
  研究課題「モデル効率化に向けた言語モデルのデータ中心的分析」
• 稲葉 達郎（特別研究員 DC1）
  研究課題「音楽知識を有する記号音楽と言語のマルチモー ダルモデルの作成」
• 工藤 慧音（特別研究員 DC2）
  研究課題「非記号主義的推論計算システム実現に向けた言語モデルの推論機序の解明」
• 坂田 将樹（特別研究員 DC2）
  研究課題「表象の幾何的分析による言語モデルの概念解析」

Three research projects from Tohoku NLP Group has been accepted for Broadening Opportunities for Outstanding young researchers and doctoral students in STrategic areas (BOOST).

国家戦略分野の若手研究者及び博士後期課程学生の育成事業 (BOOST) 次世代AI人材育成プログラム（若手研究者支援）に、Tohoku NLP グループから下記の研究課題が採択されました。

• 日本語が表現する文化的側面の理解と計算のための自然言語処理（研究代表者：赤間 怜奈）
• 大規模基盤モデルのマルチモーダル抽象推論（研究代表者：坂口 慶祐）
• 画像・自然言語・コードの統合理解に基づくマルチモーダルモデル（研究代表者：高橋 いつみ（斉藤 いつみ））

Second year master’s student Momoka Furuhashi gave a research talk “Is the use of checklists effective in the automatic evaluation of generative tasks?” at LLM-jp on 3/25.

3/25に開催された LLM 勉強会 にて、修士2年の古橋萌々香さんが「生成系タスクの自動評価においてチェックリストの使用は有効なのか？」という題で研究発表を行いました。

We held a farewell party for departing lab members. They received cards filled with messages from the lab members, and shared their warm memories. We wish you every success!

研究室メンバーの追い出しコンパを行いました。旅立っていく仲間に、みんなからメッセージカードも渡され、楽しく思い出を語らいました。益々のご活躍を祈念いたします。

Congratulations on your graduation. We wish you every success in the future!

ご修了おめでとうございます。これからの益々のご活躍をお祈り申し上げます。

The following students received graduation awards. Congratulations!

学位授与式が執り行われ、下記の学生が表彰されました。おめでとうございます！

Tohoku University President’s Award / 総長賞

• 田中 涼太（社会人博士 2年）

Tohoku University President’s Excellent Student Award / 総長優秀学生賞

• 小林 悟郎（博士 3年）

School of Engineering Dean’s Award / 工学部長賞

• 小林 春斗（学部 4年）

Graduate School of Information Sciences Dean’s Award / 情報科学研究科長賞

• 鴨田 豪（修士 2年）

At the graduation ceremony, Goro Kobayashi served as the chief representative delivering the reply speech, while Ryota Tanaka served as the deputy representative. Additionally, at the Graduate School of Information Science’s degree certificate presentation ceremony, Ryota Tanaka served as the chief representative for receiving the degree certificate.

学位記授与式では小林悟郎さんが答辞総代、田中涼太さんが答辞副総代を務めました。また、情報科学研究科の学位伝達式では、田中涼太さんが学位記受領総代を務めました。