Dr.Hilal AIquabeh from MBZUAI gave a talk entitled “Theory of Memory in Sequence Models.” (MiCS)

MBZUAIのHilal AIquabeth氏に、「Theory of Memory in Sequence Models.」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

9月25日〜26日、10月3日に研究室見学会をおこないました。
ご参加いただいた皆さま、ありがとうございました！

坂口・乾研究室および鈴木研究室（Tohoku NLP Group）への配属を考えている方は、配属を希望する方向けのページを引き続き公開しておりますのでぜひご利用ください：学部3年生向け研究室紹介

特に、『配属を検討しているみなさんへ』は是非ご一読いただければと思います。

Research conducted by Professor Kentaro Inui, Associate Professor Keisuke Sakaguchi, Researcher Masaya Taniguchi, and Master’s student Kosuke Matsuzaki was featured in an article within Nature “News Feature.”

乾健太郎教授、坂口慶祐准教授、谷口雅弥（研究員）、松﨑孝介（修士2年）の携わる研究が、Nature「News Feature」内の記事「AI is helping to decode animals’ speech. Will it also let us talk with them?」にて紹介されました。

The following paper has been accepted at The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025) Industry Track.

EMNLP 2025 Industry Track に下記の論文が採択されました。

• Shinnosuke Nozue, Yuto Nakano, Yotaro Watanabe, Meguru Takasaki, Shoji Moriya, Reina Akama and Jun Suzuki.
  “Enhancing Persuasive Dialogue Agents by Synthesizing Cross‑Disciplinary Communication Strategies”

The following paper has been accepted at The 3rd BabyLM Challenge.

BabyLM Challenge に下記の論文が採択されました。

• Ko Yoshida , Daiki Shiono, Kai Sato, Toko Miura, Momoka Furuhashi and Jun Suzuki.
  “Batch-wise Convergent Pretraining: Step-by-Step Learning Inspired by Child Language Development”

The following papers have been accepted at The Eight Workshop on Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP 2025).

BlackboxNLP 2025 に下記の論文が採択されました。

• Ryosuke Takahashi, Go Kamoda, Benjamin Heinzerling, Keisuke Sakaguchi and Kentaro Inui.
  “Understanding the Side Effects of Rank-One Knowledge Editing”
• Suchun Xie, Hwichan Kim, Shota Sasaki, Kosuke Yamada and Jun Suzuki.
  “Can Language Neuron Intervention Reduce Non-Target Language Output?”

The following papers have been accepted to The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025).

NeurIPS 2025 に下記の論文が採択されました。

• Mengyu Ye, Jun Suzuki, Tatsuro Inaba and Tatsuki Kuribayashi.
  “Transformer Key-Value Memories Are Nearly as Interpretable as Sparse Autoencoders”
• Dongyuan Li, Shiyin Tan, Ying Zhang, Ming Jin, Shirui Pan, Manabu Okumura and Renhe Jiang.
  “DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs”

The “RD Training Project” supervised by Assistant Professor Reina Akama and developed by Kodansha Ltd. (Bunkyo-ku, Tokyo) was released on September 17th.

赤間怜奈助教が監修した、株式会社講談社（東京都文京区）の「RD（アール・ディー）育成プロジェクト」が9月17日に公開されました。

はやみねかおる『怪盗クイーン』「RD（アール・ディー）育成プロジェクト」公開のお知らせ | 株式会社講談社のプレスリリース

The book “Circadian Clocks in 2024”, which includes research findings by Professor Kentaro Inui and Researcher Yoichi Takahashi, has been published.

乾健太郎教授、高橋容市（研究員）が携わる研究の発表内容が含まれる『Circadian Clocks in 2024』が出版されました。

• M.Nakao, Y. Takahashi, K. Inui, “Diverse aspects of human circadian rhythms disclosed by Tweet (X) density sequences”, In: “Circadian Clocks in 2024”, K.-I. Honma and S. Honma eds., Ashoff and Honma Foundation, pp.231-234,  2025. ISBN978-4-9913218-1-8

The following paper has been accepted to the Tenth Conference on Machine Translation (WMT25).

WMT25 に下記の論文に採択されました。

• Koichi Iwakawa, Keito Kudo, Subaru Kimura, Takumi Ito and Jun Suzuki.
  “KIKIS at WMT 2025 General Translation Task”

2025年9月18日から19日にかけて浜松で開催されたNLP若手の会 (YANS) 第20回シンポジウムにおいて、Tohoku NLP メンバーが携わる下記16件の発表をおこないました。
The following works were presented at The 20th Symposium of Young Researcher Association for NLP Studies (YANS) held in Hamamatsu on September 18th and 19th.

ポスターセッション

• [S1-P16] バッチ単位収束型事前学習：子どもの言語発達に着想を得た一歩ずつの学習
  吉田 倖 (東北大), 塩野 大輝 (東北大), 佐藤 魁 (東北大), 古橋 萌々香 (東北大), 三浦 東子 (東北大), 鈴木 潤 (東北大/理研/NII LLMC)
• [S1-P36] 言語モデルにおける知識活用能力の網羅的評価手法の提案
  佐藤 魁 (東北大/ELYZA), 佐々木 彬 (ELYZA)
• [S2-P03] 言語モデルの内部機序分析に向けたサーキットの可視化
  深田 圭一 (東北大), Heinzerling Benjamin (理研/東北大), 坂口 慶祐 (東北大/理研)
• [S2-P16] マルチモーダルLLMのモダリティ間共有表現の解明
  神林 励旺 (東北大), 稲葉 達郎 (MBZUAI), Heinzerling Benjamin (理研/東北大), 坂口 慶祐 (東北大/理研), 磯沼 大 (東北大/NII LLMC)
• [S4-P06] 拡散言語モデルによる日本語縦読み文章生成
  風間 正弘 (Ubie), 横井 祥 (国語研/東北大/理研)
• [S4-P17] 事後学習における評価データの利用が大規模言語モデルに与える影響
  齋藤 由佳 (東北大), 津田 純花 (東北大), 吉田 希世 (東北大), 朱 灏丞 (東北大), 内藤 悠 (東北大), 吉田 倖 (東北大), 赤間 怜奈 (東北大/国語研/理研), 鈴木 潤 (東北大/理研/NII LLMC)
• [S4-P38] 方言音声認識における古典的手法の再考
  松﨑 孝介 (東北大), 谷口 雅弥 (理研)
• [S4-P50] 非直線的な物語における言語モデルの時間的推論能力の検証
  宮里 龍平 (電通大), 丹羽 彩奈 (MBZUAI), 乾 健太郎 (MBZUAI/東北大/理研), 原田 慧 (電通大)
• [S5-P12] 密度比の直接推定に基づく言語モデルの出力較正
  鴨田 豪 (総研大/国語研), 熊谷 雄介 (博報堂DYホールディングス), 松井 孝太 (京大), 横井 祥 (国語研/東北大/理研)
• [S5-P15] 自己生成データを活用した事後学習による大規模言語モデルの性能検証
  吉田 希世 (東北大), 齋藤 由佳 (東北大), 津田 純花 (東北大), 内藤 悠 (東北大), 吉田 倖 (東北大), 朱 灏丞 (東北大), 赤間 怜奈 (東北大/国語研/理研), 鈴木 潤 (東北大/理研/NII LLMC)
• [S5-P28] 能力値推論タスクから見るLLMのバイアス
  渡邉 天照 (東北大), 羽根田 賢和 (東北大), 坂口 慶祐 (東北大/理研)
• [S5-P30] 大規模言語モデルにおける人工データ生成指針の検討
  津田 純花 (東北大), 齋藤 由佳 (東北大), 吉田 希世 (東北大), 吉田 倖 (東北大), 朱 灏丞 (東北大), 内藤 悠 (東北大), 赤間 怜奈 (東北大/国語研/理研), 鈴木 潤 (東北大/理研/NII LLMC)
• [S5-P36] 類題を用いた教育的フィードバックの自動評価
  古橋 萌々香 (東北大/NII LLMC), 中山 功太 (NII LLMC), 児玉 貴志 (NII LLMC), 菅原 朔 (NII)
• [S5-P40] 漸進的組合せ範疇文法と言語モデルの内部機序
  谷口 雅弥 (理研)

招待ポスター

• [IV-P04] 「逆」のすすめ
  磯沼 大（国立情報学研究所 / 東北大学）
• [IV-P13] 言語に関する統計物理学的問いと、自然言語処理技術によるその探究
  中石 海（理化学研究所）

Our team received the Researcher Encouragement Award for three works at the 20th YANS Symposium. Congratulations!

第20回YANSシンポジウム(YANS2025)にて、奨励賞3件を受賞しました。
おめでとうございます！

奨励賞：

• 神林 励旺
  “マルチモーダルLLMのモダリティ間共有表現の解明”（神林 励旺, 稲葉 達郎, Heinzerling Benjamin, 坂口 慶祐, 磯沼 大）
• 松﨑 孝介
  “方言音声認識における古典的手法の再考”（松﨑 孝介, 谷口 雅弥）
• 吉田 倖
  “バッチ単位収束型事前学習：子どもの言語発達に着想を得た一歩ずつの学習”（吉田 倖, 塩野 大輝, 佐藤 魁, 古橋 萌々香, 三浦 東子, 鈴木 潤）

The following article has been included in the International Journal of Artificial Intelligence in Education.

下記の論文が採録された『International Journal of Artificial Intelligence in Education』が掲載されました。

• Hiroaki Funayama, Yuichiroh Matsubayashi, Yuya Asazuma, Tomoya Mizumoto & Kentaro Inui.
  “Cross-prompt Pre-finetuning of Language Models for Short Answer Scoring”

The following papers have been accepted to The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025).

EMNLP 2025 に下記の論文が採択されました。

Main Conference

• Momoka Furuhashi, Kouta Nakayama, Takashi Kodama and Saku Sugawara.
  “Are Checklists Really Useful for Automatic Evaluation of Generative Tasks?”
• Wenzhi Wang, Paul Reisert, Shoichi Naito, Naoya Inoue, Machi Shimmei, Surawat Pothong, Jungmin Choi and Kentaro Inui.
  “Identification of Multiple Logical Interpretations in Counter-Arguments”

Findings

• Tatsuro Inaba, Go Kamoda, Kentaro Inui, Masaru Isonuma, Yusuke Miyao, Yohei Oseki, Yu Takagi and Benjamin Heinzerling.
  “How a Bilingual LM Becomes Bilingual: Tracing Internal Representations with Sparse Autoencoders”
• Yuto Nishida, Masaru Isonuma and Yusuke Oda.
  “Instability in Downstream Task Performance During LLM Pretraining”

The following papers have been accepted to The 2025 Pacific Rim International Conference on Artificial Intelligence (PRICAI 2025).

PRICAI 2025 に下記の論文が採択されました。

• Suchun Xie, Shota Sasaki, Hwichan Kim, Yunmeng Li, Reina Akama, Jun Suzuki.
  “Understanding Cross-Lingual Generalization of English-Centric LLMs: The Role of Representation Similarity and Data Exposure”

Associate Professor Sho Yokoi gave a talk titled “What a ‘stochastic parrot’ can do, and why it can do it” at the 51st Annual Conference of the Japan Association for English Corpus Studies (JAECS) held from September 2nd to 3rd.

9月2日から3日にかけて開催された英語コーパス学会（JAECS）第51回大会にて、横井祥准教授が『「確率的なオウム」にできること、またそれがなぜできるのかについて』のタイトルでトークを行いました。

An Open Campus event targeting prospective students and the local community has been held on July 30th and 31st. Tohoku NLP Group showcased the research results with demonstration systems and panel displays.

7月30日-31日の2日間、入学希望者や地域の方々を対象にしたオープンキャンパスが開催されました。 Tohoku NLP Group では、教員による研究室紹介や所属学生との交流を行いました。

• 工学部電気情報物理工学科オープンキャンパス 研究室公開・展示
• 研究室紹介動画「（鈴木（潤））・坂口・乾研究室《自然言語処理学研究室》」
• 研究室紹介動画「鈴木（潤）研究室《人工知能基礎学》」

The following paper received the AIED 2025 Best LBR Paper Award. Congratulations!

震明 万智（助教）らの下記の研究がAIED 2025 Best LBR Paper Awardを受賞しました。おめでとうございます！

• Machi Shimmei, Masaki Uto, Yuichiroh Matsubayashi, Kentaro Inui, Aditi Mallavarapu and Noboru Matsuda.
  Tell Me Who Your Students Are: GPT Can Generate Valid Multiple-Choice Questions When Students’ (Mis)Understanding Is Hinted

The following papers were presented at the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025) main conference and workshops held in Vienna, Austria from July 27th to August 1st.

7月27日から8月1日にかけてオーストリアのウィーンで開催された ACL 2025 にて、下記の発表を行いました。

Main Conference

• Ryo Kishino, Hiroaki Yamagiwa, Ryo Nagata, Sho Yokoi and Hidetoshi Shimodaira.
  “Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport”
• Munachiso S Nwadike, Zangir Iklassov, Toluwani Aremu, Tatsuya Hiraoka, Benjamin Heinzerling, Velibor Bojkovic, Hilal AlQuabeh, Martin Takáč and Kentaro Inui.
  “Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles”
• Diana Galvan-Sosa, Gabrielle Gaudeau, Pride Kavumba, Yunmeng Li, Hongyi gu, Zheng Yuan, Keisuke Sakaguchi and Paula Buttery.
  “Rubrik’s Cube: Testing a New Rubric for Evaluating Explanations on the CUBE dataset”
• Hai-Long Sun, Zhun Sun, Houwen Peng and Han-Jia Ye.
  “Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning”

Findings

• Ayana Niwa, Masahiro Kaneko and Kentaro Inui.
  “Rectifying Belief Space via Unlearning to Harness LLMs’ Reasoning”
• Masaki Sakata, Benjamin Heinzerling, Sho Yokoi, Takumi Ito and Kentaro Inui.
  “On Entity Identification in Language Models”
• Mengyu Ye, Tatsuki Kuribayashi, Goro Kobayashi and Jun Suzuki.
  “Can Input Attributions Explain Inductive Reasoning in In-Context Learning? ”

2nd-year Doctoral student Keito Kudo received the Best Presentation Award at the 33rd Doctoral Student Presentations held on July 11th. Congratulations!

7月11日に開催された第33回博士後期課程学生発表会にて、工藤慧音 （博士課程2年）がベストプレゼンテーション賞を受賞しました。おめでとうございます！