Professor Jun Suzuki gave a talk entitled “The Present and Future of LLMs” on the interview series “Symbol Emergence Crosstalk” released on November 12th.

11月12日に配信された連続対談シリーズ「記号創発クロストーク」にて、鈴木潤教授が「LLMの現在地と未来」のタイトルでトークを行いました。

Associate Professor Sho Yokoi gave a talk entitled “Why do we perceive intelligence in LLMs?” on the interview series “Symbol Emergence Crosstalk” released on November 12th.

11月12日に配信された連続対談シリーズ「記号創発クロストーク」にて、横井祥准教授が「なぜLLMに知性を感じるのか」のタイトルでトークを行いました。

The following works have been presented at the 28th Information-Based Induction Sciences Workshop (IBIS2025) held from November 12 to 15.

11月12日から11月15日にかけて開催された第28回情報論的学習理論ワークショップ (IBIS2025) にて、下記の発表をおこないました。

ポスタープレゼンテーション

• 原知正, 栗田宙人, 今泉允聡 (東京大学, 京都大学, 理化学研究所), 乾健太郎 (MBZUAI・東北大学・理化学研究所), 横井祥 (国立国語研究所・東北大学・理化学研究所)
  “なぜ一次モーメント情報のみ残したテキスト埋め込みはうまく動くのか？：単語埋め込み集合における二次モーメント情報の崩壊の分析”
• 笠浦一海 (オムロンサイニックエックス株式会社), 恩田直登 (オムロンサイニックエックス株式会社), 折池雄太 (株式会社サイバーエージェント), 谷口雅弥 (理化学研究所), 三内顕義 (京都大学), 園田翔 (理化学研究所 / 株式会社サイバーエージェント)
  “Discovering New Theorems via LLMs with In-Context Proof Learning in Lean”
• 石峯拓海 (東京大学・国立国語研究所), 日野英逸 (統計数理研究所), 横井祥 (国立国語研究所・東北大学・理化学研究所)
  “言語モデルの最終隠れ状態のソフト分割可能な単体複体としての分析”
• 三原朋樹 (筑波大学), 石川勲 (京都大学), 横井祥 (国立国語研究所・東北大学・理化学研究所)
  “p進数を用いた単語埋め込みについて”

企画セッション

• 谷中瞳 (東京大学・理化学研究所)
  “範疇文法と論理：理論と応用”

The essay written by Specially Appointed Associate Professor Benjamin Heinzerling has been published in “Artificial Intelligence“.

ハインツァリング・ベンヤミン特任准教授の執筆したエッセイが、「人工知能」誌2025年40巻6号「グローバルアイ〔第79回〕ドイツのグラドゥイアーテンコレーク：博士号を取るなら10人ぐらいの仲間と」に掲載されました。

The following papers have been accepted to The 14th International Joint Conference on Natural Language Processing (IJCNLP) and The 4th Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics (AACL) (IJCNLP-AACL 2025).

IJCNLP-AACL 2025 に下記の論文が採択されました。

• Surawat Pothong, Machi Shimmei, Naoya Inoue, Paul Reisert, Ana Brassard, Wenzhi Wang, Shoichi Naito, Jungmin Choi and Kentaro Inui.
  “FOCUS: A Benchmark for Targeted Socratic Question Generation via Source-Span Grounding”
• Mutsumi Sasaki, Go Kamoda, Ryosuke Takahashi, Kosuke Sato, Kentaro Inui, Keisuke Sakaguchi and Benjamin Heinzerling.
  “Can Language Models Handle a Non-Gregorian Calendar?”
• Nhi Hoai Doan, Tatsuya Hiraoka and Kentaro Inui.
  “Understanding and Controlling Repetition Neurons and Induction Heads in In-context learning”

First-year Ph.D. student Momoka Furuhashi introduced her EMNLP 2025-accepted paper “Are Checklists Really Useful for Automatic Evaluation of Generative Tasks?” at LLM-jp on 10/28.

10/28に開催された LLM 勉強会 にて、博士1年の古橋萌々香さんがEMNLP 2025に採択された論文「Are Checklists Really Useful for Automatic Evaluation of Generative Tasks?」の紹介を行いました。

Ph.D. student Mengyu Ye has been selected as a Google PhD Fellow 2025.

博士学生の葉 夢宇が Google PhD Fellowship 2025 に採択されました．

The following poster received the RIKEN Autumn School 2025 Poster Award. Congratulations!

西宮 優作 (理研AIP) の下記の研究がRIKEN Autumn School 2025 Poster Awardを受賞しました。おめでとうございます！

• Yusaku Nishimiya.
  Complexity and structure of non-commutative multiplicative Linear Logic

Dr.Hilal AIquabeh from MBZUAI gave a talk entitled “Theory of Memory in Sequence Models.” (MiCS)

MBZUAIのHilal AIquabeth氏に、「Theory of Memory in Sequence Models.」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

9月25日〜26日、10月3日に研究室見学会をおこないました。
ご参加いただいた皆さま、ありがとうございました！

坂口・乾研究室および鈴木研究室（Tohoku NLP Group）への配属を考えている方は、配属を希望する方向けのページを引き続き公開しておりますのでぜひご利用ください：学部3年生向け研究室紹介

特に、『配属を検討しているみなさんへ』は是非ご一読いただければと思います。

Research conducted by Professor Kentaro Inui, Associate Professor Keisuke Sakaguchi, Researcher Masaya Taniguchi, and Master’s student Kosuke Matsuzaki was featured in an article within Nature “News Feature.”

乾健太郎教授、坂口慶祐准教授、谷口雅弥（研究員）、松﨑孝介（修士2年）の携わる研究が、Nature「News Feature」内の記事「AI is helping to decode animals’ speech. Will it also let us talk with them?」にて紹介されました。

The following paper has been accepted at The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025) Industry Track.

EMNLP 2025 Industry Track に下記の論文が採択されました。

• Shinnosuke Nozue, Yuto Nakano, Yotaro Watanabe, Meguru Takasaki, Shoji Moriya, Reina Akama and Jun Suzuki.
  “Enhancing Persuasive Dialogue Agents by Synthesizing Cross‑Disciplinary Communication Strategies”

The following paper has been accepted at The 3rd BabyLM Challenge.

BabyLM Challenge に下記の論文が採択されました。

• Ko Yoshida , Daiki Shiono, Kai Sato, Toko Miura, Momoka Furuhashi and Jun Suzuki.
  “Batch-wise Convergent Pretraining: Step-by-Step Learning Inspired by Child Language Development”

The following papers have been accepted at The Eight Workshop on Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP 2025).

BlackboxNLP 2025 に下記の論文が採択されました。

• Ryosuke Takahashi, Go Kamoda, Benjamin Heinzerling, Keisuke Sakaguchi and Kentaro Inui.
  “Understanding the Side Effects of Rank-One Knowledge Editing”
• Suchun Xie, Hwichan Kim, Shota Sasaki, Kosuke Yamada and Jun Suzuki.
  “Can Language Neuron Intervention Reduce Non-Target Language Output?”

The following papers have been accepted to The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025).

NeurIPS 2025 に下記の論文が採択されました。

• Mengyu Ye, Jun Suzuki, Tatsuro Inaba and Tatsuki Kuribayashi.
  “Transformer Key-Value Memories Are Nearly as Interpretable as Sparse Autoencoders”
• Dongyuan Li, Shiyin Tan, Ying Zhang, Ming Jin, Shirui Pan, Manabu Okumura and Renhe Jiang.
  “DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs”

The “RD Training Project” supervised by Assistant Professor Reina Akama and developed by Kodansha Ltd. (Bunkyo-ku, Tokyo) was released on September 17th.

赤間怜奈助教が監修した、株式会社講談社（東京都文京区）の「RD（アール・ディー）育成プロジェクト」が9月17日に公開されました。

はやみねかおる『怪盗クイーン』「RD（アール・ディー）育成プロジェクト」公開のお知らせ | 株式会社講談社のプレスリリース

The book “Circadian Clocks in 2024”, which includes research findings by Professor Kentaro Inui and Researcher Yoichi Takahashi, has been published.

乾健太郎教授、高橋容市（研究員）が携わる研究の発表内容が含まれる『Circadian Clocks in 2024』が出版されました。

• M.Nakao, Y. Takahashi, K. Inui, “Diverse aspects of human circadian rhythms disclosed by Tweet (X) density sequences”, In: “Circadian Clocks in 2024”, K.-I. Honma and S. Honma eds., Ashoff and Honma Foundation, pp.231-234,  2025. ISBN978-4-9913218-1-8

The following paper has been accepted to the Tenth Conference on Machine Translation (WMT25).

WMT25 に下記の論文に採択されました。

• Koichi Iwakawa, Keito Kudo, Subaru Kimura, Takumi Ito and Jun Suzuki.
  “KIKIS at WMT 2025 General Translation Task”

2025年9月18日から19日にかけて浜松で開催されたNLP若手の会 (YANS) 第20回シンポジウムにおいて、Tohoku NLP メンバーが携わる下記16件の発表をおこないました。
The following works were presented at The 20th Symposium of Young Researcher Association for NLP Studies (YANS) held in Hamamatsu on September 18th and 19th.

ポスターセッション

• [S1-P16] バッチ単位収束型事前学習：子どもの言語発達に着想を得た一歩ずつの学習
  吉田 倖 (東北大), 塩野 大輝 (東北大), 佐藤 魁 (東北大), 古橋 萌々香 (東北大), 三浦 東子 (東北大), 鈴木 潤 (東北大/理研/NII LLMC)
• [S1-P36] 言語モデルにおける知識活用能力の網羅的評価手法の提案
  佐藤 魁 (東北大/ELYZA), 佐々木 彬 (ELYZA)
• [S2-P03] 言語モデルの内部機序分析に向けたサーキットの可視化
  深田 圭一 (東北大), Heinzerling Benjamin (理研/東北大), 坂口 慶祐 (東北大/理研)
• [S2-P16] マルチモーダルLLMのモダリティ間共有表現の解明
  神林 励旺 (東北大), 稲葉 達郎 (MBZUAI), Heinzerling Benjamin (理研/東北大), 坂口 慶祐 (東北大/理研), 磯沼 大 (東北大/NII LLMC)
• [S4-P06] 拡散言語モデルによる日本語縦読み文章生成
  風間 正弘 (Ubie), 横井 祥 (国語研/東北大/理研)
• [S4-P17] 事後学習における評価データの利用が大規模言語モデルに与える影響
  齋藤 由佳 (東北大), 津田 純花 (東北大), 吉田 希世 (東北大), 朱 灏丞 (東北大), 内藤 悠 (東北大), 吉田 倖 (東北大), 赤間 怜奈 (東北大/国語研/理研), 鈴木 潤 (東北大/理研/NII LLMC)
• [S4-P38] 方言音声認識における古典的手法の再考
  松﨑 孝介 (東北大), 谷口 雅弥 (理研)
• [S4-P50] 非直線的な物語における言語モデルの時間的推論能力の検証
  宮里 龍平 (電通大), 丹羽 彩奈 (MBZUAI), 乾 健太郎 (MBZUAI/東北大/理研), 原田 慧 (電通大)
• [S5-P12] 密度比の直接推定に基づく言語モデルの出力較正
  鴨田 豪 (総研大/国語研), 熊谷 雄介 (博報堂DYホールディングス), 松井 孝太 (京大), 横井 祥 (国語研/東北大/理研)
• [S5-P15] 自己生成データを活用した事後学習による大規模言語モデルの性能検証
  吉田 希世 (東北大), 齋藤 由佳 (東北大), 津田 純花 (東北大), 内藤 悠 (東北大), 吉田 倖 (東北大), 朱 灏丞 (東北大), 赤間 怜奈 (東北大/国語研/理研), 鈴木 潤 (東北大/理研/NII LLMC)
• [S5-P28] 能力値推論タスクから見るLLMのバイアス
  渡邉 天照 (東北大), 羽根田 賢和 (東北大), 坂口 慶祐 (東北大/理研)
• [S5-P30] 大規模言語モデルにおける人工データ生成指針の検討
  津田 純花 (東北大), 齋藤 由佳 (東北大), 吉田 希世 (東北大), 吉田 倖 (東北大), 朱 灏丞 (東北大), 内藤 悠 (東北大), 赤間 怜奈 (東北大/国語研/理研), 鈴木 潤 (東北大/理研/NII LLMC)
• [S5-P36] 類題を用いた教育的フィードバックの自動評価
  古橋 萌々香 (東北大/NII LLMC), 中山 功太 (NII LLMC), 児玉 貴志 (NII LLMC), 菅原 朔 (NII)
• [S5-P40] 漸進的組合せ範疇文法と言語モデルの内部機序
  谷口 雅弥 (理研)

招待ポスター

• [IV-P04] 「逆」のすすめ
  磯沼 大（国立情報学研究所 / 東北大学）
• [IV-P13] 言語に関する統計物理学的問いと、自然言語処理技術によるその探究
  中石 海（理化学研究所）

Our team received the Researcher Encouragement Award for three works at the 20th YANS Symposium. Congratulations!

第20回YANSシンポジウム(YANS2025)にて、奨励賞3件を受賞しました。
おめでとうございます！

奨励賞：

• 神林 励旺
  “マルチモーダルLLMのモダリティ間共有表現の解明”（神林 励旺, 稲葉 達郎, Heinzerling Benjamin, 坂口 慶祐, 磯沼 大）
• 松﨑 孝介
  “方言音声認識における古典的手法の再考”（松﨑 孝介, 谷口 雅弥）
• 吉田 倖
  “バッチ単位収束型事前学習：子どもの言語発達に着想を得た一歩ずつの学習”（吉田 倖, 塩野 大輝, 佐藤 魁, 古橋 萌々香, 三浦 東子, 鈴木 潤）