Associate Professor Sho Yokoi gave a talk titled “What a ‘stochastic parrot’ can do, and why it can do it” at Humanities+ 3rd Research Meeting: “Vectors, Words, and Meanings” held on March 4th.

3月4日に開催されたヒューマニティーズ+ 第3回研究会「ベクトル・言葉・意味」にて、横井祥准教授が『「確率的なオウム」にできること、またそれがなぜできるのかについて』のタイトルでトークを行いました。

Associate Professor Sho Yokoi gave a talk at NINJAL Launch Ceremony and First Research Meeting of the Advanced Language Science (E3P) Research Center held on March 3rd.

3月3日に開催された国立国語研究所次世代言語科学研究センター開所式及び第1回研究会にて、横井祥准教授が『コーパスを丸呑みしたモデルから言語の何がわかるか』のタイトルでトークを行いました。

The following paper has been accepted to the CVPR2025.

CVPR2025 に下記の論文が採択されました。

• Ryota Tanaka, Taichi Iki, Taku Hasegawa, Kyosuke Nishida, Kuniko Saito, Jun Suzuki.
  “VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents”

The following paper has been accepted to the IEEE Access.

IEEE Access に下記の論文が採択されました。

• Yuki Nakamura, Jun Suzuki, Takumi Ito, Kentaro Inui.
  “Deterministic Compression of Word Embeddings”

Prof. Pontus Stenetorp from University College London (UCL) gave a talk entitled “Multilingual Language Model Pretraining using Machine-translated Data” (MiCS)

ユニバーシティ・カレッジ・ロンドン (UCL)のPontus Stenetorp教授に、「Multilingual Language Model Pretraining using Machine-translated Data」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

Master students Ikumi Ito, Ryohei Kamei, Go Kamoda, Kai Sato, Ryosuke Takahashi, Naoki Negishi, Momoka Furuhashi, Toko Miura, Shoji Moriya and Kazuki Yano defended their Master theses (25min presentation, 15min discussion). Great work, everyone!

研究室メンバーに見守られる中、伊藤郁海さん、亀井遼平さん、鴨田豪さん、 佐藤魁さん、高橋良允さん、根岸直生さん、古橋萌々香さん、三浦東子さん、守屋彰二さん、矢野一樹さんの修士論文本審査会（発表25分、試問15分）が行われました。皆さん、おつかれさまでした!

Goro Kobayashi (doctoral student) received the JSPS Ikushi Prize. Congratulations!

博士課程の小林悟郎さんが、下記の研究テーマで第15回（令和6（2024）年度）日本学術振興会 育志賞を受賞しました。
おめでとうございます！

• 小林悟郎
  “トランスフォーマー言語モデルの内部機序の解明”

The following article has been included in the Journal of Nature Machine Intelligence Volume 7 Issue 1.

下記の論文が採録された『Nature Machine Intelligence』7巻1号が発行されました。

• Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jenny T. Liang, Sydney Levine, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jack Hessel, Jon Borchardt, Taylor Sorensen, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi.
  “Investigating machine moral judgement through the Delphi experiment”

Doctoral students Ana Brassard, Goro Kobayashi, Ryota Tanaka, Shoichi Naito, Hiroaki Funayama, and Yunmeng Li had their doctoral defense with lab members in the audience. They took 50 minutes to present the culmination of their work, with 35 more minutes for questions and comments. Great job!

研究室メンバーに見守られる中、Ana Brassardさん、 小林悟郎さん、田中涼太さん、内藤昭一さん、舟山弘晃さん、李云蒙の博士論文本審査会（発表50分、試問35分）が行われました。研究の集大成がまとめられた、濃い85分間でした。
皆さんおつかれさまでした！

Mr. Jan Buchmann from Technical University of Darmstadt gave a talk entitled “NLP for Long, Structured Documents” (MiCS)

ダルムシュタット工科大学のJan Buchmann氏に、「NLP for Long, Structured Documents」という表題でご講演いただきました。(みちのく情報伝達学セミナー)

On Saturday, January 25, 2025, at the event for female middle and high school students titled “What Should Middle and High School Students Do for Their Future in the AI Era?“, Assistant Professor Reina Akama gave a presentation, “What Do Researchers in AI, Mathematics, and Informatics Study?”, and participated in a panel discussion on “What Should Junior and Senior High School Students Do for Their Future in the AI Era?”.

2025年1月25日(土) に行われた女子中高生対象イベント「AI時代、中高生は将来に向けて何をすればいいのか？」にて、赤間怜奈助教が研究者講演「AIや数理・情報の研究者は何を研究しているの？」および、パネルディスカッション「AI時代、中高校生は将来に向けて何をすべきか」に登壇しました。

The following papers have been accepted to the Thirteenth International Conference on Learning Representations (ICLR 2025).

ICLR 2025 に以下の論文が採択されました。

• Makoto Shing, Kou Misaki, Han Bao, Sho Yokoi, Takuya Akiba.
  “TAID: Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models” (Spotlight)
• Hiroyuki Deguchi , Go Kamoda, Yusuke Matsushita, Chihiro Taguchi, Kohei Suenaga, Masaki Waga, Sho Yokoi.
  “SoftMatcha: A Soft and Fast Pattern Matcher for Billion-Scale Corpus Searches”
• Taishi Nakamura, Takuya Akiba, Kazuki Fujii, Yusuke Oda, Rio Yokota, Jun Suzuki.
  “Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization”
• Yui Oka, Taku Hasegawa, Kyosuke Nishida, Kuniko Saito.
  “Wavelet-based Positional Representation for Long Context”
• Itsumi Saito, Haruto Yoshida, Keisuke Sakaguchi.
  “Sketch2Diagram: Generating Vector Diagrams from Hand-Drawn Sketches”

The following papers have been accepted to the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025).

NAACL 2025 に以下の論文が採択されました。

Main Conference

• Jaehyeok Lee, Keisuke Sakaguchi, JinYeong Bak.
  “Self-Training Meets Consistency: Improving LLMs’ Reasoning With Consistency-Driven Rationale Evaluation”
• Dominic Sobhani, Ruiqi Zhong, Edison Marrese-Taylor, Keisuke Sakaguchi, Yutaka Matsuo.
  “Language Models can Categorize System Inputs for Performance Analysis”
• Kazuki Yano, Takumi Ito, Jun Suzuki.
  “STEP: Staged Parameter-Efficient Pre-training for Large Language Models”
• Ahmed Oumar El-Shangiti, Tatsuya Hiraoka, Hilal AlQuabeh, Benjamin Heinzerling, Kentaro Inui.
  “The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces”
• Tatsuya Hiraoka, Kentaro Inui.
  “Repetition Neurons: How Do Language Models Produce Repetitions?”

Findings

• Go Kamoda, Benjamin Heinzerling, Tatsuro Inaba, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui.
  “Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference”

The following paper has been accepted to the International World Wide Web Conference 2025 (WWW2025 | The Web Conf 2025).

WWW2025 に以下の論文が採択されました。

• Dongyuan Li, Satoshi Kosugi, Ying Zhang, Manabu Okumura, Feng Xia, Renhe Jiang.
  “Revisiting Dynamic Graph Clustering via Matrix Factorization”

We held a farewell party for Dr. Yokoi, who has contributed to our laboratory for many years, as well as a welcome party for new members and the end-of-year party.

長年、研究室に貢献された横井さんの送別会を新メンバーの歓迎会及び忘年会も兼ね開催しました。

The interview of Masatoshi Suzuki (Ph.D. acquired in 2021) is now available on “MY DECISION.”

「MY DECISION」に、鈴木正敏さん（2021年博士後期課程修了）のインタビューを公開しました。

Postdoctoral researcher Masaya Taniguchi appeared on the TOKYO FM official podcast “Engineer’s Paradise vim-jp Radio.”

東京FM公式ポッドキャスト「エンジニアの楽園 vim-jpラジオ」に谷口雅弥（研究員）が出演し、研究活動とOSS活動 (LISPとVim) について話しました。

配信ページはこちら：https://audee.jp/voice/show/95400

The following work was presented at the Thirty-Eighth Annual Conference on Neural Information Processing Systems, held in Vancouver from December 10th to 15th.

12月10日から15日にかけてバンクーバーで開催された NeurIPS 2024 にて、下記の発表を行いました。

• Sho Yokoi, Han Bao, Hiroto Kurita and Hidetoshi Shimodaira.
  “Zipfian Whitening”

Assistant Professor Sho Yokoi gave a talk at the 57th Annual Meeting of the Philosophy of Science Society, Japan, from November 30th to December 1st.

横井祥助教が11月30日から12月1日かけておこなわれた日本科学哲学会第57回(2024年度)大会にて開催されたワークショップ『AIから考える言語・知性・科学』に登壇しました。

The following paper has been accepted to the Industry Track at The 31st International Conference on Computational Linguistics (COLING 2025).

COLING 2025 Industry Track に下記の論文が採択されました。

• Toshiki Kuramoto and Jun Suzuki.
  “Predicting Fine-tuned Performance on Larger Datasets Before Creating Them”