Learning Fundamentals of NLP【自然言語処理基礎勉強会】
概要
- B4, M1の学生を中心に，自然言語処理の基礎を学ぶため，自然言語処理に関する本の輪講をおこなっています．
目的
- 自然言語処理の基礎を学ぶ
- 自然言語処理関係の英文を読む訓練を行う
教科書
- 第1部
- 岡﨑 直観 著、荒瀬 由紀 著、鈴木 潤 著、鶴岡 慶雅 著、宮尾 祐介「自然言語処理の基礎」, オーム社, 2022
- 書籍情報ページ
- 第2部
- 第3部
- Michael J. Evans & Jeffrey S. Rosenthal,” Probability and Statistics – The Science of Uncertainty”, 2nd Edition, 2024.
References
- 書籍など
- 黒橋『自然言語処理』, 放送大学教育振興会, 2023
- 坪井裕太, 海野裕也, 鈴木潤『深層学習による自然言語処理』, 2017
- 人工知能学会『人工知能学大辞典』, 2017
- Robert A Wilson, Frank C. Keil, 中島秀之監訳『MIT認知科学大辞典』, 2012
- 講義資料など
- Web用語集など
- Recurrent Neural Networks
- PFN Tokuiさんの資料
- RNNの雰囲気はこれで掴む
- CS224n Lecture 09 Neural Machine Translation
- NMTの導入に
- 図が多くてわかりやすい
- 特にビームサーチの図が非常に良い
- ニューラルネットに基づく機械翻訳
- Graham先生のチュートリアル
- NMTが登場したばかりの時期の空気感がわかる
- Neural Machine Translation and Sequence-to-sequence Models: A Tutorial
- Graham先生のチュートリアル（英語）
- NMTを体系的に学びたい人に
- 深層学習による自然言語処理 3章 4章
- 日本語の資料が良い場合はこれを
進め方
- 1章当たり2,3回かけて担当の人が内容を説明します．SLPについては全訳を作る必要はないですが，英語力に自信のない人は主要な文(パラグラフ)だけでも作りましょう．
- アジェンダ(レジュメ)を配布すると聞いている人の助けになります．
- 最低限キーワードの説明ができるくらいが目標です．キーワードの説明ができなければ他の参考書を当たるなり検索するなりして調べましょう．どの参考書を見ればいいのか分からなければ担当の TA の人に相談してください．
- 第2部を進める際, SLP 3rd Edition.draftの未執筆章については2nd Editionや他の書籍・資料を適宜参照します
スライドを作る上で注意
- アスペクト比は16:9
- ページ番号を振りましょう
- 参考にした書籍やwebページは書籍名・URLを参考資料としてスライドに記載しましょう
2025年度
- 参加者
- TBA
日程・読む章・TA・担当
第1部 (3-5月)
Tohoku NLP Group配属のB3で先取り．NLPの基礎技術を学ぶ．
| 日時 | Chapter | 内容 | 担当 | 資料 | TA |
|---|---|---|---|---|---|
| 2025/03/18 | 1 | 自然言語処理の基礎 | 川勝 | 内部資料 | 佐々木 |
| 2025/03/21 | 2.1-2.5 | 自然言語処理のための機械学習の基礎（1） | 澤田 | 内部資料 | 小林(haruto) |
| 2025/03/26 | 2.5-2.8 | 自然言語処理のための機械学習の基礎（2） | 神林 | 内部資料 | 佐藤(kosuke) |
| 2025/03/28 | 2.9-2.11 | 自然言語処理のための機械学習の基礎（3） | 斎藤(yuka) | 内部資料 | 渡邉(tensho) |
| 2025/04/01 | 3.1-3.4 | 単語ベクトル表現（1） | 杉本 | 内部資料 | 清野 |
| 2025/04/03 | 3.5-3.8 | 単語ベクトル表現（2） | 津田 | 内部資料 | 松田 |
| 2025/04/07 | 4.1-4.3 | 系列に対するニューラルネットワーク（1） | 吉田(kise) | 内部資料 | 種口 |
| 2025/04/14 | 4.4-4.6 | 系列に対するニューラルネットワーク（2） | 渡邊 (yusuke) | 内部資料 | 柴田 |
| 2025/04/17 | 5.1-5.4 | 言語モデル・系列変換モデル（1） | 畔柳 | 内部資料 | 沼屋 |
| 2025/04/22 | 5.5-5.6.2 | 言語モデル・系列変換モデル（2） | 水賀美 | 内部資料 | 池田 |
| 2025/04/25 | 5.6.3-5.8 | 言語モデル・系列変換モデル（3） | 川勝 | 内部資料 | 久保田 |
| 2025/05/09 | 6.1-6.3.2 | Transformer（1） | 澤田 | 内部資料 | 岩川 |
| 2025/05/13 | 6.3.3-6.4 | Transformer（2） | 神林 | 内部資料 | 朱 |
| 2025/05/16 | 7.1-7.3 | 事前学習済みモデルと転移学習（1） | 斎藤(yuka) | 内部資料 | 内藤 |
| 2025/05/20 | 7.4-7.6 | 事前学習済みモデルと転移学習（2） | 杉本 | 内部資料 | 吉田(ko) |
第2部 (5-7月)
NLPの最新の知見を詳しく学ぶ．第1・2部で扱った内容については英語で復習．
| 日時 | Book/Course | Chapter | 内容 | 担当 | 資料 | TA |
|---|---|---|---|---|---|---|
| 2025/05/30 | SLP | 6.8-6.12 | Vector Semantics and Embeddings | 津田 | 内部資料 | 佐々木 |
| 2025/06/03 | SLP | 9 | Transformers | 吉田(kise) | 内部資料 | 李 |
| 2025/06/06 | Embedding Books | 6.1-6.3 | Contexualized Embeddings (1) | 渡邊(yusuke) | 内部資料 | 小林(haruto) |
| 2025/06/10 | Embedding Books | 6.4-6.7 | Contexualized Embeddings (2) | 畔柳 | 内部資料 | 佐藤(kosuke) |
| 2025/06/13 | SLP | 10.1-10.2 | Large Language Models（1） | 水賀美 | 内部資料 | 清野 |
| 2025/06/17 | SLP | 10.3 | Large Language Models（2） | 川勝 | 内部資料 | 種口 |
| 2025/06/20 | SLP | 10.4-10.5 | Large Language Models（3） | 澤田 | 内部資料 | 松田 |
| 2025/06/24 | SLP | 10.6 | Large Language Models（4） | 神林 | 内部資料 | 柴田 |
| 2025/06/27 | SLP | 11.1-11.2 | Masked Language Models（1） | 斎藤(yuka) | 内部資料 | 沼屋 |
| 2025/07/01 | SLP | 11.4-11.5 | Masked Language Models（2） | 杉本 | 内部資料 | 池田 |
| 2025/07/04 | SLP | 12.1 | Model Alignment, Prompting, and In-Context Learning（1） | 津田 | 内部資料 | 久保田 |
| 2025/07/08 | SLP | 12.2-12.3 | Model Alignment, Prompting, and In-Context Learning（2） | Charlie James | 内部資料 | 岩川 |
| 2025/07/11 | SLP | 12.4-12.7 | Model Alignment, Prompting, and In-Context Learning（3） | 森 | 朱 | |
| 2025/07/15 | SLP | 14 | Question Answering, Information Retrieval, and RetrievalAugmented Generation | 斎藤(tsubasa) | 吉田(ko) |
第3部 (10-11月)
自然言語処理技術との関わりが大きい、統計学の基礎を学ぶ
| 日時 | Chapter | 内容 | 担当 | 資料 |
|---|---|---|---|---|
| 2025/10/16 | 1.1-1.6 | Probability Models | 自習のためなし | |
| 2025/10/21 | 2.1-2.3 | Random Variables and Distributions | 川勝・澤田 | |
| 2025/10/23 | 2.4-2.5.4 | Random Variables and Distributions | 神林・渡邊 (yusuke) | |
| 2025/10/28 | 2.6-2.8.2 | Random Variables and Distributions | 杉本・吉田 (kise) | |
| 2025/10/30 | 2.8.3-2.10 | Random Variables and Distributions | 津田・齋藤 (yuka) | |
| 2025/11/4 | 3.1-3.3 | Expectation | 畔柳・水賀美 | |
| 2025/11/6 | 3.4-3.6 | Expectation | 猪股・木谷・大橋 | |
| 2025/11/11 | 4.1-4.4 | Sampling Distributions and Limits | 森・齋藤 (tsubasa)・Charles | |
| 2025/11/13 | 4.5-4.6 | Sampling Distributions and Limits | 川勝・澤田 | |
| 2025/11/18 | 6.1-6.2.1 | Likelihood Inference | 神林・渡邊 (yusuke) | |
| 2025/11/20 | 6.3-6.3.2 | Likelihood Inference | 杉本・吉田 (kise) | |
| 2025/11/25 | 6.3.3-6.3.4 | Likelihood Inference | 津田・齋藤 (yuka) | |
| 2025/12/2 | 6.4 | Likelihood Inference | 畔柳・水賀美 |
過去の記録
- 2024年度
- 2023年度
- 2022年度
- 2021年度
- 2020年度
- 2019年度
- 2018年度
- 2017年度
- 2016年度, 2nd Track
- 2015年度
- 2014年度
- 2013年度
- 2012年度
- 2011年度
- 2010年度
Last-modified: 2025-10-08 (Wed) 12:57:53 (10d)