Learning Fundamentals of NLP【自然言語処理基礎勉強会】
概要
- B4, M1の学生を中心に，自然言語処理の基礎を学ぶため，自然言語処理に関する本の輪講をおこなっています．
目的
- 自然言語処理の基礎を学ぶ
- 自然言語処理関係の英文を読む訓練を行う
教科書
- 第1部
- 黒橋『自然言語処理』, 放送大学教育振興会, 2023
- 第2部
- SLP (3rd): Daniel Jurafsky & James H. Martin, “Speech and Language Processing”, 3rd Edition (draft), 2023/1版を想定.
- SLP (2nd ed.): Daniel Jurafsky & James H. Martin, “Speech and Language Processing”, 2nd Edition, 2009.
- Yoav: Yoav Goldberg, “Neural Network Methods for Natural Language Processing”, 2017
- CS224n: Chris Manning (Stanford), CS224n, Natural Language Processing with Deep Learning.
- Web with lecture notes, slides, videos, suggested readings
- CS11-747: Graham Neubig (CMU), CS 11-747, Neural Networks for NLP.
- Embedding book: Mohammad Taher Pilehvar & Jose Camacho-Collados, “Embeddings in Natural Language Processing”, draft, 2020.
References
- 書籍など
- 岡﨑 直観 著、荒瀬 由紀 著、鈴木 潤 著、鶴岡 慶雅 著、宮尾 祐介「自然言語処理の基礎」, オーム社, 2022
- 黒橋『自然言語処理』2015, 奥村『自然言語処理の基礎』2010
- 坪井裕太, 海野裕也, 鈴木潤『深層学習による自然言語処理』, 2017
- 人工知能学会『人工知能学大辞典』, 2017
- Robert A Wilson, Frank C. Keil, 中島秀之監訳『MIT認知科学大辞典』, 2012
- 講義資料など
- Web用語集など
- Recurrent Neural Networks
- PFN Tokuiさんの資料
- RNNの雰囲気はこれで掴む
- CS224n Lecture 09 Neural Machine Translation
- NMTの導入に
- 図が多くてわかりやすい
- 特にビームサーチの図が非常に良い
- ニューラルネットに基づく機械翻訳
- Graham先生のチュートリアル
- NMTが登場したばかりの時期の空気感がわかる
- Neural Machine Translation and Sequence-to-sequence Models: A Tutorial
- Graham先生のチュートリアル（英語）
- NMTを体系的に学びたい人に
- 深層学習による自然言語処理 3章 4章
- 日本語の資料が良い場合はこれを
進め方
- 1章当たり2,3回かけて担当の人が内容を説明します．SLPについては全訳を作る必要はないですが，英語力に自信のない人は主要な文(パラグラフ)だけでも作りましょう．
- アジェンダ(レジュメ)を配布すると聞いている人の助けになります．
- 最低限キーワードの説明ができるくらいが目標です．キーワードの説明ができなければ他の参考書を当たるなり検索するなりして調べましょう．どの参考書を見ればいいのか分からなければ担当の TA の人に相談してください．
- 第2部を進める際, SLP 3rd Edition.draftの未執筆章については2nd Editionや他の書籍・資料を適宜参照します
スライドを作る上で注意
- アスペクト比は16:9
- ページ番号を振りましょう
- 参考にした書籍やwebページは書籍名・URLを参考資料としてスライドに記載しましょう
2024年度
- 参加者
- TBA
日程・読む章・TA・担当
第1部 (3-4月)
Tohoku NLP Group配属のB3で先取り．
| 日時 | Chapter | 内容 | 担当 | 資料 | TA |
|---|---|---|---|---|---|
| 2024/03/04 | 第1章 | 自然言語処理の概要と歴史 | 久保田 | 内部資料 | 羽根田 |
| 2024/03/08 | 第2章 | 文字列・テキスト処理の基礎 | 種口 | 内部資料 | 中野 |
| 2024/03/18 | 第3章 | 言語リソースの構築（1） | 佐藤(kosuke) | 内部資料 | 佐藤(kai) |
| 2024/03/22 | 第4章 | 言語リソースの構築（2） | 清野 | 内部資料 | 原 |
| 2024/03/25 | 第5章 | 語の意味の扱い | 渡邉 | 内部資料 | 松﨑 |
| 2024/03/29 | 第6章 | ニューラル自然言語処理の基礎 | 池田 | 内部資料 | 吉田 |
| 2024/4/1 | 第7章 | 機械翻訳 | 沼屋 | 内部資料 | 亀井 |
| 2024/04/5 | 第8章 | Attention機構に基づくニューラルネットワークモデル | 小林(haruto) | 内部資料 | 木村 |
| 2024/04/9 | 第9章 | 系列の解析 | 柴田 | 内部資料 | 穀田 |
| 2024/04/12 | 第10章 | 構文の解析 | 久保田 | 内部資料 | 塩野 |
| 2024/04/ | 第11章 | 文の意味の解析 | 種口 | 内部資料 | 坂田 |
| 2024/04/18 | 第12章 | 文脈の解析 | 佐藤(kosuke) | 内部資料 | 葉 |
| 2024/04/ | 第13章 | 情報検索 | 清野 | 内部資料 | 栗田 |
| 2024/04/ | 第14章 | 質問応答 | 渡邉 | 内部資料 | 鴨田 |
| 2024/05/07 | 第15章 | 対話システム | 池田 | 内部資料 | 守屋 |
第2部 (5-12月)
各トピックについて深堀り．第1・2部で扱った内容については英語で復習．
| 日時 | Book/Course | Chapter | 内容 | 担当 | 資料 | TA |
|---|---|---|---|---|---|---|
| 2024/05/16 | SLP (2nd) | Chapter 1-1.4 | Introduction | 沼屋 | 内部資料 | 有山 |
| 2024/05/21 | 勉強会レクチャー | 内部資料 | 横井 | |||
| 2024/05/23 | SLP (2nd) | Chapter 1.5-1.6 | Introduction | 小林(haruto) | 内部資料 | 有山 |
| 2024/05/28 | Yoav | 1-1.3 | Deep Learning for Natural Language Processing | 柴田 | 内部資料 | 有山 |
| 2024/05/30 | SLP | Chapter 3-3.3 | N-gram Language Models | 岩川 | 古橋 | |
| 2024/06/11 | SLP | Chapter 3.4-3.5 | N-gram Language Models | 吉田 | 古橋 | |
| 2024/06/13 | SLP | Chapter 3.6-3.8 | N-gram Language Models | 朱 | 内部資料 | 木村 |
| 2024/06/18 | SLP | Chapter 4.7-4.10 | Naive Bayes, Text Classification, and Sentiment | 李 | 内部資料 | 羽根田 |
| 2024/06/20 | SLP | Chapter 5-5.4 | Logistic Regression | 内藤 | 根岸 | |
| 2024/06/25 | SLP | Chapter 5.5-5.9 | Logistic Regression | Hong Hai | 内部資料 | 根岸 |
| 2024/06/27 | SLP | Chapter 6.4-6.7 | Vector Semantics and Embeddings | Lee | 内部資料 | 三浦（東） |
| 2024/07/02 | SLP | Chapter 6.8-6.13 | Vector Semantics and Embeddings | 久保田 | 内部資料 | 三浦（東） |
| 2024/07/04 | SLP | Chapter 7-7.3 | Neural Networks and Neural Language Models | 吉田 | 青木 | |
| 2024/07/09 | SLP | Chapter 7.4-7.7 | Neural Networks and Neural Language Models | 佐藤(kosuke) | 内部資料 | 青木 |
| 2024/07/11 | SLP | Chapter 8-8.7 | Sequence Labeling for Parts of Speech and Named Entities | 清野 | 内部資料 | 高橋 |
| 2024/07/16 | SLP | Chapter 10.1-10.2 | Transformers and Large Language Models | 吉田 | 小林(goro) | |
| 2024/09/ | SLP | Chapter 10.3-10.6 | Transformers and Large Language Models | 佐々木 | 小林(goro) | |
| 2024/09/ | SLP | Chapter 10.7-10.10 | Transformers and Large Language Models | 松田 | 木村 | |
| 2024/09/ | SLP | Chapter 11.1-11.4 | Fine-tuning and Masked Language Models | 池田 | Steven | |
| 2024/09/ | SLP | Chapter 9.1-9.4 | RNNs and LSTMs | 渡邉 | 栗田 | |
| 2024/10/ | SLP | Chapter 9.5-9.8 | RNNs and LSTMs | 小林(haruto) | 栗田 | |
| 2024/10/ | Embedding book | Chapter 6.1-6.3 | Contextualized Embeddings | 李 | 原 | |
| 2024/10/ | Embedding book | Chapter 6.4-6.7 | Contextualized Embeddings | 内藤 | 原 | |
| 2024/10/ | SLP | Chapter 13.1-13.3 | Machine Translation | Hong Hai | 伊藤（郁） | |
| 2024/10/ | SLP | Chapter 13.4-13.7 | Machine Translation | Lee | 伊藤（郁） | |
| 2024/10/ | SLP | Chapter 14-14.5 | Question Answering and Information Retrieval | 久保田 | 鴨田 | |
| 2024/10/ | SLP | Chapter 15.1-15.3 | Chatbots and Dialogue Systems | 種口 | 亀井 | |
| 2024/10/ | SLP | Chapter 15.4-15.6 | Chatbots and Dialogue Systems | 佐藤(kosuke) | 亀井 | |
| 2024/11/ | SLP | Chapter 19.1-19.4 | Information Extraction: Relations, Events, and Time | 清野 | 工藤 | |
| 2024/11/ | SLP | Chapter 20.1-20.5 | Semantic Role Labeling and Argument Structure | 渡邉 | 松﨑 | |
| 2024/11/ | SLP | Chapter 21.1-21.5 | Lexicons for Sentiment, Affect, and Connotation | 池田 | 守屋 | |
| 2024/11/ | SLP | Chapter 22-22.1 | Coreference Resolution | 沼屋 | 穀田 | |
| 2024/11/ | SLP | Chapter 22.7-22.10 | Coreference Resolution | 小林 (haruto) | 穀田 | |
| 2024/11/ | SLP | Chapter 23.1-23.5 | Discourse Coherence | 柴田 | 王 | |
| 2024/11/ | SLP | Chapter 12 | Prompting, In-Context Learning, and Instruct Tuning (TBA) | 種口 | 葉 | |
| 2024/11/ | SLP | Chapter 12 | Prompting, In-Context Learning, and Instruct Tuning (TBA) | 朱 | 葉 |
過去の記録
- 2023年度
- 2022年度
- 2021年度
- 2020年度
- 2019年度
- 2018年度
- 2017年度
- 2016年度, 2nd Track
- 2015年度
- 2014年度
- 2013年度
- 2012年度
- 2011年度
- 2010年度
Last-modified: 2024-07-12 (Fri) 15:28:00 (15d)