Learning Fundamentals of NLP【自然言語処理基礎勉強会2023】
概要
- B4, M1の学生を中心に，自然言語処理の基礎を学ぶため，自然言語処理に関する本の輪講をおこなっています．
目的
- 自然言語処理の基礎を学ぶ
- 自然言語処理関係の英文を読む訓練を行う
教科書
- 第1部
- 黒橋, 柴田『自然言語処理概論』, サイエンス社, 2016
- 第2部
- 岡﨑 直観 著、荒瀬 由紀 著、鈴木 潤 著、鶴岡 慶雅 著、宮尾 祐介「自然言語処理の基礎」, オーム社, 2022
- 第3部
- SLP (3rd): Daniel Jurafsky & James H. Martin, “Speech and Language Processing”, 3rd Edition (draft), 2023/1版を想定.
- SLP (2nd ed.): Daniel Jurafsky & James H. Martin, “Speech and Language Processing”, 2nd Edition, 2009.
- Yoav: Yoav Goldberg, “Neural Network Methods for Natural Language Processing”, 2017
- CS224n: Chris Manning (Stanford), CS224n, Natural Language Processing with Deep Learning.
- Web with lecture notes, slides, videos, suggested readings
- CS11-747: Graham Neubig (CMU), CS 11-747, Neural Networks for NLP.
- Embedding book: Mohammad Taher Pilehvar & Jose Camacho-Collados, “Embeddings in Natural Language Processing”, draft, 2020.
References
- 書籍など
- 黒橋『自然言語処理』2015, 奥村『自然言語処理の基礎』2010
- 坪井裕太, 海野裕也, 鈴木潤『深層学習による自然言語処理』, 2017
- 人工知能学会『人工知能学大辞典』, 2017
- Robert A Wilson, Frank C. Keil, 中島秀之監訳『MIT認知科学大辞典』, 2012
- 講義資料など
- Web用語集など
Chapter 11: Machine Translation
進め方
- 1章当たり2,3回かけて担当の人が内容を説明します．SLPについては全訳を作る必要はないですが，英語力に自信のない人は主要な文(パラグラフ)だけでも作りましょう．
- アジェンダ(レジュメ)を配布すると聞いている人の助けになります．
- 最低限キーワードの説明ができるくらいが目標です．キーワードの説明ができなければ他の参考書を当たるなり検索するなりして調べましょう．どの参考書を見ればいいのか分からなければ担当の TA の人に相談してください．
- 第3部を進める際, SLP 3rd Edition.draftの未執筆章については2nd Editionや他の書籍・資料を適宜参照します
スライドを作る上で注意
- アスペクト比は16:9
- ページ番号を振りましょう
- 参考にした書籍やwebページは書籍名・URLを参考資料としてスライドに記載しましょう
2023年度
読む章・TA
第1部 (2-3月)
乾研配属B3で先取り．
| Chapter | 内容 | TA |
|---|
| 第1章 | はじめに | 藤原 |
| 第2章 | 系列の解析 | チェ |
| 第3章 | 構文の解析 | 有山 |
| 第4章 | 意味の解析 | 穀田 |
| 第5章 | 文脈の解析 | 石月 |
| 第6章 | ニューラルネットワークの利用 | 青木 |
| 第8章 | 情報検索 | 守屋 |
第2部 (4-6月)
鈴木研・松林研のメンバーが合流．最先端にキャッチアップ．
| Chapter | 内容 | TA |
|---|
| 第1章 | 自然言語処理の概要 | 工藤 |
| 第2章 | 自然言語処理のための機械学習の基礎 | 横井 |
| 第3章 | 単語ベクトル表現 | 赤間 |
| 第4章 | 系列に対するニューラルネットワーク | 伊藤（郁） |
| 第5章 | 言語モデル・系列変換モデル | 駒田 |
| 第6章 | Transformer | 小林G |
| 第7章 | 事前学習モデルと転移学習 | Benjamin |
| 第8章 | 系列ラベリング | 青木 |
| 第9章 | 構文解析 | 塩野 |
| 第10章 | 意味解析 | 根岸 |
| 第11章 | 応用タスク・まとめ | 栗田 |
第3部 (7-12月)
各トピックについて深堀り．第1・2部で扱った内容については英語で復習．
| Book/Course | Chapter | 内容 | TA |
|---|
| SLP (3rd ed.) | Chapter 1 | Introduction | 有山 |
| Yoav | Chapter 1–1.3 | Introduction | 有山 |
| SLP | Chapter 3 | Language Modeling with N-Grams | 守屋 |
| SLP | Chapter 4 | Naive Bayes and Sentiment Classification | 工藤 |
| SLP | Chapter 5 | Logistic Regression | 牧野 |
| SLP | Chapter 6 | Vector Semantics and Embeddings | Benjamin |
| SLP | Chapter 7 | Neural Networks and Neural Language Models | 木村，成田 |
| SLP | Chapter 8 | Sequence Labeling for Parts of Speech and Named Entities | 亀井 |
| SLP | Chapter 9 | RNNs and LSTMs | 栗田 |
| SLP | Chapter 10 | Transformers and Pretrained Language Models | 佐藤 |
| SLP | Chapter 11 | Fine-tuning and Masked Language Models | 葉 |
| Embedding book | Chapter 6 | Contextualized Embeddings | 小林G |
| 以降，余裕があれば | | | |
| SLP | Chapter 13 | Machine Translation | 伊藤（郁） |
| SLP | Chapter 14 | Question Answering and Information Retrieval | 木村 |
| SLP | Chapter 15 | Chatbots and Dialogue Systems | 成田 |
| SLP | Chapter 23 | Word Senses and WordNet | 坂田 |
| SLP | Chapter 26 | Coreference Resolution | 石月 |
| SLP | Chapter 27 | Discourse Coherence | 内藤 |
| SLP | Chapter 28 | Phonetics | Steven |
日程・担当
ローテーション
(未定)
第1部
| 日時 | 担当部分 | 担当 | 資料 | TA |
|---|
| 2023年2月20日（月） | 黒橋本1章 | 中野 | 内部資料 | 藤原 |
| 2023年2月22日（水） | 黒橋本2章 | 松﨑 | 内部資料 | チェ |
| 2023年2月28日（火） | 黒橋本3章 | 吉田 | 内部資料 | 有山 |
| 2023年3月1日（水） | 黒橋本4章 | 古橋 | 内部資料 | 穀田 |
| 2023年3月6日（月） | 黒橋本5章 | 三浦 | 内部資料 | 石月 |
| 2023年3月8日（水） | 黒橋本6章 | 原 | 内部資料 | 青木 |
| 2023年3月22日（水） | 黒橋本8章 | 野末 | 内部資料 | 守屋 |
第2部
| 日時 | 担当部分 | 担当 | 資料 | TA |
|---|
| 2023年4月10日（月） | 岡崎本1章 | 羽根田 | 内部資料 | 工藤 |
| 2023年4月17日（月） | 岡崎本2章 | 中野 | 内部資料 | 横井 |
| 2023年4月26日（水） | 岡崎本2章 | 松﨑 | 内部資料 | 横井 |
| 2023年5月1日（月） | 岡崎本3章 | 吉田 | 内部資料 | 赤間 |
| 2023年5月8日（月） | 岡崎本4章 | 古橋 | 内部資料 | 伊藤（郁） |
| 2023年5月10日（水） | 岡崎本4章 | 三浦（直） | 内部資料 | 伊藤（郁） |
| 2023年5月15日（月） | 岡崎本5章 | 原 | 内部資料 | 駒田 |
| 2023年5月17日（水） | 岡崎本5章 | 野末 | 内部資料 | 駒田 |
| 2023年5月22日（月） | 岡崎本6章 | 羽根田 | 内部資料 | 小林G |
| 2023年5月24日（水） | 岡崎本6章 | 矢野 | 内部資料 | 小林G |
| 2023年5月29日（月） | 岡崎本7章 | 謝 | 内部資料 | Benjamin |
| 2023年5月31日（水） | 岡崎本8章 | 魁 | 内部資料 | 青木 |
| 2023年6月5日（月） | 岡崎本9章 | 高橋（良） | 内部資料 | 塩野 |
| 2023年6月7日（水） | 岡崎本9章 | 三浦（東子） | 内部資料 | 塩野 |
| 2023年6月12日（月） | 岡崎本10章 | 祝 | 内部資料 | 根岸 |
| 2023年6月19日（月） | 岡崎本11章 | 中野 | | 栗田 |
第3部
| 日時 | 担当部分 | 担当 | 資料 | TA |
|---|
| 2023年6月21日（水） | SLP (2nd) 1-1.4 | 野末 | 内部資料 | 有山 |
| 2023年6月28日（水） | SLP (2nd) 1.5-1.6 | 三浦（直） | | 有山 |
| 2023年7月10日（月） | Yoav 1-1.3 | 松﨑 | 内部資料 | 有山 |
| 2023年7月12日(水) | SLP (3rd) 3-3.3 | 吉田 | 内部資料 | 守屋 |
| 2023年7月19日(水) | SLP (3rd) 3.4-3.5 | 古橋 | 内部資料 | 守屋 |
| 2023年9月22日(金) | SLP (3rd) 3.6-3.8 | 原 | 内部資料 | 守屋 |
| 2023年9月29日(金) | SLP (3rd) 4.7-4.10 | 羽根田 | 内部資料 | 工藤 |
| 2023年10月19日(木) | SLP (3rd) 5-5.4 | 佐藤（魁） | 内部資料 | 牧野 |
| 2023年10月25日(水) | SLP (3rd) 5.5-5.9 | 矢野 | | 牧野 |
| 2023年11月1日(水) | SLP (3rd) 6.4-6.7 | 謝 | 内部資料 | Benjamin |
| 2023年11月2日(木) | SLP (3rd) 6.8-6.13 | 原 | 内部資料 | Benjamin |
| 2023年11月8日(水) | SLP (3rd) 7-7.3 | 羽根田 | 内部資料 | 木村 |
| 2023年11月9日(水) | SLP (3rd) 7.4-7.7 | 三浦（東） | 内部資料 | 成田 |
| 2023年11月15日(水) | SLP (3rd) 8-8.7 | 高橋（良） | 内部資料 | 亀井 |
| 2023年11月16日(水) | SLP (3rd) 9-9.4 | 吉田 | 内部資料 | 栗田 |
| 2023年11月22日(水) | SLP (3rd) 9.5-9.8 | 謝 | 内部資料 | 栗田 |
| 2023年11月29日(水) | SLP (3rd) 10.0-10.4 | 佐藤（魁） | 内部資料 | 佐藤（志） |
| 2023年11月30日(水) | EmbeddingBook 6.1 – 6.3 | 矢野 | | |
| 2023年12月7日(木) | EmbeddingBook 6.4-6.7 | 三浦（東） | 内部資料 | 小林(悟) |
| 2023年12月14日(木) | SLP (3rd) 11-11.4 | 高橋（良） | 内部資料 | 葉 |
| 以降，余裕があれば | | | | |
| 12月 | SLP (3rd) 4-4.6 | | | |
| 12月 | SLP (3rd) 13 | | | |
| 12月 | SLP (3rd) 14-14.2 | | | |
| 12月 | SLP (3rd) 14.3-14.7 | | | |
| 12月 | SLP (3rd) 15-15.3 | | | |
| 1月 | SLP (3rd) 15.4-15.6 | | | |
| 1月 | SLP (3rd) 23 | | | |
| 1月 | SLP (3rd) 26 | | | |
| 1月 | SLP (3rd) 27 | | | |
| 1月 | SLP (3rd) 28 | | | |
過去の記録
Last-modified: 2024-04-26 (Fri) 20:04:09 (3d)
