Learning Deep Learning【Deep Learning勉強会】

Deep Learning 勉強会/概要

教材を輪読することで、深層学習の基礎や自然言語処理への応用を学びます。

2017

Date

3月30日~ 木曜日 10:00~12:00, 5月11日~ 火曜日 16:20~17:50

Members

松林，松田，横井，栗原，高橋，鶴田，清野，塙

内容

• 読む本：Deep Learning, Book in preparation for MIT Press- Yoshua Bengio and Ian J. Goodfellow and Aaron Courville URL
• esaページ

日程・担当

1 Introduction

• 個々人が頑張って読む

2 Linear Algebra

• 03/30
  • 鶴田 2.1-2.5:
• 04/06
  • 横井 2.6, 2.7: annotated, おまけ(固有値分解, 正定値対称行列)
• 04/18
  • 清野 2.8-2.12: 内部資料

3 Probability and Information Theory

• 04/18
  • 栗原 3.1-3.5: 内部資料
• 04/21
  • 栗原 3.6-3.8: 内部資料
• 04/25
  • 栗原 3.9-3.14: 内部資料

4 Numerical Computation

• 05/16
  • 高橋 4.1-4.3, 4.5: notebook
• 05/23
  • 高橋 4.3.1-4.4: notebook

5 Machine Learning Basics

• 5/26
  • 清野 5.5, 5.7: esa
• 6/03
  • 清野 5.5, 5.7: esa
• 6/10
  • 塙 5.1, 5.2: esa
• 6/17
  • 塙 5.3, 5.4: esa
• 7/18
  • 横井 5.6: 内部資料, esa
• 8/1
  • 横井 5.8 (+ 2.12): esa, esa
• 9/19
  • 栗原 5.9-5.10 内部資料
• 9/26
  • 松田 5.11: esa

6 Feedforward Deep Networks

• 03/30
  • 松田 6.1: (資料なし)
• 04/06
  • 松田 6.2: 内部資料
  • 清野 6.3, 6.4: 内部資料
• 04/14
  • 栗原 6.5.1-6.5.5: 内部資料，補足スライド
• 04/21
  • 栗原 6.5.6-6.5.10: 内部資料，補足スライド
• 05/08
  • 清野 6.5.6リベンジ: 内部資料

7 Regularization

• 松林 7.5-7.10 内部資料 内部資料2
• 05/30
  • 横井 7.1.1 内部資料 esa
• 06/13
  • 横井 7.1.2 内部資料 esa
• 06/20
  • 横井 7.2–7.3 内部資料 esa
• 06/27
  • 清野 7.11 7.12内部資料
• 7/11
  • 塙 7.13, 7.14: esa

8 Optimization for Training Deep Model

• 9/19
  • 中村 8.1: esa
• 9/26
  • 高橋 8.2-8.2.6: 内部資料
• 10/2
  • 高橋 8.2.7-8.2.8 内部資料
  • 高橋 8.3-8.3.3 内部資料
• 11/13 -> 11/20
  • 栗原 8.6 内部資料

9 Convolutional Networks

10 Sequence Modeling: Recurrent and Recursive Nets

11 Practical Methodology

12 Applications

13 Structured Probabilistic Models for Deep Learning

14 Monte Carlo Methods

15 Linear Factor Models and Auto-Encoders

16 Representation Learning

17 The Manifold Perspective on Representation Learning

18 Confronting the Partition Function

19 Approximate Inference

20 Deep Generative Models

過去の記録

• 2015