深度学习之自然语言处理斯坦福大学CS224n课程集训营

课程资料

1. 课程主页
2. 中文笔记
3. 课程视频
4. 实验环境推荐使用Linux或者Mac系统，以下环境搭建方法皆适用:
   Docker环境配置
   本地环境配置

重要🔥🔥一些的资源：

1. Dr.Wu 博客71篇(机器学习、深度学习、强化学习、对抗网络)
2. Dr.Wu 本人知乎
3. 深度学习斯坦福教程
4. 廖雪峰python3教程
5. github教程
6. 莫烦机器学习教程
7. 深度学习经典论文
8. 斯坦福cs229代码(机器学习算法python徒手实现)
9. 吴恩达机器学习新书：machine learning yearning
10. 哈佛大学NLP实验室
11. 清华大学NLP实验室总结机器阅读论文、数据集
12. 本人博客(机器学习基础算法专题)
13. 本人博客(深度学习专题)
14. 斯坦福cs20I课件
15. AI比赛经验+开源代码汇总
16. Deep Learning in Natural Language Processing(微软：邓力博士,清华：刘洋博士)
17. 机器像人一样交流 (斯坦福: 李纪为博士)

前言

自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！

知识要求(学习的过程中可以遇到问题后再复习）

• 了解python基础知识
• 了解高等数学、概率论、线性代数知识
• 了解基础机器学习算法：梯度下降、线性回归、逻辑回归、Softmax、SVM、PAC（先修课程斯坦福cs229 或者周志华西瓜书）
• 具有英语4级水平（深度学习学习材料、论文基本都是英文，一定要阅读英文原文，进步和提高的速度会加快！！！！）

知识工具

为了让大家逐渐适应英文阅读，复习材料我们有中英两个版本，但是推荐大家读英文

数学工具

斯坦福资料：

• 线性代数
• 概率论
• 凸函数优化
• 随机梯度下降算法

中文资料：

• 机器学习中的数学基本知识
• 统计学习方法
  大学数学课本（从故纸堆里翻出来^_^）

编程工具

斯坦福资料：

• Python复习
• TensorFlow教程

中文资料：

• 廖雪峰python3教程
• 莫烦TensorFlow教程

学习安排

每周具体时间划分为4个部分:

• 1部分安排周一到周二
• 2部分安排在周四到周五
• 3部分安排在周日
• 4部分作业是本周任何时候空余时间
• 周日晚上提交作业运行截图
• 周三、周六休息^_^

作业提交指南：

训练营的作业自检系统已经正式上线啦！只需将作业发送到训练营公共邮箱即可，训练营以打卡为主，不用提交作业。以下为注意事项:
<0> 课程资料：链接 密码：zwjr
<1> 训练营代码公共邮箱：[email protected]
<2> 每周做作业，作业提交时间点：一整个Assignment代码全部完成后再提交
<3> 将每次作业压缩成zip文件，文件名为“NLP学期+学号+作业编号”，例如第二期学员："NLP020037-01.zip"
<4> 注意不要改变作业中的《方法名》《类名》不然会检测失败！！
<5> 查询自己成绩:
 

教程

Week1

1. 自然语言处理和深度学习简介

• 课件: lecture01
• 观看视频1
• 学习笔记：自然语言处理与深度学习简介

2. 词的向量表示1：

• 课件: lecture02
• 观看视频2
• 学习笔记：wordvecotor

3. 论文导读：一个简单但很难超越的Sentence Embedding基线方法

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：Sentence Embedding

4. 作业：Assignment 1.1-1.2

• 1.1 Softmax 算法
• 1.2 Neural Network Basics 神经网络基础实现

Week2

1. 高级词向量表示：word2vec 2

• 课件: lecture03
• 观看视频3
• 学习笔记： word2vec-2

2. Word Window分类与神经网络

• 课件: lecture04
• 观看视频4
• 学习笔记：Word Window分类与神经网络

3. 论文导读：词语义项的线性代数结构与词义消歧

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：词语义项的线性代数结构与词义消歧

4. 作业：Assignment 1.3-1.4

• 1.3 word2vec 实现
• 1.4 Sentiment Analysis 情绪分析

Week3

1. 反向传播与项目指导：Backpropagation and Project Advice

• 课件: lecture05
• 观看视频5
• 学习笔记: 反向传播与项目指导

2. 依赖解析：Dependency Parsing

• 课件: lecture06
• 观看视频6
• 学习笔记: 句法分析和依赖解析

3. 论文导读：高效文本分类

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：高效文本分类

4. 作业: Assignment 2 准备

• 2.0.1 预习TensorFlow
• 2.0.2 仔细阅读作业2的要求，自学作业里要求里提到的神经网络训练方法

Week4

1. TensorFlow入门

• 课件: lecture07
• 观看视频
• 学习笔记：TensorFlow

2. RNN和语言模型

• 课件: lecture08
• 观看视频
• 学习笔记：RNN和语言模型

3. 论文导读：词嵌入对传统方法的启发

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：词嵌入对传统方法的启发

4. 作业：Assignment 2.1

• 2.1 Tensorflow Softmax 基于TensorFlow的softmax分类
• 2.2 Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析

Week5

1. 高级LSTM及GRU：LSTM and GRU

• 课件: lecture09
• 观看视频
• 学习笔记： 高级LSTM及GRU

2. 期中复习

• 课件: lecture-mid
• 观看视频

3. 论文导读：基于转移的神经网络句法分析的结构化训练

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：基于神经网络句法分析的结构化训练

4. 作业：Assignment 2.3

• 2.3 Recurrent Neural Networks: Language Modeling 循环神经网络语言建模

Week6

1. 机器翻译、序列到序列、注意力模型：Machine Translation, Seq2Seq and Attention

• 课件: lecture10
• 观看视频
• 学习笔记： 机器翻译、序列到序列、注意力模型

2. GRU和NMT的进阶

• 课件: lecture11
• 观看视频
• 学习笔记：GRU和NMT的进阶

3. 论文导读：谷歌的多语种神经网络翻译系统

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：谷歌的多语种神经网络翻译系统

4. 作业：Assignment 3.1

• 3.1 A window into named entity recognition（NER）基于窗口模式的名称识别

Week7

1. 语音识别的end-to-end模型

• 课件: lecture12
• 观看视频
• 学习笔记： 语音识别的end-to-end模型

2. 卷积神经网络:CNN

• 课件: lecture13
• 观看视频
• 学习笔记：卷积神经网络

3. 论文导读：读唇术

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：读唇术

4. 作业：Assignment 3.2

• 3.2 Recurrent neural nets for named entity recognition(NER) 基于RNN的名称识别

Week8

1. Tree RNN与短语句法分析

• 课件: lecture14
• 观看视频
• 学习笔记： Tree RNN与短语句法分析

2. 指代消解

• 课件: lecture15
• 观看视频
• 学习笔记：指代消解

3. 论文导读：谷歌的多语种神经网络翻译系统

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：Character-Aware神经网络语言模型

4. 作业：Assignment 3.3

• 3.3 Grooving with GRUs(（NER）基于GRU的名称识别

Week9

1. DMN与问答系统

• 课件: lecture16
• 观看视频
• 学习笔记： DMN与问答系统

2. NLP存在的问题与未来的架构

• 课件: lecture17
• 观看视频
• 学习笔记：NLP存在的问题与未来的架构

3. 论文导读：学习代码中的语义

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：学习代码中的语义

4. 课程大作业：
   Kaggle：Quora垃圾问题分类

Week10

1. 挑战深度学习与自然语言处理的极限

• 课件: lecture18
• 观看视频
• 学习笔记： 挑战深度学习与自然语言处理的极限

2. 论文导读：neural-turing-machines

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：neural-turing-machines

3 论文导读： 深度强化学习用于对话生成

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：深度强化学习用于对话生成

Week11

1. 论文导读：图像对话

• 论文原文: paper
• 论文分析: highlight
• 论文笔记：图像对话

2. 比赛复盘
3. 课程总结