深度学习课程讲解目录
第一章 究竟什么是深度学习
第1节 直观理解
第2节 从三个视角理解深度学习
第3节 深度学习工作机制及优劣势
第二章 图像识别及KNN算法
第1节 图像识别的挑战及数据驱动的有监督方法
第2节 误差分解及KNN算法原理与表现
第三章 线性分类、SVM、Softmax用于图像识别
第1节 线性分类器的三个观点
第2节 铰链损失函数(SVM多分类)
第3节 Softmax分类器
第四章 优化与梯度
第1节 三种普通梯度下降
第2节 动量SGD和Nesterov加速梯度法
第3节 自适应学习速率
第4节 透彻讲解Adam优化算法
第5节 计算图实现误差反传
第6节 标量对矩阵的雅可比( Jacobia )矩阵
第五章 卷积神经网络
第1节 卷积核的函数作用
第2节 卷积核数量与通道的区别与联系
第3节 CNN的特征图尺寸计算
第4节 卷积层的误差反传算法
第5节 池化层
第6节 激活函数
第六章 卷积神经网络训练技巧
第1节 relu激活函数的魔力
第2节 内部协变量偏移
第3节 批归一化解决协变量偏移
第4节 Dropout
第5节 批归一化带来的诸多好处
第七章 卷积神经网络结构
第1节 AlexNet
第2节 卷积神经网络的感受野
第3节 VGGNet
第4节 GoogLeNet重要结构--1×1卷积
第5节 赫布学习规则
第6节 GoogLeNet
第7节 Identity Mapping
第8节 ResNet全景架构
第八章 递归神经网络
第1节 为什么要用递归神经网络(RNN)
第2节 RNN计算图
第3节 RNN前向与反向传播
第4节 LSTM及其变种的原理
第九讲 基于深度学习的语言模型
第1节 词向量
第2节 词的相似性
第3节 潜在语义分析LSA
第4节 Word2Vec
第5节 Glove词向量
第6节 seq2seq
第7节 Encoder-Decoder for Seq2seq
第8节 为什么要用Attention?
第9节 注意力机制的数学原理
第10节 动画演示注意力机制
第十讲 深度学习应用于NLP的高级议题
第1节 注意力机制的应用--指针网络
第2节 递归神经网络是否必须?
第3节 Transformer的多头注意原理
第4节 Transformer的三个矩阵K、V、Q
第5节 Transformer的位置编码Positional Encoding
第6节 深度语境化词语表示ELMo
第7节 BERT四大创新思想
第8节 BERT双向遮避语言模型
第9节 BERT模型架构