Python深度学习

第1章 深度学习介绍 1

1.1 历史背景 1

1.2 相关领域的进展 3

1.3 先决条件 3

1.4 后续章节概述 4

1.5 安装所需函数库 4

第2章 机器学习基础 5

2.1 直觉 5

2.2 二元分类 5

2.3 回归 6

2.4 泛化 7

2.5 正规化 12

2.6 总结 14

第3章 前馈神经网络 15

3.1 单元 15

3.1.1 神经网络的整体结构 16

3.1.2 用向量形式表示神经网络 17

3.1.3 评估神经网络的输出 18

3.1.4 神经网络训练 19

3.2 使用极大似然估计成本函数 20

3.2.1 二元交叉熵 20

3.2.2 交叉熵 21

3.2.3 平方差 21

3.2.4 损失函数总结 22

3.3 单元/激活函数/层的类型 22

3.3.1 线性单元 23

3.3.2 Sigmoid单元 23

3.3.3 Softmax层 23

3.3.4 线性整流函数 24

3.3.5 双曲正切 25

3.4 用AutoGrad手写神经网络 25

3.5 总结 27

第4章 Theano介绍 28

4.1 什么是Theano 28

4.2 上手Theano 28

4.3 总结 50

第5章 卷积神经网络 52

5.1 卷积操作 52

5.2 池化操作 56

5.3 卷积-探测-池化 57

5.4 其他卷积 59

5.5 CNN背后的直觉 61

5.6 总结 61

第6章 递归神经网络 62

6.1 RNN基础 62

6.2 训练RNN 65

6.3 双向RNN 69

6.4 梯度爆炸和梯度消失 72

6.5 梯度削减 72

6.6 长短期记忆 73

6.7 总结 75

第7章 Keras介绍 76

7.1 单层神经网络 76

7.2 两层神经网络 77

7.2.1 用于多元分类的两层神经网络 79

7.2.2 两层神经网络的回归 80

7.3 Keras快速迭代 82

7.3.1 使用Keras构建卷积神经网络（CNN） 85

7.3.2 使用Keras构建LSTM 88

7.4 总结 90

第8章 随机梯度下降 91

8.1 优化问题 91

8.2 最速下降的方法 92

8.3 批量，随机（单例和迷你批）下降 93

8.3.1 批量 93

8.3.2 随机单例 93

8.3.3 随机迷你批 93

8.3.4 批量VS随机 93

8.4 SGD的挑战 94

8.4.1 局部最小值 94

8.4.2 鞍点 94

8.4.3 选择学习速率 95

8.4.4 窄谷中进展缓慢 96

8.5 SGD的算法变体 97

8.5.1 动量 97

8.5.2 Nesterov加速梯度（NAS） 97

8.5.3 退火和学习速率计划 98

8.5.4 Adagrad 98

8.5.5 RMSProp 99

8.5.6 Adadelta 99

8.5.7 Adam 99

8.5.8 弹性反向传播 100

8.5.9 平衡SGD 100

8.6 使用SGD的技巧和提示 100

8.6.1 输入数据预处理 101

8.6.2 激活函数的选择 101

8.6.3 预处理目标值 101

8.6.4 参数初始化 102

8.6.5 打散数据 102

8.6.6 批标准化 102

8.6.7 提前停止 102

8.6.8 梯度噪声 102

8.7 并行和分布式SGD 103

8.7.1 Hogwild 103

8.7.2 Downpour 103

8.8 用Downhill动手实践SGD 104

8.9 总结 109

第9章 自动求导 110

9.1 数值求导 110

9.2 符号求导 111

9.3 自动求导基础 112

9.3.1 正向/正切线性模型 113

9.3.2 反向/余切/伴随线性模式 115

9.3.3 自动求导实现 117

9.4 源代码转换 117

9.5 运算符重载 117

9.6 用Autograd实现自动求导 118

9.7 总结 122

第10章 GPU介绍 123

10.1 基于GPU计算的关键要素 123

10.2 OpenCL系统物理视图 124

10.3 OpenCL系统的逻辑视图 125

10.4 OpenCL设备上的逻辑内存空间 126

10.5 OpenCL设备的编程模型 127

10.6 索引的符号 128

10.7 总结 132