模式识别与机器学习技术

1模式识别与机器学习基本概念 1

1.1 模式识别 1

1.1.1 基本概念 1

1.1.2 模式识别应用 4

1.1.3 模式识别系统 6

1.1.4 模式识别基本方法 7

1.1.5 模式识别基本问题 7

1.1.6 模式识别基本准则 8

1.2 机器学习 9

1.2.1 简介 9

1.2.2 机器学习的分类 9

1.2.3 深度学习 9

1.3 机器学习与模式识别算法评价指标 10

1.3.1 查全率与准确率 10

1.3.2 交叉验证 10

1.3.3 混淆矩阵 11

1.4 K近邻算法 12

1.5 顶级会议和期刊 13

1.5.1 顶级会议 13

1.5.2 顶级期刊 14

1.5.3 国内重要期刊 17

2判别函数 18

2.1 判别函数 18

2.1.1 线性判别函数 18

2.1.2 非线性判别函数 23

2.2 Fisher线性判别函数 24

3特征提取与选择 26

3.1 简介 26

3.2 基本概念 26

3.3 类别可分性判据 27

3.3.1 基于距离的可分性判据 27

3.3.2 基于概率分布的可分性判据 28

3.4 主成分分析 29

3.4.1 简介 29

3.4.2 基本原理 30

3.4.3 具体步骤 31

3.4.4 应用举例 32

3.4.5 核主成分分析法 33

3.5 图像特征 33

3.5.1 颜色特征 33

3.5.2 纹理特征 34

3.5.3 形状特征 35

4贝叶斯分类 36

4.1 简介 36

4.1.1 相关统计概念 36

4.1.2 贝叶斯定理 37

4.2 贝叶斯分类 38

4.3 朴素贝叶斯分类 39

4.3.1 简介 39

4.3.2 基本原理 39

4.3.3 分类举例 39

4.4 贝叶斯网络 41

4.4.1 结构形式1 41

4.4.2 结构形式2 42

4.4.3 结构形式3 42

4.4.4 举例 43

4.5 基于Python的朴素贝叶斯分类实现 44

5聚类分析 46

5.1 聚类概念 46

5.2 聚类算法分类 46

5.3 相似性度量 47

5.4 聚类准则 49

5.5 C均值聚类 49

5.5.1 简介 49

5.5.2 基本原理 49

5.5.3 C均值算法的优缺点 50

5.6 模糊模式识别 50

5.6.1 简介 50

5.6.2 相关概念 50

5.6.3 模糊集合的运算 53

5.6.4 模糊C均值聚类 54

6支持向量机 56

6.1 简介 56

6.2 VC维与结构风险最小化 56

6.2.1 VC维 56

6.2.2 经验风险最小化 56

6.3 基本原理 57

6.4 核函数 57

6.4.1 简介 57

6.4.2 结构数据的核函数 58

6.5 多类支持向量机 59

6.5.1 一对一支持向量机 60

6.5.2 一对多支持向量机 60

6.5.3 二叉树支持向量机 61

6.5.4 有向无环图支持向量机 62

6.6 单类支持向量机 62

6.6.1 基于密度的单类支持向量机 62

6.6.2 基于边界的单类支持向量机 63

6.7 基于增量学习的支持向量机 63

6.7.1 错误驱动法 63

6.7.2 固定划分法 63

6.7.3 过间隔法 63

6.7.4 错误驱动法＋过间隔法 64

6.8 基于Python的支持向量机的实现 64

7人工神经网络 67

7.1 简介 67

7.1.1 发展过程 67

7.1.2 人工神经元 68

7.1.3 人工神经网络特点 69

7.1.4 人工神经网络分类 69

7.1.5 激活函数 69

7.2 感知器 72

7.2.1 单层感知器 72

7.2.2 多层感知器 73

7.3 BP神经网络 73

7.3.1 简介 73

7.3.2 基本原理 73

7.3.3 算法步骤 74

7.3.4 BP网络参数选择 75

7.4 RBF神经网络 75

7.5 Hopfield网络 77

7.5.1 离散Hopfield神经网络 77

7.5.2 连续型Hopfield神经网络 78

7.6 最新的几种深度学习网络 78

7.6.1 受限玻尔兹曼机 79

7.6.2 卷积神经网络 79

7.6.3 深度信念网络 81

7.6.4 循环神经网络 81

7.6.5 生成对抗网络 82

8机器学习与模式识别应用——以农业为例 83

8.1 简介 83

8.2 计算机视觉 83

8.2.1 定义 83

8.2.2 计算机视觉研究的主要内容 84

8.2.3 机器视觉系统 85

8.2.4 计算机视觉的开源库和编程工具 85

8.3 模式识别与机器学习在农业中应用研究 85

8.4 Python的安装和搭建 86

8.5 基于深度学习的泰山树木分类识别 88

8.5.1 系统开发环境 88

8.5.2 树木图像采集 88

8.5.3 系统设计 89

8.5.4 源码实现 90

8.6 基于生成式对抗网络的小麦叶部病害图像生成 93

8.6.1 简介 93

8.6.2 图像数据 93

8.6.3 实验过程 94

9线性代数 97

9.1 标量与向量 97

9.1.1 定义 97

9.1.2 常见的向量 97

9.2 向量运算 97

9.2.1 向量的加法 97

9.2.2 向量的减法 98

9.2.3 向量的标量乘法 98

9.3 线性方程组和行列式 98

9.4 矩阵 100

9.4.1 基本概念 100

9.4.2 特殊矩阵 100

9.4.3 矩阵运算 101

9.4.4 初等变换 104

9.4.5 矩阵的秩 104

9.4.6 矩阵与向量的关系 105

9.5 特征值和特征向量 106

9.5.1 定义 106

9.5.2 基本性质 106

9.6 矩阵的分解 107

9.6.1 三角分解 107

9.6.2 QR分解 108

9.6.3 满秩分解 108

9.6.4 奇异值分解 108

9.7 张量 109

10概率论与数理统计 110

10.1 随机事件 110

10.1.1 随机现象 110

10.1.2 随机事件 110

10.1.3 事件关系 110

10.1.4 事件运算 111

10.2 概率 111

10.2.1 定义 111

10.2.2 条件概率 112

10.2.3 先验概率和后验概率 113

10.2.4 事件独立性 113

10.3 随机变量及其分布 114

10.3.1 随机变量的定义 114

10.3.2 分布函数 114

10.4 随机变量的数字特征 115

10.4.1 数学期望 115

10.4.2 方差及标准差 116

10.4.3 分位数 116

10.4.4 协方差与协方差矩阵 116

10.4.5 变异系数 117

10.4.6 相关系数 117

10.5 常见的分布 118

10.5.1 二项分布 118

10.5.2 泊松分布 118

10.5.3 正态分布 119

10.5.4 均匀分布 120

10.5.5 指数分布 120

10.6 多元随机变量及其分布 120

10.6.1 二元随机变量及其分布函数 120

10.6.2 边缘分布 123

10.6.3 条件分布 124

10.7 数理统计 124

10.7.1 统计量及其分布 124

10.7.2 参数估计 126

10.7.3 单因素方差分析 128

10.7.4 回归分析与最小二乘法 130

11最优化理论与信息论 132

11.1 最优化问题描述 132

11.2 对偶理论 133

11.2.1 等式约束的优化问题的求法 133

11.2.2 不等式约束的优化问题的求法 133

11.3 常用的优化算法 134

11.3.1 最速下降法 134

11.3.2 牛顿法 135

11.4 信息论基础 136

11.4.1 信息概念 136

11.4.2 自信息和信息熵 136

参考文献 138