模式识别

第1章 绪论 1

1.1 模式识别的应用 1

1.2 模式识别系统 2

1.3 模式识别方法 5

1.4 内容安排 6

第2章 距离分类器 8

2.1 距离分类器 8

2.1.1 距离分类器的一般形式 8

2.1.2 模板匹配 8

2.1.3 最近邻分类 9

2.1.4 最近邻分类器的加速 11

2.1.5 K-近邻算法 15

2.2 距离和相似性度量 23

2.2.1 距离度量 24

2.2.2 相似性度量 28

2.2.3 Matlab实现 28

2.3 分类器性能评价 31

2.3.1 评价指标 31

2.3.2 评价方法 34

本章小结 36

习题 36

第3章 聚类分析 38

3.1 无监督学习与聚类 38

3.1.1 为什么要进行无监督学习 38

3.1.2 聚类分析的应用 39

3.1.3 聚类分析的过程 40

3.1.4 聚类问题的描述 40

3.2 简单聚类方法 42

3.2.1 顺序聚类 42

3.2.2 最大最小距离聚类 45

3.3 谱系聚类 48

3.3.1 谱系聚类合并算法 48

3.3.2 算法实现 49

3.3.3 谱系聚类分裂算法 56

3.4 K-均值聚类 57

3.4.1 K-均值算法 57

3.4.2 算法的改进 62

3.5 聚类检验 64

3.5.1 聚类结果的检验 64

3.5.2 聚类数的间接选择 67

3.5.3 聚类数的直接选择 69

本章小结 70

习题 71

第4章 线性判别函数分类器 72

4.1 线性判别函数和线性分类界面 72

4.1.1 线性判别函数 72

4.1.2 三个断言的证明 73

4.2 感知器算法 74

4.2.1 感知器准则 75

4.2.2 感知器算法 76

4.2.3 感知器算法存在的问题 81

4.3 最小平方误差算法 82

4.3.1 平方误差准则 82

4.3.2 最小平方误差算法 83

4.4 线性判别函数分类器用于多类别问题 86

4.4.1 一对多方式 86

4.4.2 一对一方式 87

4.4.3 扩展的感知器算法 87

4.4.4 感知器网络 91

本章小结 93

习题 94

第5章 特征选择与特征提取 95

5.1 类别可分性判据 96

5.1.1 基于距离的可分性判据 97

5.1.2 基于散布矩阵的可分性判据 98

5.2 特征选择 100

5.2.1 分支定界法 100

5.2.2 次优搜索算法 102

5.3 特征提取 104

5.3.1 主成分分析 104

5.3.2 基于Fisher准则的可分性分析 111

本章小结 117

习题 118

第6章 非线性判别函数分类器 120

6.1 广义线性判别函数分类器 120

6.1.1 异或问题的非线性判别函数 120

6.1.2 多项式判别函数 121

6.2 多层感知器网络 122

6.2.1 解决XOR问题的多层感知器 123

6.2.2 多层感知器的结构 124

6.2.3 多层感知器的学习 126

6.2.4 多层感知器学习算法的改进 133

6.3 支持向量机 140

6.3.1 最优线性判别函数分类器 140

6.3.2 支持向量机的学习 142

6.3.3 核函数与非线性支持向量机 148

本章小结 154

习题 156

第7章 统计分类器及其学习 158

7.1 贝叶斯决策理论 158

7.1.1 常用的概率表示形式 158

7.1.2 最小错误率准则贝叶斯分类器 159

7.1.3 最小平均风险准则贝叶斯分类器 161

7.2 高斯分布贝叶斯分类器 162

7.2.1 高斯分布的判别函数 162

7.2.2 朴素贝叶斯分类器 164

7.2.3 改进的二次判别函数 167

7.3 概率密度函数的参数估计 171

7.3.1 最大似然估计 171

7.3.2 高斯混合模型 173

7.3.3 期望最大化算法 179

7.3.4 隐含马尔科夫模型 180

7.3.5 贝叶斯估计 195

7.4 概率密度函数的非参数估计 198

本章小结 202

习题 203

第8章 模式识别应用系统实例 205

8.1 在线手写汉字识别系统 205

8.1.1 汉字识别 205

8.1.2 方向特征识别方法 206

8.1.3 隐马尔科夫模型识别方法 208

8.1.4 数据集及系统测试 210

8.2 纸币图像识别系统 212

8.3 乳腺超声图像识别系统 216

本章小结 223

附录 224

附录A 矢量、矩阵及其导数 224

A.1 矩阵和矢量 224

A.2 矩阵和矢量的运算 224

A.3 矢量与坐标系 226

A.4 矩阵和矢量的导数 227

附录B 最优化方法 228

B.1 直接法求极值 229

B.2 梯度法 229

B.3 牛顿法 231

B.4 拟牛顿法 231

B.5 共轭梯度法 233

B.6 约束优化 235

附录C 概率论 237

C.1 离散随机变量和连续随机变量 237

C.2 联合概率和条件概率 237

C.3 贝叶斯公式 237

C.4 全概公式 238

附录D 高斯分布参数的极大似然估计 238

附录E 高斯混合模型EM算法的迭代公式 239

E.1 混合密度模型 240

E.2 混合密度模型参数估计的EM迭代公式 240

E.3 高斯混合模型参数估计的EM迭代公式 242

附录F 一维高斯分布均值的贝叶斯估计 243

参考文献 246

名词索引 247