模式分析的核方法

目录出版者的话专家指导委员会译者序前言第一部分　基本概念第1章　模式分析 1

1.1　数据中的模式 1

1.1.1　数据 1

1.1.2　模式 2

1.2　模式分析算法 7

1.2.1　模式的统计稳定性 7

1.2.2　通过重新编码检测模式 9

1.3.1　整体的策略 10

1.3　利用模式 10

1.3.2　常见模式分析任务 11

1.4　小结 13

1.5　进一步阅读和高级主题 13

第2章 核方法概要 15

2.1　概述 15

2.2　特征空间中的线性回归 16

2.2.1　原始线性回归 16

2.2.2　原始岭回归和对偶岭回归 19

2.2.3　由核定义的非线性特征映射 20

2.3　其他例子 22

2.3.1　算法 22

2.3.2　核 24

2.4　核方法的模块性 25

2.5　本书的路线图 26

2.6　小结 27

2.7　进一步阅读和高级主题 27

3.1.1　希尔伯特空间 29

3.1　内积和半正定矩阵 29

第3章 核的性质 29

3.1.2　Gram矩阵 32

3.2　核的描述 37

3.3　核矩阵 42

3.4　核的构造 46

3.4.1　核函数上的运算 46

3.4.2　核矩阵上的运算 49

3.5　小结 51

3.6　进一步阅读和高级主题 51

4.1　集中度不等式 53

第4章 检测稳定的模式 53

4.2　容量和正则化：Rademacher理论 58

4.3　基于核的类的模式稳定性 61

4.4　一种实用的方法 65

4.5　小结 66

4.6　进一步阅读和高级主题 66

第二部分　模式分析算法第5章 特征空间中的基本算法 69

5.1　均值和距离 69

5.1.1　一种简单的新颖检测算法 72

5.1.2　一种简单的分类算法 74

5.2　计算投影：Gram-Schmidt法、QR法和Cholesky法 76

5.3　衡量数据的分散度 81

5.4　Fisher判别式分析Ⅰ 83

5.5　小结 87

5.6　进一步阅读和高级主题 87

第6章　利用特征分解法做模式分析 89

6.1　奇异值分解 89

6.2　主成分分析 91

6.2.1　核主成分分析 95

6.2.2　主成分分析的稳定性 96

6.3　最大协方差的方向 99

6.4　广义特征向量问题 102

6.5　典型相关分析 105

6.6　Fisher判别式分析Ⅱ 112

6.7　用于线性回归的方法 113

6.7.1　偏最小二乘法 115

6.7.2　核偏最小二乘法 120

6.9　进一步阅读和高级主题 124

6.8　小结 124

第7章 利用凸优化法做模式分析 126

7.1　最小封闭超球体 126

7.1.1　包含点集的最小超球体 127

7.1.2　新颖检测的稳定性 129

7.1.3　包含大部分点的超球体 130

7.2　用于分类的支持向量机 137

7.2.1　最大间隔分类器 137

7.2.2　软间隔分类器 142

7.3.1　回归的稳定性 150

7.3　用于回归的支持向量机 150

7.3.2　岭回归 151

7.3.3　ε－不敏感回归 152

7.4　在线分类和回归 157

7.5　小结 162

7.6　进一步阅读和高级主题 163

第8章 排列、聚类和数据可视化 164

8.1　发现排列关系 164

8.1.1　批排列 166

8.1.2　在线排列 170

8.2　发现特征空间中的聚类结构 172

8.2.1　衡量聚类质量 173

8.2.2　贪婪解：k－均值法 178

8.2.3　松弛解：谱方法 179

8.3　数据可视化 183

8.4　小结 186

8.5　进一步阅读和高级主题 186

9.1　封闭形式的核 189

第三部分　构造核第9章 基本的核和核的类型 189

9.2　ANOVA核 193

9.3　来自图的核 197

9.4　图结点上的扩散核 202

9.5　集合上的核 204

9.6　实数上的核 207

9.7　随机化核 208

9.8　其他的核类型 209

9.8.1　来自连续嵌入的核 209

9.8.2　一般结构上的核 210

9.8.3　来自生成信息的核 211

9.9　小结 211

9.10　进一步阅读和高级主题 211

第10章　文本核 213

10.1　从词包到语义空间 213

10.1.1　表示文本 213

10.1.2　语义问题 214

10.2　向量空间核 215

10.2.1　设计语义核 216

10.2.2　设计接近度矩阵 218

10.3　小结 221

10.4　进一步阅读和高级主题 222

第11章 用于结构化数据的核 223

11.1　比较串和序列 223

11.2　谱核 225

11.3　所有子序列核 228

11.4　固定长度的子序列核 233

11.5　间隙加权的子序列核 235

11.5.1　朴素实现法 236

11.5.2　高效实现法 239

11.5.3　关于主题的变形 241

11.6　动态规划以外的方法：基于trie－树的核 243

11.6.1 p－谱核的trie－树的计算 244

11.6.2 基于trie－树的不匹配核 246

11.6.3 基于trie－树的限制性间隙加权核 247

11.7　用于结构化数据的核 249

11.7.1　比较树 250

11.7.2　结构化数据：一个框架 255

11.8　小结 258

11.9　进一步阅读和高级主题 259

第12章 来自生成模型的核 260

12.1　P－核 260

12.1.1　条件独立和边际化 261

12.1.2　表示多元分布 262

12.1.3　由隐藏二项式模型生成的固定长度的串 263

12.1.4　由隐藏Markov模型生成的固定长度的串 265

12.1.5　配对隐藏Markov模型核 268

12.1.6　隐藏树模型核 272

12.2 Fisher核 276

12.2.1　从概率到几何 276

12.2.2　隐藏Markov模型的Fisher核 282

12.3　小结 286

12.4　进一步阅读和高级主题 286

附录A　正文中省略的证明 287

附录B　数学符号约定 292

索引 294

参考文献 298