机器学习与视觉感知

第1章机器学习的发展史/1

引言/1

1.1机器学习/1

1.1.1基本简介/1

1.1.2机器学习的定义和研究意义/2

1.1.3机器学习的发展史/3

1.1.4机器学习的主要策略/3

1.1.5机器学习系统的基本结构/4

1.1.6机器学习的分类/4

1.1.7目前研究领域/8

1.2统计模式识别问题/9

1.2.1机器学习问题的表示/9

1.2.2经验风险最小化/11

1.2.3复杂性与推广能力/11

1.3统计学习理论的核心内容/12

1.3.1学习过程一致性的条件/13

1.3.2推广性的界/13

1.3.3结构风险最小化/15

小结/17第2章PAC模型/18

引言/18

2.1基本的PAC模型/18

2.1.1PAC简介/18

2.1.2基本概念/18

2.1.3问题框架/19

2.2PAC模型样本复杂度分析/20

2.2.1有限空间样本复杂度/20

2.2.2无限空间样本复杂度/21小结/22第3章决策树学习/23

引言/23

3.1决策树学习概述/23

3.1.1决策树/24

3.1.2性质/25

3.1.3应用/25

3.1.4学习/26

3.2决策树设计/26

3.2.1决策树的特点/27

3.2.2决策树的生成/27

小结/33第4章贝叶斯学习/34

引言/34

4.1贝叶斯学习/34

4.1.1贝叶斯公式/34

4.1.2最小误差决策/35

4.1.3正态密度/35

4.1.4最大似然估计/36

4.1.5实验结果/37

4.2朴素贝叶斯原理及应用/40

4.2.1贝叶斯最佳假设原理/40

4.2.2Naive Bayes 分类/41

4.2.3基于Naive Bayes的文本分类器/41

4.3HMM（隐性马氏模型）及应用/44

4.3.1马尔科夫性/44

4.3.2马尔科夫链/44

4.3.3转移概率矩阵/44

4.3.4HMM（隐性马氏模型）及应用/45

小结/47第5章支持向量机/49

引言/49

5.1支持向量机/49

5.2支持向量机的实现算法/54

5.3支持向量机的实例/55

5.4多类支持向量机/58

小结/58第6章AdaBoost/59

引言/59

6.1AdaBoost与目标检测/59

6.1.1AdaBoost算法/59

6.1.2初始化/61

6.2具有强鲁棒性的实时目标检测/63

6.2.1矩形特征选取/63

6.2.2积分图/64

6.2.3训练结果/65

6.2.4级联/66

6.3运用统计学的目标检测/67

6.4随机森林/68

6.4.1原理阐述/68

6.4.2算法详解/68

6.4.3算法分析/68

小结/69第7章压缩感知/70

引言/70

7.1压缩感知理论框架/70

7.2压缩感知的基本理论及核心问题/71

7.2.1压缩感知的数学模型/71

7.2.2信号的稀疏表示/71

7.2.3信号的观测矩阵/72

7.2.4信号的重构算法/73

7.3压缩感知的应用与仿真/73

7.3.1应用/73

7.3.2人脸识别/74

小结/76第8章子空间/77

引言/77

8.1基于主成分分析的特征提取/77

8.2数学模型/79

8.3主成分的数学上的计算/80

8.3.1两个线性代数的结论/80

8.3.2基于协方差矩阵的特征值分解/80

8.3.3主成分分析的步骤/81

8.4主成分分析的性质/82

8.5基于主成分分析的人脸识别方法/83

小结/84第9章深度学习与神经网络/85

引言/85

9.1神经网络及其主要算法/85

9.1.1前馈神经网络/85

9.1.2感知器/85

9.1.3三层前馈网络/87

9.1.4反向传播算法/88

9.2深度学习/90

9.2.1深度学习概述/90

9.2.2自编码算法AutoEncoder/91

9.2.3自组织编码深度网络/92

9.2.4卷积神经网络模型/93

小结/96第10章强化学习/97

引言/97

10.1强化学习概述/97

10.2强化学习过程/98

10.2.1马尔科夫性/98

10.2.2奖励/98

10.2.3估价函数/99

10.2.4动态规划/99

10.2.5蒙特卡洛方法/100

10.2.6时序差分学习/100

10.2.7QLearning/102

10.2.8Q学习算法的改进/103

10.3程序实现/105参考文献/109

本书旨在通过对机器学习主要原理和方法的介绍，并且结合作者多年来在视觉感知方面的研究成果，对于其他书籍未涉及的一些前沿研究进行补充阐述。本书面向有一定数学基础的模式识别专业的本科生和研究生，以及有志于钻研模式识别相关领域，包括机器学习和视觉感知等方向的读者，通过对于基础理论循序渐进、深入浅出的讲解，帮助读者更快速地掌握机器学习的基本方法，在此基础上每章的内容由易到难，读者可以根据自己的掌握程度以及兴趣，选择特定的方向进行更深入的学习。

本书从易于学生学习的角度逐步讲解了诸如决策树学习、贝叶斯学习、支持向量机、压缩感知以及深度学习等知识，不同于以往的书籍中理论过于繁琐，公式推导过于复杂的特点，本书重点强调实用性，书中加入了大量的例子来实现算法，使得读者可以在学习示例的基础上去学习算法和理论。本书的内容安排每一章为比较独立的一个整体，这些章节不仅包括传统的理论和方法，也融入了作者自己发表在会议上的一些算法和最近比较流行的深度学习理论，使得学生们可以知道机器学习的新方向和新进展。