大数据应用基础

第1章 大数据概论 1

1.1 大数据技术简介 2

1.1.1 IT产业的发展简史 2

1.1.2 大数据的主要来源 3

1.1.3 数据生成的三种主要方式 4

1.1.4 大数据的特点 4

1.1.5 大数据的处理流程 4

1.1.6 大数据的数据格式 5

1.1.7 大数据的基本特征 6

1.1.8 大数据的应用领域 6

1.2 大数据的技术架构 7

1.3 大数据的整体技术 8

1.4 大数据分析的四种典型工具简介 9

1.5 大数据未来发展趋势 9

1.5.1 数据资源化 10

1.5.2 数据科学和数据联盟的成立 10

1.5.3 大数据隐私和安全问题 10

1.5.4 开源软件成为推动大数据发展的动力 11

1.5.5 大数据在多方位改善人们的生活 11

本章小结 12

习题1 12

第2章 大数据采集及预处理 14

2.1 数据采集简介 15

2.1.1 数据采集 15

2.1.2 数据采集的数据来源 15

2.1.3 数据采集的技术方法 17

2.2 大数据的预处理 18

2.3 数据采集及预处理的主要工具 20

本章小结 28

习题2 29

第3章 大数据分析概论 30

3.1 大数据分析简介 30

3.1.1 大数据分析 31

3.1.2 大数据分析的基本方法 31

3.1.3 大数据处理流程 33

3.2 大数据分析的主要技术 35

3.2.1 深度学习 35

3.2.2 知识计算 36

3.3 大数据分析处理系统简介 37

3.3.1 批量数据及处理系统 37

3.3.2 流式数据及处理系统 38

3.3.3 交互式数据及处理系统 38

3.3.4 图数据及处理系统 38

3.4 大数据分析的应用 39

本章小结 41

习题3 42

第4章 大数据可视化 43

4.1 大数据可视化简介 43

4.2 大数据可视化工具Tableau 47

本章小结 53

习题4 54

第5章 Hadoop概论 55

5.1 Hadoop简介 55

5.1.1 Hadoop简史 56

5.1.2 Hadoop应用和发展趋势 57

5.2 Hadoop的架构与组成 58

5.2.1 Hadoop架构介绍 58

5.2.2 Hadoop组成模块 59

5.3 Hadoop应用分析 61

本章小结 62

习题5 63

第6章 HDFS和Common概论 64

6.1 HDFS简介 64

6.1.1 HDFS的相关概念 64

6.1.2 HDFS特性 65

6.1.3 HDFS体系结构 66

6.1.4 HDFS的工作原理 67

6.1.5 HDFS的相关技术 69

6.2 Common简介 71

本章小结 72

习题6 73

第7章 MapReduce概论 75

7.1 MapReduce简介 75

7.1.1 MapReduce 75

7.1.2 MapReduce功能、特征和局限性 77

7.2 Map和Reduce任务 78

7.3 MapReduce架构和工作流程 80

7.3.1 MapReduce的架构 80

7.3.2 MapReduce的工作流程 80

本章小结 81

习题7 81

第8章 NoSQL概论 83

8.1 NoSQL简介 83

8.1.1 NoSQL的含义 83

8.1.2 NoSQL的产生 84

8.1.3 NoSQL的特点 85

8.2 NoSQL技术基础 85

8.2.1 大数据的一致性策略 85

8.2.2 大数据的分区与放置策略 86

8.2.3 大数据的复制与容错技术 87

8.2.4 大数据的缓存技术 88

8.3 NoSQL的类型 89

8.3.1 键值存储 89

8.3.2 列存储 89

8.3.3 面向文档存储 90

8.3.4 图形存储 91

8.4 典型的NoSQL工具 92

8.4.1 Redis 92

8.4.2 Bigtable 93

8.4.3 CouchDB 93

本章小结 94

习题8 95

第9章 Spark概论 97

9.1 Spark平台 97

9.1.1 Spark简介 98

9.1.2 Spark发展 98

9.1.3 Scala语言 98

9.2 Spark与Hadoop 99

9.2.1 Hadoop的局限与不足 99

9.2.2 Spark的优点 99

9.2.3 Spark速度比Hadoop快的原因分析 100

9.3 Spark处理架构及其生态系统 101

9.3.1 底层的Cluster Manager和Data Manager 101

9.3.2 中间层的Spark Runtime 101

9.3.3 高层的应用模块 102

9.4 Spark的应用 104

9.4.1 Spark的应用场景 104

9.4.2 应用Spark的成功案例 104

本章小结 105

习题9 106

第10章 云计算与大数据 108

10.1 云计算简介 108

10.1.1 云计算 109

10.1.2 云计算与大数据的关系 109

10.1.3 云计算基本特征 110

10.1.4 云计算服务模式 110

10.2 云计算核心技术 112

10.2.1 虚拟化技术 112

10.2.2 虚拟化软件及应用 113

10.2.3 资源池技术 114

10.2.4 云计算部署模式 116

10.3 云计算应用案例 117

本章小结 120

习题10 120

第11章 典型大数据解决方案 122

11.1 Intel大数据 123

11.1.1 Intel大数据解决方案 123

11.1.2 Intel大数据相关案例 124

11.2 百度大数据 125

11.2.1 百度大数据引擎 125

11.2.2 百度大数据＋平台 126

11.2.3 相关应用 127

11.2.4 百度预测的使用方法 128

11.3 腾讯大数据 130

11.3.1 腾讯大数据解决方案 130

11.3.2 相关实例 132

本章小结 132

习题11 133

第12章 大数据应用案例分析（医疗领域） 134

12.1 大数据在临床领域的应用 134

12.1.1 基于大数据的比较效果研究 135

12.1.2 基于大数据的临床决策系统 135

12.1.3 医疗数据透明化 136

12.1.4 病人的远程监控 137

12.1.5 基于大数据的电子病历分析 138

12.2 大数据在医药支付领域的应用 138

12.2.1 基于大数据的多种自动化系统 139

12.2.2 基于大数据和卫生经济学的定价计划 140

12.3 大数据在医疗研发领域的应用 140

12.3.1 基于大数据的预测建模 140

12.3.2 临床试验及其数据分析 141

12.3.3 基于大数据的个性化治疗 142

12.3.4 基于大数据的疾病模式分析 143

12.4 大数据在医疗商业模式领域的应用 143

12.4.1 基于大数据的患者临床记录和医疗保险数据集 143

12.4.2 基于大数据的网络平台和社区 143

12.5 大数据在公共健康领域的应用 144

本章小结 145

习题12 146

习题参考答案 147

参考文献 159