大数据技术及行业应用

第1章 大数据相关概念 1

1.1 什么是大数据？ 1

1.2 大数据有多大？ 3

1.3 大数据是一种思维方式 3

1.4 大数据思维的应用案例 4

1.5 大数据是如何产生的？ 6

1.6 美国和中国的大数据产业生态系统 6

1.7 如何学习大数据技术 7

本章小结 8

参考文献 8

第2章 搭建私有大数据处理平台 10

2.1 FreeBSD操作系统安装 10

2.2 基础软件安装 11

2.2.1 安装Java运行环境 11

2.2.2 安装bash 11

2.3 Hadoop安装配置 11

2.3.1 系统规划 11

2.3.2 配置conf/masters、conf/slaves文件 12

2.3.3 Hadoop安装 12

2.4 Hadoop开发环境配置 16

2.4.1 编译Hadoop-eclipse-plugin-1.1.2.jar插件 16

2.4.2 eclipse配置 17

2.4.3 测试 17

2.5 Hadoop升级 18

2.6 Zookeeper安装 19

2.6.1 在FreeBSD上安装Zookeeper 19

2.6.2 启动并测试Zookeeper 20

2.7 HBase安装配置 21

2.8 FreeBSD上网配置 26

2.8.1 VPN上网配置 26

2.8.2 网页认证上网配置 27

2.9 配置杀毒软件 28

本章小结 29

第3章 大数据平台虚拟化解决方案 30

3.1 Ubuntu上安装Docker 30

3.1.1 Docker简介 30

3.1.2 Docker安装 31

3.1.3 Docker镜像相关命令 31

3.1.4 Docker容器相关命令 32

3.1.5 Dockerfile创建镜像 34

3.1.6 Docker实现Spark集群 36

3.1.7 Docker集中化Web界面管理平台shipyard 41

3.1.8 DockerUI 43

3.2 OpenStack搭建 45

3.2.1 下载工具和镜像 45

3.2.2 配置网桥 46

3.2.3 安装fuel 47

3.2.4 安装OpenStack平台 49

3.2.5 使用OpenStack平台 54

本章小结 61

参考文献 61

第4章 大数据平台解决方案 62

4.1 大数据平台比较 62

4.2 CDH大数据平台搭建 63

4.2.1 Cloudera Manager安装 63

4.2.2 添加服务 64

4.3 HDP大数据平台搭建 74

4.3.1 部署Ambari 75

4.3.2 用Ambari_web部署HDP平台 78

本章小结 86

第5章 Spark在大数据处理中的应用 87

5.1 Spark集群搭建 87

5.1.1 Scala在Ubuntu下的安装和配置 87

5.1.2 Spark集群搭建 88

5.1.3 Spark集群启动测试 89

5.2 Spark-shell统计社交网络中节点的度 90

5.2.1 启动HDFS和Spark 90

5.2.2 运行Spark-shell 91

5.2.3 统计社交网络中节点的度 92

5.3 Spark GraphX 94

5.3.1 属性图 95

5.3.2 图操作 98

5.3.3 构建图 108

5.3.4 图计算相关算法 109

5.3.5 GraphX图计算实例 112

本章小结 113

参考文献 113

第6章 大数据技术在环境科学中的应用 115

6.1 大气环境科学的数值模式的介绍 115

6.1.1 气象模式 115

6.1.2 区域空气质量模式 119

6.2 高分辨率实时观测的大数据 127

本章小结 128

参考文献 128

第7章 大数据在DrugBank药物数据库聚类方面的应用 130

7.1 简介 130

7.2 开发环境及编程语言 133

7.3 算法设计 134

7.3.1 算法设计流程 134

7.3.2 相似度的计算 135

7.4 算法实现 138

7.4.1 文件的解析 138

7.4.2 对靶标、作用酶的分析 138

7.4.3 对分子中原子百分比的处理过程 140

7.4.4 结果的整合 145

7.4.5 最终结果展示 146

本章小结 147

参考文献 148

第8章 大数据在电子商务数据分析中的应用 150

8.1 研究现状 150

8.2 相关技术及概念 151

8.2.1 网络爬虫 151

8.2.2 HtmlUnit工具包 152

8.2.3 Mahout 152

8.2.4 朴素贝叶斯算法 152

8.2.5 文档向量 153

8.2.6 TF-IDF改进加权 153

8.2.7 中文分词 154

8.3 需求分析 154

8.3.1 系统功能 154

8.3.2 系统界面 156

8.4 概要设计 157

8.4.1 系统模块设计 157

8.4.2 数据库设计 158

8.5 详细设计 162

8.5.1 用户登录模块 162

8.5.2 爬虫管理模块 163

8.5.3 算法管理模块 165

8.5.4 用户管理模块 166

8.6 系统测试 167

8.6.1 训练集准备 167

8.6.2 新数据准备 168

8.6.3 训练模型 170

8.6.4 数据分类 171

8.6.5 分类结果分析 171

本章小结 173

参考文献 173

第9章 大数据技术在社交网络研究中的应用 174

9.1 社区发现研究简介 174

9.2 社区发现相关研究工作 175

9.2.1 相关工作 176

9.2.2 研究动机 177

9.3 模型与问题的形式化 177

9.3.1 社区森林模型 177

9.3.2 问题形式化 179

9.4 骨干度算法 180

9.4.1 骨干度算法框架 181

9.4.2 算法的时间复杂度 183

9.4.3 算法比较 183

9.5 实验分析 183

9.5.1 数据集 183

9.5.2 一个特定人际关系网络的测试 186

9.5.3 Zachary的空手道俱乐部测试 187

9.5.4 美国大学橄榄球队 189

9.5.5 安然电子邮件公司数据集 189

9.5.6 DBLP合作网络 191

9.5.7 结论 192

本章小结 192

参考文献 193

第10章 大数据技术在文本挖掘和情感分类中的应用 195

10.1 研究综述 195

10.1.1 基于产品特征的观点挖掘研究 195

10.1.2 产品评论结构化信息抽取方法 198

10.1.3 评论信息分类相关研究方法 200

10.2 评论文本的结构化信息抽取 202

10.2.1 产品特征抽取 202

10.2.2 基于关联规则抽取评论的隐式特征 203

10.2.3 基于监督学习抽取评论的隐式特征 207

10.3 情感分类研究综述 209

10.3.1 基于词典与语言规则进行情感分类 209

10.3.2 观点挖掘结果归纳 213

10.4 算法评估结果与分析 215

10.4.1 隐式特征抽取实验结果及分析 215

10.4.2 篇章粒度情感分类实验结果及分析 221

10.4.3 语句粒度情感分类实验结果及分析 222

本章小结 224

参考文献 224

第11章 大数据技术在电力系统中的应用 228

11.1 一种云可视化机网协调控制响应特性数据挖掘方法 228

11.1.1 技术领域 229

11.1.2 背景技术 229

11.1.3 方案内容 229

11.2 基于电力数据分析的河北南网电力市场化风险对冲方法 231

11.2.1 电网对发电侧市场化风险对冲分析 232

11.2.2 电网对用电侧市场化风险对冲分析 233

11.2.3 基于方差偏离规律的统计套利对冲方法 236

本章小结 237

附录 FreeBSD操作系统安装 238