点此搜书

Flume日志收集与MapReduce模式
  • 作 者:(美)史蒂夫·霍夫曼(SteveHoffman),(美)斯里纳特·佩雷拉(SrinathPerera)著
  • 出 版 社:北京:机械工业出版社
  • 出版年份:2015
  • ISBN:9787111502074
  • 标注页数:164 页
  • PDF页数:182 页
  • 请阅读订购服务说明与试读!

文档类型

价格(积分)

购买连接

试读

PDF格式

8

立即购买

点击试读

订购服务说明

1、本站所有的书默认都是PDF格式,该格式图书只能阅读和打印,不能再次编辑。

2、除分上下册或者多册的情况下,一般PDF页数一定要大于标注页数才建议下单购买。【本资源182 ≥164页】

图书下载及付费说明

1、所有的电子图书为PDF格式,支持电脑、手机、平板等各类电子设备阅读;可以任意拷贝文件到不同的阅读设备里进行阅读。

2、电子图书在提交订单后一般半小时内处理完成,最晚48小时内处理完成。(非工作日购买会延迟)

3、所有的电子图书都是原书直接扫描方式制作而成。

上篇 Flume日志收集 2

第1章 概览与架构 2

1.1 Flume 0.9 3

1.2 Flume 1.X (Flume-NG) 4

1.3 HDFS与流式数据/日志的问题 5

1.4 源、通道与接收器 6

1.5 Flume事件 7

1.5.1 拦截器、通道选择器与选择处理器 8

1.5.2 分层数据收集(多数据流与代理) 9

1.6 小结 10

第2章 Flume快速起步 11

2.1 下载Flume 11

2.2 Flume配置文件概览 13

2.3 从“Hello World”开始 15

2.4 小结 20

第3章 通道 22

3.1 内存通道 23

3.2 文件通道 25

3.3 小结 29

第4章 接收器与接收处理器 31

4.1 HDFS接收器 31

4.1.1 路径与文件名 34

4.1.2 文件转储 37

4.2 压缩编解码器 38

4.3 事件序列化器 38

4.3.1 文本输出 39

4.3.2 带有头信息的文本 39

4.3.3 Apache Avro 39

4.3.4 文件类型 41

4.3.5 超时设置与线程池 43

4.4 接收器组 44

4.4.1 负载均衡 45

4.4.2 故障恢复 45

4.5 小结 46

第5章 源与通道选择器 48

5.1 使用tail的问题 48

5.2 exec源 50

5.3 假脱机目录源 53

5.4 syslog源 55

5.4.1 syslog UDP源 56

5.4.2 syslog TCP源 58

5.4.3 多端口syslog TCP源 59

5.5 通道选择器 61

5.5.1 复制 62

5.5.2 多路复用 62

5.6 小结 63

第6章 拦截器、ETL与路由 65

6.1 拦截器 65

6.1.1 Timestamp 66

6.1.2 Host 67

6.1.3 Static 68

6.1.4 正则表达式过滤 69

6.1.5 正则表达式抽取 70

6.1.6 自定义拦截器 74

6.2 数据流分层 75

6.2.1 Avro源/接收器 76

6.2.2 命令行Avro 78

6.2.3 Log4J追加器 79

6.2.4 负载均衡Log4J追加器 81

6.3 路由 82

6.4 小结 83

第7章 监控Flume 85

7.1 监控代理进程 86

7.1.1 Monit 86

7.1.2 Nagios 86

7.2 监控性能度量情况 87

7.2.1 Ganglia 87

7.2.2 内部HTTP服务器 89

7.2.3 自定义监控钩子 91

7.3 小结 92

第8章 万法皆空——实时分布式数据收集的现状 93

8.1 传输时间与日志事件 94

8.2 万恶的时区 94

8.3 容量规划 95

8.4 多数据中心的注意事项 96

8.5 合规性与数据失效 97

8.6 小结 98

下篇 MapReduce模式 102

第9章 使用Java编写一个单词统计应用(初级) 102

9.1 准备工作 102

9.2 操作步骤 103

9.3 示例说明 103

第10章 使用MapReduce编写一个单词统计应用并运行(初级) 105

10.1 准备工作 105

10.2 操作步骤 106

10.3 示例说明 106

10.4 补充说明 109

第11章 在分布式环境中安装Hadoop并运行单词统计应用(初级) 110

11.1 准备工作 111

11.2 操作步骤 112

11.3 示例说明 116

第12章 编写格式化器(中级) 117

12.1 准备工作 118

12.2 操作步骤 118

12.3 示例说明 119

12.4 补充说明 121

第13章 分析——使用MapReduce绘制频度分布(中级) 122

13.1 准备工作 123

13.2 操作步骤 123

13.3 示例说明 125

13.4 补充说明 128

第14章 关系操作——使用MapReduce连接两个数据集(高级) 129

14.1 准备工作 130

14.2 操作步骤 130

14.3 示例说明 131

14.4 补充说明 134

第15章 使用MapReduce实现集合操作(中级) 135

15.1 准备工作 135

15.2 操作步骤 136

15.3 示例说明 137

15.4 补充说明 140

第16章 使用MapReduce实现交叉相关(中级) 141

16.1 准备工作 141

16.2 操作步骤 142

16.3 示例说明 142

16.4 补充说明 145

第17章 使用MapReduce实现简单搜索(中级) 146

17.1 准备工作 147

17.2 操作步骤 147

17.3 示例说明 148

17.4 补充说明 150

第18章 使用MapReduce实现简单的图操作(高级) 151

18.1 准备工作 152

18.2 操作步骤 152

18.3 示例说明 153

18.4 补充说明 157

第19章 使用MapReduce实现Kmeans(高级) 158

19.1 准备工作 159

19.2 操作步骤 159

19.3 示例说明 160

19.4 补充说明 164

购买PDF格式(8分)
返回顶部