信息论与编码

第1章 绪论 1

1.1 信息的概念和特性 1

1.2 熵的概念 2

1.3 信息论的基本问题和主要内容 3

1.3.1 信息论研究的基本问题 3

1.3.2 信息论的研究内容 4

1.4 香农简介 5

1.5 本书结构 6

1.6 本章小结 7

第2章 数学基础 8

2.1 概率论基础 8

2.1.1 概率空间 8

2.1.2 随机变量与分布函数 10

2.1.3 多维随机变量及其分布 12

2.1.4 数字特征 16

2.1.5 大数定律及中心极限定理 19

2.2 马尔可夫链 22

2.2.1 有限状态马氏链 22

2.2.2 状态转移概率 23

2.2.3 齐次马氏链 23

2.2.4 马氏链的平稳分布 25

2.3 凸函数 26

2.4 本章小结 28

习题 28

第3章 信息度量 30

3.1 自信息、条件自信息和联合自信息 30

3.1.1 自信息 30

3.1.2 条件自信息 32

3.1.3 联合自信息 33

3.2 互信息和信息散度 33

3.2.1 互信息的定义 33

3.2.2 互信息的性质 34

3.2.3 条件互信息 35

3.2.4 信息散度 35

3.3 离散集合的平均信息量（熵） 37

3.3.1 信息熵 37

3.3.2 条件熵 38

3.3.3 联合熵 38

3.3.4 熵的基本性质 39

3.3.5 各类熵的关系 42

3.3.6 熵函数的唯一性 44

3.3.7 通信系统中熵的意义 44

3.4 平均互信息 46

3.4.1 平均互信息的定义 46

3.4.2 平均互信息与熵的关系 46

3.4.3 平均互信息的性质 48

3.4.4 多随机变量的互信息 53

3.5 本章小结 59

习题 61

第4章 信源和熵 64

4.1 信源的分类与数学模型 64

4.1.1 信源的分类 64

4.1.2 信源的数学模型 64

4.2 离散信源 65

4.2.1 离散无记忆信源和熵 65

4.2.2 离散平稳信源和熵 66

4.2.3 马尔可夫信源 69

4.2.4 信源的冗余度 73

4.3 连续信源 76

4.3.1 连续信源的熵与平均互信息 76

4.3.2 连续随机变量信息散度 79

4.3.3 几种特殊分布连续信源熵 80

4.3.4 连续信源最大熵定理 83

4.3.5 熵功率 84

4.3.6 符号持续时间不同的信源的熵 85

4.4 本章小结 86

习题 88

第5章 信道与信道容量 91

5.1 信道的特性及其分类 91

5.1.1 信道模型 91

5.1.2 信道分类 91

5.2 离散信道及其信道容量 92

5.2.1 离散信道数学模型 92

5.2.2 离散信道的信道容量 95

5.2.3 多符号离散信道的信道容量 104

5.3 连续信道及其信道容量 106

5.3.1 加性噪声信道及其信道容量 106

5.3.2 加性高斯信道及其信道容量 108

5.3.3 加性非高斯信道及其信道容量 109

5.3.4 并联加性高斯信道 112

5.3.5 限带限功率高斯信道的信道容量 115

5.3.6 香农信道编码定理 118

5.4 本章小结 120

习题 121

第6章 无失真信源编码 124

6.1 信源编码简介 124

6.2 离散信源定长编码 126

6.2.1 典型序列与渐近均分特性 127

6.2.2 定长编码定理 129

6.2.3 定长码参数 130

6.3 离散信源变长编码 131

6.3.1 变长码的唯一可译性 132

6.3.2 Kraft不等式 133

6.3.3 变长编码定理 134

6.3.4 变长码参数 136

6.4 变长编码方法 137

6.4.1 Huffman编码 137

6.4.2 实用的信源编码方法 141

6.5 本章小结 143

习题 144

第7章 限失真信源编码 147

7.1 系统模型和失真测度 148

7.1.1 系统模型 148

7.1.2 失真测度 148

7.1.3 失真函数举例说明 149

7.2 信息率失真函数 149

7.2.1 定义 149

7.2.2 信息率失真函数的性质 150

7.2.3 简单信源的信息率失真函数 153

7.3 离散信源R（D）计算 161

7.3.1 离散信源信息率失真函数的参量表示 161

7.3.2 离散信源R（D）求解的矢量/矩阵表示 163

7.3.3 参量s的意义 164

7.4 连续信源的信息率失真函数 167

7.4.1 连续信源的平均失真函数 167

7.4.2 d（x，y）只与x-y有关的情况下率失真函数的求解 168

7.4.3 高斯信源的率失真函数 169

7.4.4 限带白色高斯信源的率失真函数 171

7.4.5 一般信源率失真函数的上限和下限 171

7.5 限失真信源编码定理 172

7.6 本章小结 173

习题 175

第8章 信道编码 178

8.1 引言 178

8.2 纠错编码 182

8.3 简单编码 186

8.4 线性分组码 189

8.5 其他信道编码方式 196

8.5.1 卷积码 196

8.5.2 Turbo码 199

8.5.3 LDPC码 203

8.6 本章小结 206

习题 206

第9章 网络信息论 208

9.1 信道模型 209

9.1.1 删除信道 209

9.1.2 无线信道 210

9.2 数字喷泉码的数学描述 210

9.2.1 数字喷泉码的定义 210

9.2.2 Tanner图 211

9.2.3 度分布函数 212

9.3 典型的数字喷泉码 213

9.3.1 LT码 213

9.3.2 Raptor码 214

9.4 数字喷泉码的译码算法 216

9.4.1 删除信道中的译码算法 216

9.4.2 无线信道中的译码算法 217

9.5 数字喷泉码的性能分析方法 219

9.5.1 删除信道中的密度演化 219

9.5.2 无线信道中的密度演化 222

9.6 数字喷泉码的应用 225

9.7 网络编码基础 226

9.7.1 引言 226

9.7.2 最大流最小割定理 226

9.7.3 网络编码的数学描述 227

9.7.4 网络编码的分类及特点 228

9.8 网络编码实例：应用于蝶形网络 229

9.9 网络编码的研究现状 230

9.10 网络编码的应用 231

参考文献 232